Size: a a a

2019 November 07

A

AstralRomance in Scrapy
Мак
False
https://pastebin.com/JuqfJq1v
Не помогает. Хотя паук возвращает примерно то, что в туториале написано.
источник

М

Мак in Scrapy
AstralRomance
https://pastebin.com/JuqfJq1v
Не помогает. Хотя паук возвращает примерно то, что в туториале написано.
ну если опять 403 код в ответе, то тебя забанили либо капчу кажут
источник

A

AstralRomance in Scrapy
Мак
ну если опять 403 код в ответе, то тебя забанили либо капчу кажут
Как с этим жить?
источник

М

Мак in Scrapy
AstralRomance
Как с этим жить?
поставь inspect_response в методе и потом view(response) и узнаешь точно, что тебе страница ответа показывает
источник

A

AstralRomance in Scrapy
Мак
поставь inspect_response в методе и потом view(response) и узнаешь точно, что тебе страница ответа показывает
Это в методе parse?
Он должен принять как аргумент inspect_responce?
источник

М

Мак in Scrapy
AstralRomance
Это в методе parse?
Он должен принять как аргумент inspect_responce?
источник

A

AstralRomance in Scrapy
Да, пишет, что блокед бай секурити рулес...
источник

М

Мак in Scrapy
AstralRomance
Да, пишет, что блокед бай секурити рулес...
поздравляю
источник

A

AstralRomance in Scrapy
self.log(response.css("ins.lower-price").getall())
Достал нужные мне данные. А как их теперь из паука в условный файл записать?
        with open('lower_prices.txt', 'wb') as lower_price:
           lower_price.write(response.css("ins.lower-price").getall())
Не работает. При открытии просто на запись тоже не работает (файлы создаются, но пустые).
источник

К

Кирилл in Scrapy
AstralRomance
self.log(response.css("ins.lower-price").getall())
Достал нужные мне данные. А как их теперь из паука в условный файл записать?
        with open('lower_prices.txt', 'wb') as lower_price:
           lower_price.write(response.css("ins.lower-price").getall())
Не работает. При открытии просто на запись тоже не работает (файлы создаются, но пустые).
Найди в доках feed export
источник

A

AstralRomance in Scrapy
Спасибо.
источник

КБ

Константин Белов in Scrapy
А что делать, когда на разных страницах класс разный и инфа парситься с пропусками, писать 100 разных пауков ? Нету ли универсального метода ?
источник

iz

izzz zzi in Scrapy
Константин Белов
А что делать, когда на разных страницах класс разный и инфа парситься с пропусками, писать 100 разных пауков ? Нету ли универсального метода ?
Можно сделать одно поле , json и в него разное писать
источник

A

AstralRomance in Scrapy
Я правильно понимаю, что паук при запуске проходится по урлам из списка start_urls?
источник

B

Bulatbulat48 in Scrapy
AstralRomance
Я правильно понимаю, что паук при запуске проходится по урлам из списка start_urls?
если код из доки то да
источник

A

AstralRomance in Scrapy
Вот так делаю. Получает информацию только из первой страницы списка.
start_urls = ['https://www.wildberries.ru/brands/wb', 'https://www.wildberries.ru/brands/wb?page=2']
   def parse(self, response):
       with open(self.output, 'w', encoding='utf-8', newline="") as f:
           writer = csv.writer(f)

           for price in response.css("ins.lower-price").getall():
               writer.writerow([price, ])
       yield response.css("ins.lower-price").getall()
источник

B

Bulatbulat48 in Scrapy
start_urls = ['https://www.wildberries.ru/brands/wb', 'https://www.wildberries.ru/brands/wb?page=2']   
def parse(self, response):
       self.logger.info('A response from %s just arrived!', response.url)
источник

B

Bulatbulat48 in Scrapy
вот так посмотри в логе вообще появляется вторая страница?
источник

A

AstralRomance in Scrapy
2019-11-07 21:14:52 [ozon_kr] INFO: A response from https://www.wildberries.ru/brands/wb?page=2 just arrived!
Ага.
источник

B

Bulatbulat48 in Scrapy
а на первую страницу?
источник