Size: a a a

2019 November 07

A

AstralRomance in Scrapy
Обе страницы в логе появляются.
источник

B

Bulatbulat48 in Scrapy
тогда ищи проблему в коде
источник

B

Bulatbulat48 in Scrapy
with open(self.output, 'w', encoding='utf-8', newline="") as f:
           writer = csv.writer(f)

           for price in response.css("ins.lower-price").getall():
               writer.writerow([price, ])
источник

М

Мак in Scrapy
скажите, если кто плотно со scrapy-do имел дело,
почему может быть ошибка
[!] Server responded with an error: Unable to get the list of spiders
при инициализации проекта, после того как обновил репозиторий с гитхаба?
источник

B

Bulatbulat48 in Scrapy
скорее всего он просто перезаписывает файл который лежит у тебя в self.output
источник

М

Мак in Scrapy
Bulatbulat48
скорее всего он просто перезаписывает файл который лежит у тебя в self.output
да вроде демона перезапускал... хотя, сейчас один из пауков работает, может это как то повлияло?
источник

B

Bulatbulat48 in Scrapy
AstralRomance
Вот так делаю. Получает информацию только из первой страницы списка.
start_urls = ['https://www.wildberries.ru/brands/wb', 'https://www.wildberries.ru/brands/wb?page=2']
   def parse(self, response):
       with open(self.output, 'w', encoding='utf-8', newline="") as f:
           writer = csv.writer(f)

           for price in response.css("ins.lower-price").getall():
               writer.writerow([price, ])
       yield response.css("ins.lower-price").getall()
вообще скрапи по дефолту умеет писать в csv. scrapy crawl spider -o output.csv. То что ему ретурнишь yield-ом.
источник

A

AstralRomance in Scrapy
Bulatbulat48
вообще скрапи по дефолту умеет писать в csv. scrapy crawl spider -o output.csv. То что ему ретурнишь yield-ом.
Вот когда я так пытался, он у меня ошибку сначала про недостающий модуль писал, а когда поставил модуль - писал про ошибку в этом модуле.
источник

B

Bulatbulat48 in Scrapy
AstralRomance
Вот когда я так пытался, он у меня ошибку сначала про недостающий модуль писал, а когда поставил модуль - писал про ошибку в этом модуле.
оно по дефолту должно работать
источник

B

Bulatbulat48 in Scrapy
показывай ошибку
источник

A

AstralRomance in Scrapy
Bulatbulat48
оно по дефолту должно работать
ModuleNotFoundError: No module named 'prices'

Сейчас вот такая, модуль ставить пробовал.
источник

A

AstralRomance in Scrapy
NameError: Module 'prices' doesn't define any object named 'csv'

После установки prices
источник

A

AstralRomance in Scrapy
Еще такая фигня: я достаю lower-price, если в браузере открываю через "просмотр кода элемента", он мне дает значение как на картинке.
Если же открывать сайт целиком/парсить, то результаты он показывает только с учетом скидки, а там еще и кэшбек, который также изменяет цену.
И если из просмотра исходного кода в браузере перейти на страницу с детальной инфой, то он сначала показывает ту цену, которая в lower_price на самом деле (т.е. price_old_block - скидка), а потом пересчитывает ее на новую.
источник

B

Bulatbulat48 in Scrapy
AstralRomance
Еще такая фигня: я достаю lower-price, если в браузере открываю через "просмотр кода элемента", он мне дает значение как на картинке.
Если же открывать сайт целиком/парсить, то результаты он показывает только с учетом скидки, а там еще и кэшбек, который также изменяет цену.
И если из просмотра исходного кода в браузере перейти на страницу с детальной инфой, то он сначала показывает ту цену, которая в lower_price на самом деле (т.е. price_old_block - скидка), а потом пересчитывает ее на новую.
у озона половина сайта на апишках, бери проще сайт
источник

B

Bulatbulat48 in Scrapy
AstralRomance
ModuleNotFoundError: No module named 'prices'

Сейчас вот такая, модуль ставить пробовал.
я думаю у тебя в коде где-то есть prices
источник

A

AstralRomance in Scrapy
Просят этот. Уточню у человека, пойдет ли ему.
источник

B

Bulatbulat48 in Scrapy
ты можешь спарсить его, но тебе нужно потренироваться на других. Как минимум пару штук.
источник

A

AstralRomance in Scrapy
Попробую.
А какой вообще подход будет в данном случае? Там у них есть вот этот класс block_cashback, по логике, что-то из него можно достать?
источник

A

AstralRomance in Scrapy
Bulatbulat48
я думаю у тебя в коде где-то есть prices
Спасибо.
Когда давали линк на feed export, я понаписал это дело в FEED_EXPORTERS, вот он и ругался.
источник

A

AstralRomance in Scrapy
Bulatbulat48
у озона половина сайта на апишках, бери проще сайт
Во, а как озон парсить? Его тоже хотят, сегодня пытался, но он мои запросы блочил.
источник