Size: a a a

2020 September 02

К

Кирилл in Scrapy
Или ты думал, что если названия совпадают, то они будут только такие айтемы ловить?)
источник

A

Andrii in Scrapy
😊😊😊
источник

К

Кирилл in Scrapy
Пайплайн это единый конвеер, или исходя из названия, труба, и там всё подряд течет
источник

A

Andrii in Scrapy
если чесно, да тупанул 😂
источник

A

Andrii in Scrapy
а как указать в какой класс айтема к какому пайпу?
источник

К

Кирилл in Scrapy
раз уж у тебя такая архитектура, пихай в process_item условие
if isinstance(item, Games):
   self.store_db(item)
return item
источник

К

Кирилл in Scrapy
Но конечно если бы ты пользовался ORM, тогда можно было бы сделать только один пайплайн, который пихает айтем в модель и сохраняет в бд. И тебе не нужно было бы много пайплайнов, потому что сами модели знали бы как себя  сохранять в бд.

Или в твоём случае, можешь перенести формирование запроса инсерта в свойство айтема, и пайплайн будет только вызывать их, тогда тоже уберешь кучу пайплайнов
источник

A

Andrii in Scrapy
Кирилл
раз уж у тебя такая архитектура, пихай в process_item условие
if isinstance(item, Games):
   self.store_db(item)
return item
ну что я тебе скажу - ОГРОМНОЕ СПАСИБО !!! Могу даже на пиво и к пиву прислать 👍
источник

К

Кирилл in Scrapy
Пользуйся😉
источник

S

Spirit💎 in Scrapy
а в респонсе есть исходный урл? а то у меня некоторые с 301 редиком, я могу же получить конечный и исходный?
источник

К

Кирилл in Scrapy
response.request.url
источник

B

Bulatbulat48 in Scrapy
Кирилл
Пользуйся😉
источник

К

Кирилл in Scrapy
😄
источник

К

Кирилл in Scrapy
Spirit💎
а в респонсе есть исходный урл? а то у меня некоторые с 301 редиком, я могу же получить конечный и исходный?
ещё есть response.request.meta['redirect_urls'] там будут ссылки редиректов
источник

S

Spirit💎 in Scrapy
Кирилл
ещё есть response.request.meta['redirect_urls'] там будут ссылки редиректов
это если много уровней редиректов?
источник

К

Кирилл in Scrapy
Spirit💎
это если много уровней редиректов?
на одном наверное тоже будет, но это тогда не так полезно как в случае с большим количеством
источник

S

Spirit💎 in Scrapy
Кирилл
на одном наверное тоже будет, но это тогда не так полезно как в случае с большим количеством
ага, спасибо
источник

A

Andrii in Scrapy
а скрапи с argparse подружить можно?
источник

К

Кирилл in Scrapy
У скрапи уже есть достаточно удобный интерфейс чтоб писать свои команды
источник

S

Spirit💎 in Scrapy
есть таблица в доме, копирую из инспектора xpath по тегу table, скрапи отдает контент. если пытаюсь взять такой xpath: //*[@id="productDetails_detailBullets_sections1"]/tbody, то уже скрапи отдает пустой массив, почему так?
источник