Телеграмм чат группы scrapy

Size: a a a

Scrapy

627 membersпожаловаться на группу

2020 September 15

Spirit💎 in Scrapy

Кирилл

какая у тебя версия?

Последняя из пипа

2.3?

i in Scrapy

кстати, надо ли сейчас еще в сигнатуре в parse указывать **kwargs? Просто смотрю сейчас старые спайдеры свои, а пичарм плачется на signature mismatch:
https://i.imgur.com/PLYtmSg.png

источник

18:16пожаловаться #3

i in Scrapy

а в самом скрапи сигнатура такая: https://i.imgur.com/TBgNlFy.png . вообще, насколько это существенно?

источник

18:17пожаловаться #4

i in Scrapy

и может ли что-то поломаться из-за этого...

не особо

i in Scrapy

он по parse с метой передает что-ли в основном, и на это ему наплевать по-сути?

источник

18:18пожаловаться #7

Кирилл in Scrapy

это вроде для cb_kwargs добавили, если у тебя там что-то будет, тогда метод с дополнительным аргументов запустится

2.3?

ага

источник

18:44пожаловаться #9

Кирилл in Scrapy

попробуй убрать там калбэк в start_requests

источник

18:44пожаловаться #10

Spirit💎 in Scrapy

Кирилл

попробуй убрать там калбэк в start_requests

не, тогда не работает

start_requests берет урл, там он всего один, отдает в мета реквестс proxy None и типа ничего не делает, потому что нет колбэка

после запускается Rule и дальше идет парсинг урлов из LinkExtractor

источник

19:17пожаловаться #11

Кирилл in Scrapy

там есть калбэк

источник

19:18пожаловаться #12

Spirit💎 in Scrapy

Кирилл

там есть калбэк

у рула или экстрактора?

источник

19:20пожаловаться #13