i
Size: a a a
2020 January 27
AR
почему тогда не то?
AR
AR
сделать два раннера
МС
ммм
МС
yield runner.crawl(TripadvisorSpider, city_id=city_id)+
МС
не проканает?
МС
кстати, я не победил пересоздание раннера, тогда времени не было, я щас "работает - не трожь" 😂
но я хотел заново создавать... похоже так нельзя....
но я хотел заново создавать... похоже так нельзя....
МС
yield runner.crawl(Spider1, **settings_ed) - по идее, это же не имеет смысла. Или я не прав?
ты же эти настройки при создании раннера прописал
ты же эти настройки при создании раннера прописал
SS
Ох как же я намучился с запуском из скрипта да через Celery всей этой канители. В итоге понял, что проще запускать из кода через scrapyd сервер. По окончании работы первого парсера.
i
yield runner.crawl(Spider1, **settings_ed) - по идее, это же не имеет смысла. Или я не прав?
ты же эти настройки при создании раннера прописал
ты же эти настройки при создании раннера прописал
в принципе да, в первой строчке да, не имеет
МС
а там где был у меня баг с Set сменил на list себе, теперь осталось понять почему оно орет на remove из Set, раньше же вроде работало
Ремув из настроек? Может более правильно дефолтное значение?
i
нет, там логика такая, что второй спайдер должен исключать урлы, найденные в первом спайдере, и для этого я по базе проверяю есть ли текущий урл в базе (а в первом спайдере, соответственно, пихаю эти урлы в базу),
https://i.imgur.com/CGiwnQ0.png
и раньше работало просто
links_on_page = set(links_on_page) #был set, т.к. давало кучу дублей
https://i.imgur.com/CGiwnQ0.png
и раньше работало просто
links_on_page = set(links_on_page) #был set, т.к. давало кучу дублей
AR
в crawl же не сеттингс передаются, а аргументы спайдера