MМ
или даже прямо spider.crawler.schedule сунуть в call_later
CallLaterOnce(spider.crawler.engine.schedule(request, spider)) ?
Size: a a a
2020 October 05
AR
нет
AR
и вообще при чём тут CallLaterOnce
AR
Andrii
как-то так
def process_response(self, request, response, spider):
source_url = str(response.url).replace('https://webcache.googleusercontent.com/search?q=cache:', '')
response.replace(url=source_url)
return response
ну так и сделать, или посмотреть в scrapy-splash
AR
replace только новый объект возвращает
MМ
и вообще при чём тут CallLaterOnce
AR
ок
MМ
c = CallLaterOnce(spider.crawler.engine.schedule,{
'retryreq': retryreq,
'spider': spider
})
c.schedule(delay=40)MМ
если он так добавит, то парсер не должен закрытся пока все запросы не выполнены?
MМ
или он может закрытся?
AR
может мне кажется
AR
впрочем как этот CallLaterOnce будет работать я вообще понятия не имею, но хозяин барин
MМ
Просто сейчас он закрывается даже когда я добавил в очередь запрос. Как сделать чтобы не закрывался пока очередь не пуста?
AR
так она пуста
AR
запрос поставится в очередь только когда вызовется schedule
MМ
c = CallLaterOnce(spider.crawler.engine.schedule,{
'retryreq': retryreq,
'spider': spider
})
c.schedule(delay=40)вызываю же
AR
нет
AR
я про spider.crawler.engine.schedule конечно
MМ
Получается так ретраи через время неполучится сделать?
2020 October 06
ИМ
Подскажите, как скрапи проект скомпилировать в один исполняемый файл?