AR
руками через reactor.call_later(), но при чём тут дубликаты-то
Size: a a a
2020 October 05
MМ
руками через reactor.call_later(), но при чём тут дубликаты-то
рекурсия получается же
AR
ок
MМ
Сейчас я делаю yield, но как его поменять на CallLaterOnce?
MМ
насколько я понял там коллбек нужен, но на что колбечить?
AR
написать функцию, сунуть в неё spider.crawler.schedule, сунуть её в call_later
AR
или даже прямо spider.crawler.schedule сунуть в call_later
A
кстати, как думаете, норм мидлварка? https://stackoverflow.com/questions/50555545/using-scrapy-on-a-google-cache-of-a-website
MМ
или даже прямо spider.crawler.schedule сунуть в call_later
где получить spider.crawler.schedule? что нужно импортировать?
AR
в объекте spider, если доступен
MМ
from .spiders.synopsisspider import ClinicalSynopsisSpider
ClinicalSynopsisSpider.crawler
*** AttributeError: type object 'ClinicalSynopsisSpider' has no attribute 'crawler'
AR
если в пауке то self.spider
AR
тьфу
AR
если в пауке то self конечно
MМ
в мидлваре
AR
и я там забыл один пункт, оно spider.crawler.engine.schedule
AR
в мидлваре объект spider
A
@wrar42 а можно сделать, что б как-то вернуть исходнЬІй урл ? request url --> new request url --> response --> request url (https://pastebin.com/Vg3VJKki)
AR
куда вернуть?
A
куда вернуть?
как-то так
def process_response(self, request, response, spider):
source_url = str(response.url).replace('https://webcache.googleusercontent.com/search?q=cache:', '')
response.replace(url=source_url)
return response