B
только по идеи нужно отметить флагом что идет распознание и решедулить уже посланные запросы.
Size: a a a
2020 September 16
S
только по идеи нужно отметить флагом что идет распознание и решедулить уже посланные запросы.
а в рамках одной задачи затык на капче остановит парсинг всех остальных страницы в очереди?
AR
Всем привет! вопрос - как и в чем хранить стейт краулера?
Пример - краулер идет на одну страницу, вычитывает с нее список урлов, затем последовательно вычитывает с урлов данные. Как сохранить информацию о том, что по этой цепочке краулер уже проходил?
Пример - краулер идет на одну страницу, вычитывает с нее список урлов, затем последовательно вычитывает с урлов данные. Как сохранить информацию о том, что по этой цепочке краулер уже проходил?
scrapy-crawl-once
S
и еще такой вопрос - где обычно берут списки проксей? я ротирую список динамически, основываясь на проксях от proxyscrape, но там рабочих проксей одна на 100 (затобесплатно)
https://crawlera.com/ посмотри
B
а в рамках одной задачи затык на капче остановит парсинг всех остальных страницы в очереди?
наверное нужно остановить и закешировать остальные, если мы говорим об одной сессии
A
Привет. Кто может помочь сделать mysql bulk insert с пайплайна?)
A
потому что код написан по дебильному 😕
A
Как умел, так и писал😐