В рейтинге участвует:

групп:

каналов:

Виртуальный сервер на SSD - недорого!

Аренда выделенных и виртуальных серверов (VDS/VPS), хостинг, аренда IP-адресов, администрирование, круглосуточная поддержка

qwarta.ru подробнее

Резервное копирование с проверкой на вирусы!!!

Удобный сервис создания резервных копий на любой сервер сети интернет. Отслеживайте изменения, проверяйте на вирусы. Надежно защитите свой бизнес!

go.backupland.com

Выбираете сервер? Любая конфигурация на заказ!

Аренда физических серверов любых конфигураций под любые запросы - 1С бухгалтерия, игровые сервера, нагруженные проекты, интернет-магазины!

qwarta.ru подробнее

Size: a a a

Scrapy

577 membersпожаловаться на группу
2020 August 04

CF

Cool 🦊 Fox in Scrapy
Раз уже тут блог решения проблемы)
А как можно передать исключение timeout в process_request
источник
20:41пожаловаться#1

К

Кирилл in Scrapy
Cool 🦊 Fox
Привет, ребят подскажите пожалуйста
Использую scrapy-proxy-tool
Порой прокси отваливаются и натыкаюсь на timeout, и судя по тестам во время переподключения по timeout прокси не меняется.

DOWNLOADER_MIDDLEWARES = {
    'scrapy.downloadermiddlewares.retry.RetryMiddleware': 130,
    'scrapy_proxies.RandomProxy': 110,
    'scrapy.downloadermiddlewares.httpproxy.HttpProxyMiddleware': 120,
    'scrapy.downloadermiddlewares.useragent.UserAgentMiddleware': None,
    'scrapy_fake_useragent.middleware.RandomUserAgentMiddleware': 400,
    'scrapy_fake_useragent.middleware.RetryUserAgentMiddleware': 401,
}


Как исправить ?
Купи нормальные прокси
источник
20:43пожаловаться#2

AR

Andrey Rahmatullin in Scrapy
😹
источник
20:43пожаловаться#3

CF

Cool 🦊 Fox in Scrapy
Да нормальные они )
источник
20:43пожаловаться#4

CF

Cool 🦊 Fox in Scrapy
Но подвисают )))
источник
20:43пожаловаться#5

К

Кирилл in Scrapy
Cool 🦊 Fox
Да нормальные они )
С таймаутами ?)
источник
20:44пожаловаться#6

CF

Cool 🦊 Fox in Scrapy
Короче, задача стоит не посоветовать мне какие прокси купить, а обьяснить как словить timeout в  process_request 😉
источник
20:44пожаловаться#7

AR

Andrey Rahmatullin in Scrapy
что за бред?
источник
20:45пожаловаться#8

AR

Andrey Rahmatullin in Scrapy
process_request вызывается до отправки реквеста
источник
20:45пожаловаться#9

AR

Andrey Rahmatullin in Scrapy
и принимает только реквесты, какой ещё таймаут
источник
20:45пожаловаться#10

CF

Cool 🦊 Fox in Scrapy
Andrey Rahmatullin
process_request вызывается до отправки реквеста
спасибо тебе, вот теперь понятно, пойду ковырять дальше
источник
20:46пожаловаться#11

AR

Andrey Rahmatullin in Scrapy
это в доке написано чёрным по белому
источник
20:46пожаловаться#12

OS

Oleg Shleiko in Scrapy
а мне кажется у него нет обработки
источник
20:46пожаловаться#13

К

Кирилл in Scrapy
Cool 🦊 Fox
Короче, задача стоит не посоветовать мне какие прокси купить, а обьяснить как словить timeout в  process_request 😉
Я думаю у тебя типичная x y проблема, поэтому такой совет
источник
20:47пожаловаться#14

OS

Oleg Shleiko in Scrapy
https://docs.scrapy.org/en/latest/topics/request-response.html?highlight=errback%3D#accessing-additional-data-in-errback-functions
источник
20:47пожаловаться#15

CF

Cool 🦊 Fox in Scrapy
Проблема в том что когда я получаю ошибку по таймауту, плагин который должен подставлять прокси её не видит ) Её в смысле ошибку)
источник
20:48пожаловаться#16

OS

Oleg Shleiko in Scrapy
есть callback, а есть errback, возможно ты это искал
источник
20:48пожаловаться#17

BL

Boris Litvyakov in Scrapy
Cool 🦊 Fox
Короче, задача стоит не посоветовать мне какие прокси купить, а обьяснить как словить timeout в  process_request 😉
написал в гугле "scrapy catch timeout exception" там есть варианты с каким-то Retry/Timeout MiddleWare дальше вникать лень сорри верю ты справишься
источник
20:48пожаловаться#18

CF

Cool 🦊 Fox in Scrapy
я главное понял куда копать, всем спасибо, буду форкать модуль и дописывать )
источник
20:49пожаловаться#19

BL

Boris Litvyakov in Scrapy
0_0
источник
20:50пожаловаться#20