Size: a a a

2019 October 24

МС

Михаил Синегубов in Scrapy
Николай
Лимит 500 потоков, я разные настройки пробую, REQUESTS пробовал разные, от 300 до 500, пров показывает, что за 500 потоков ухожу и количество коннектов в ОС тоже показывает, что ухожу
ммм, а что ты такое парсишь что тебе 500 потоков жизненно необходимы
источник

iz

izzz zzi in Scrapy
Николай
Всмысле?
Где запускаешь паука
источник

iz

izzz zzi in Scrapy
У меня больше 100 нет
источник

iz

izzz zzi in Scrapy
Михаил Синегубов
ммм, а что ты такое парсишь что тебе 500 потоков жизненно необходимы
+
источник

Н

Николай in Scrapy
Ну да, надо 500, чтобы быстро парсить, 250к запрос в час
источник

iz

izzz zzi in Scrapy
Можешь попробовать от скрапихаб прокси
источник

iz

izzz zzi in Scrapy
Если бюджет есть
источник

Н

Николай in Scrapy
Там дорого(
источник

Н

Николай in Scrapy
Попробовал выставить только CONCURRENT_REQUESTS
источник

МС

Михаил Синегубов in Scrapy
Николай
Ну да, надо 500, чтобы быстро парсить, 250к запрос в час
а сколько допуск у провайдера?
источник

Н

Николай in Scrapy
Тогда вообще мало коннектов около 20, выставил еще per_ip, стало много
источник

Н

Николай in Scrapy
Михаил Синегубов
а сколько допуск у провайдера?
500
источник

iz

izzz zzi in Scrapy
Николай
Там дорого(
Попробуй прокси брокер
источник

К

Кирилл in Scrapy
Николай
Тогда вообще мало коннектов около 20, выставил еще per_ip, стало много
так ты определись что тебе нужно, мало или много
источник

Н

Николай in Scrapy
Мне надо, чтобы они не текли
источник

iz

izzz zzi in Scrapy
izzz zzi
Попробуй прокси брокер
По кд обновлять список
источник

К

Кирилл in Scrapy
они не текут, я объяснил поведение
источник

К

Кирилл in Scrapy
что б не упереться в 500, подели 500 на количество прокси, будет твое пер айпи
источник

К

Кирилл in Scrapy
или 480 лучше, чтоб запас был
источник

Н

Николай in Scrapy
Там в коде rotating_proxies вообще не фигируруют эти настройки
источник