Size: a a a

2019 October 24

МС

Михаил Синегубов in Scrapy
хоспади, да google + github, там 99.999 % ответов есть, а то, чего нет - либо додумывается, либо неправильно сформулирован вопрос
источник

М

Мак in Scrapy
https://proxy6.net
парни, кроме этого сервиса кто где нормальные прокси берет? что то здесь нет в наличии v4 российских
источник

МС

Михаил Синегубов in Scrapy
тебе по до что?
источник

М

Мак in Scrapy
Михаил Синегубов
тебе по до что?
сервак в россии целевой
источник

МС

Михаил Синегубов in Scrapy
мля, тогда другой вопрос - сильно наюзаный сайт хочешь парсить?
источник

М

Мак in Scrapy
Михаил Синегубов
мля, тогда другой вопрос - сильно наюзаный сайт хочешь парсить?
а....)))  все относительно конечно... форум
источник

МС

Михаил Синегубов in Scrapy
https://buy.fineproxy.org/ - тута дешево, но на популярных уже заюзано
источник

МС

Михаил Синегубов in Scrapy
для форума должно пройти
источник

М

Мак in Scrapy
Михаил Синегубов
https://buy.fineproxy.org/ - тута дешево, но на популярных уже заюзано
ок, спс
источник

B

Bulatbulat48 in Scrapy
источник

Н

Николай in Scrapy
Привет, не подскажите, как бороться с тем, что прокси текут? Выставлю CONCURRENT_REQUESTS(PER_DOMAIN и PER_IP) настройки, без проксей всё ок, но с проксями количество коннектов становится больше и прокси провайдер банит меня, т.к. количество потоков лимитировано
источник

К

Кирилл in Scrapy
Николай
Привет, не подскажите, как бороться с тем, что прокси текут? Выставлю CONCURRENT_REQUESTS(PER_DOMAIN и PER_IP) настройки, без проксей всё ок, но с проксями количество коннектов становится больше и прокси провайдер банит меня, т.к. количество потоков лимитировано
какой ротатор ты используешь? или без него?
источник

МС

Михаил Синегубов in Scrapy
Николай
Привет, не подскажите, как бороться с тем, что прокси текут? Выставлю CONCURRENT_REQUESTS(PER_DOMAIN и PER_IP) настройки, без проксей всё ок, но с проксями количество коннектов становится больше и прокси провайдер банит меня, т.к. количество потоков лимитировано
сколько чего ставишь?
источник

МС

Михаил Синегубов in Scrapy
и какие допуски у прова
источник

Н

Николай in Scrapy
Кирилл
какой ротатор ты используешь? или без него?
rotating_proxies
источник

К

Кирилл in Scrapy
Николай
rotating_proxies
У него пер домейн и пер айп распределяется  на кажду прокси отдельно
если нужно ограничить общее количество, используй просто CONCURRENT_REQUESTS
источник

К

Кирилл in Scrapy
т.е. если ты ставишь пер домейн = 2, тогда 2 прокси * 2 = 4
источник

Н

Николай in Scrapy
Михаил Синегубов
и какие допуски у прова
Лимит 500 потоков, я разные настройки пробую, REQUESTS пробовал разные, от 300 до 500, пров показывает, что за 500 потоков ухожу и количество коннектов в ОС тоже показывает, что ухожу
источник

iz

izzz zzi in Scrapy
Николай
Лимит 500 потоков, я разные настройки пробую, REQUESTS пробовал разные, от 300 до 500, пров показывает, что за 500 потоков ухожу и количество коннектов в ОС тоже показывает, что ухожу
На облаке 500 потоков ?)
источник

Н

Николай in Scrapy
izzz zzi
На облаке 500 потоков ?)
Всмысле?
источник