Size: a a a

2020 September 08

YB

Yaswanth Bangaru in Scrapy
Will check it out and be back, kinda too much to take in
источник

МС

Михаил Синегубов... in Scrapy
человеки, дано. Порядка 60 тыс объявлений на avito. Надо обойти все.

вопрос - какие прокси под авито посоветуете?
источник

iz

izzz zzi in Scrapy
Михаил Синегубов
человеки, дано. Порядка 60 тыс объявлений на avito. Надо обойти все.

вопрос - какие прокси под авито посоветуете?
Мобильные
источник

МС

Михаил Синегубов... in Scrapy
izzz zzi
Мобильные
ты не умничай, ты пальцем ткни 🙃
источник

S

Spirit💎 in Scrapy
Михаил Синегубов
ты не умничай, ты пальцем ткни 🙃
airsocks?
источник

К

Кирилл in Scrapy
Spirit💎
airsocks?
rsocks.net вроде норм и там можно час бесплатного теста взять
источник

СТ

Семён Трояновский... in Scrapy
Кирилл
rsocks.net вроде норм и там можно час бесплатного теста взять
Да норм только лимит у них жёсткий
источник

AA

Artemiy Artemiy in Scrapy
airsocks сегодня сутки тест дали
источник

AL

Alexey Lemeshevski in Scrapy
airsocks.in - на тарифе "общий" можно установить смену ип каждые 120 секунд, 700 рублей в месяц, мин.заказ 2 прокси. Ограничение по скорости 2мбит/с на прокси, соединений до 50. Но при такой скорости, некоторые сайты, вроде беру.ру (1мбайт ответ сервера без сжатия, сжатый около 60кбайт) больше чем в 4 потока на прокси, не пролезут :)

Также, у них есть "мультипорт" - меняют ип на каждый запрос(!) 2700 рублей в месяц (на 2 недели дешевле), 2мбит/с, макс. 4 соединения. Это очень удобно. Правда, у меня не более 90% запросов завершается успехом, поэтому надо проверить, чтобы не терялись урлы. Я даже заморочился - купил впс для теста в том же ДЦ, где у них "фронт", один фиг только 90%)) а то и меньше.

Но все же, это дико удобно.

А, куки только отключайте под этот "мультипорт", а то смысла в смене ип не будет)
источник

AL

Alexey Lemeshevski in Scrapy
А у rsocks нет ограничения по скорости?
источник

AL

Alexey Lemeshevski in Scrapy
Семён Трояновский
Да норм только лимит у них жёсткий
А что за лимит?) Лимит чего?)
источник

СТ

Семён Трояновский... in Scrapy
Alexey Lemeshevski
А что за лимит?) Лимит чего?)
tcp коннектов
источник

AL

Alexey Lemeshevski in Scrapy
Вроде обещают 50 подключений за 7т.р. а месяц) или я не тот тариы смотрю?)
источник

СТ

Семён Трояновский... in Scrapy
ну если 50 достаточно то конечно никаких проблем) я тут в 500 пытаюсь влезть )
источник

СТ

Семён Трояновский... in Scrapy
коннекты в состоянии time-wait тоже считаются
источник

AL

Alexey Lemeshevski in Scrapy
Семён Трояновский
коннекты в состоянии time-wait тоже считаются
А сколько из 500 выходит активных в итоге?)
источник

СТ

Семён Трояновский... in Scrapy
Alexey Lemeshevski
А сколько из 500 выходит активных в итоге?)
это не такой уж простой вопрос) потести, посмотри через netstat какая будет картина. я не на скрапи сижу так что мои статы могут быть нерелевантны
источник

AL

Alexey Lemeshevski in Scrapy
Семён Трояновский
это не такой уж простой вопрос) потести, посмотри через netstat какая будет картина. я не на скрапи сижу так что мои статы могут быть нерелевантны
я сам на Скрапи только неделю )) меня дико порадовало, как фреймворк устроен ) ...а до этого все делал своим роботом, на основе libcurl ) и то, что выше писал про airsocks - как раз замерял на своем роботе )

...за ссылку на прокси спасибо )
источник

iz

izzz zzi in Scrapy
Михаил Синегубов
ты не умничай, ты пальцем ткни 🙃
источник

iz

izzz zzi in Scrapy
Могут менять если докажешь что взял для авито а оно не работает 😀
источник