Всем привет, Работаю долгое время над проблемой, есть бекенд который работает по соц. cетям, скрапит инфу, и постоянно требует пачку проксей т.к. эти рассадники социального зла успешно банят/лимитят запросы. Вся беда в том что качественные прокси найти крайне сложно, дошли до того что закупали mobile proxy, но с ними тоже масса проблем. Может кто-нибудь решал что-то похожее? Буду очень благодарен за идею, где и как разворачивать прокси которые смогут максимально прикинутся реальным клиентом соц. cети. P.S. Весь трафик из популярных клаудов, палится за милю. Используется порядка 1000 прокси/сутки. Пробовали разные сервисы которые предоставляют прокси, таже беда - все очень не стабильно.
Привет! Пробовал astroproxy? У них довольно гибкая тарифная сетка, можно набрать в армию часть резидентных, часть корпоративных , часть мобильных проксей, плюс ротацию включить. Работают относительно стабильно. Впрочем, люминати тоже ок.
В свое время для парсинга как раз инсты набрали порядка 2к проксей от разных провайдеров. В том числе были и оч дешёвые.
Пиковая нагрузка примерно 600 асинхронных запросов от 1 парсера ( их было несколько). Работало сутками, часов через 5- 6 начинались баны. Инст банит сразу подсетки, поэтому старались не брать провайдеров которые дают прокси в одной подсети.
В общей сложности было порядка 30-40% зафакапленных запросов за один запуск. Это предел, дальше улучшить не смогли на тот момент, пока я была в проекте, но тюнили это дело довольно долго.
