Size: a a a

DevOps — русскоговорящее сообщество

2021 January 10

C

Crysalis in DevOps — русскоговорящее сообщество
:D
источник

I

III in DevOps — русскоговорящее сообщество
Хехе
источник

AD

A D in DevOps — русскоговорящее сообщество
Margarita
Привет! Пробовал astroproxy? У них довольно гибкая тарифная сетка, можно набрать в армию часть резидентных, часть корпоративных , часть мобильных проксей, плюс ротацию включить. Работают относительно стабильно. Впрочем, люминати тоже ок.

В свое время для парсинга как раз инсты набрали порядка 2к проксей от разных провайдеров. В том числе были и оч дешёвые.
Пиковая нагрузка примерно 600 асинхронных запросов от 1 парсера ( их было несколько). Работало сутками, часов через 5- 6 начинались  баны. Инст банит сразу подсетки, поэтому старались не брать провайдеров которые дают прокси в одной подсети.

В общей сложности было порядка 30-40% зафакапленных запросов за один запуск. Это предел, дальше улучшить не смогли на тот момент, пока я была в проекте, но тюнили это дело довольно долго.
Спасибо огромное за инфу! Буду смотреть
источник

C

Crysalis in DevOps — русскоговорящее сообщество
ох уж эта конкуренция :D
источник

M

Margarita in DevOps — русскоговорящее сообщество
III
Обычный парс автоматизировать не проблема.
С инстой как раз таки проблема. Там и ботов банят, и прокси, и много ещё всякого )
источник

C

Crysalis in DevOps — русскоговорящее сообщество
подеритесь))
источник

I

III in DevOps — русскоговорящее сообщество
Margarita
С инстой как раз таки проблема. Там и ботов банят, и прокси, и много ещё всякого )
Всё банят, и акки жгут по пачке.
Своя кухня, работали, знаем)
источник

M

Margarita in DevOps — русскоговорящее сообщество
A D
да именно так,  много тех аккаунтов собирают инфу и поэтому ловим бан, все запросы по приват апи через реверс инженеринг
Нам приват апи не помог.
Веб оказался быстрее и менее суров по части банов. Но допускаю, что мы не так готовили приватный апи
источник

I

III in DevOps — русскоговорящее сообщество
Crysalis
подеритесь))
Лучше тебе накидаем по наглой рыжей морде.
источник

I

III in DevOps — русскоговорящее сообщество
Приходи на встречу в мск, к Гумилёву)
источник

C

Crysalis in DevOps — русскоговорящее сообщество
III
Лучше тебе накидаем по наглой рыжей морде.
зануда!
лучше все три свои палки накидай маргарите!
источник

C

Crysalis in DevOps — русскоговорящее сообщество
III
Приходи на встречу в мск, к Гумилёву)
я человек! не хожу на тусу в интернете!
источник

C

Crysalis in DevOps — русскоговорящее сообщество
😂
источник

I

III in DevOps — русскоговорящее сообщество
Человек, говоришь, а всем нахамить успел(
источник

C

Crysalis in DevOps — русскоговорящее сообщество
кому всем?
максимум тебе и боту маргарите)
источник

I

III in DevOps — русскоговорящее сообщество
Достаточно.
источник

M

Margarita in DevOps — русскоговорящее сообщество
Crysalis
кому всем?
максимум тебе и боту маргарите)
От бота слышу:)
источник

C

Crysalis in DevOps — русскоговорящее сообщество
III
Достаточно.
ладна
угаварил
пойду съем тухлую пельмешку (нет)
источник

E

Endruew in DevOps — русскоговорящее сообщество
@name323 сколько же вы там запрсов шлете что так быстро банят вас
источник

C

Crysalis in DevOps — русскоговорящее сообщество
Margarita
От бота слышу:)
сиськи в студию!
источник