IC
не получается лить больше 2к rps
Size: a a a
2020 February 06
AK
зачем пулл проксей в тыщу штук для обхода блокировок, когда достаточно одной
Потому что например особо умные быстро банят такие прокси. Поэтому выгоднее делать размазанную нагрузку, что бы под блокировку не часто влетать.
AB
+++. "один мой друг"(тм) так гео апи гугла юзал дабы не платить за него. ибо когда лимит бесплатных запросов 1-2 в сутки, а тебе нужно 250к.
еще веселее становится когда нужно какой нибудь краулер писать и работать с "чем попало". там тебе и рейт лимиты и баны по айпи и http 400/500 вместо 200 и попытки работать только с теми, кто javascript выполнил и куку полчил
еще веселее становится когда нужно какой нибудь краулер писать и работать с "чем попало". там тебе и рейт лимиты и баны по айпи и http 400/500 вместо 200 и попытки работать только с теми, кто javascript выполнил и куку полчил
M
+++. "один мой друг"(тм) так гео апи гугла юзал дабы не платить за него. ибо когда лимит бесплатных запросов 1-2 в сутки, а тебе нужно 250к.
еще веселее становится когда нужно какой нибудь краулер писать и работать с "чем попало". там тебе и рейт лимиты и баны по айпи и http 400/500 вместо 200 и попытки работать только с теми, кто javascript выполнил и куку полчил
еще веселее становится когда нужно какой нибудь краулер писать и работать с "чем попало". там тебе и рейт лимиты и баны по айпи и http 400/500 вместо 200 и попытки работать только с теми, кто javascript выполнил и куку полчил
ну это кстати достаточно интересная задача технически?
AH
+++. "один мой друг"(тм) так гео апи гугла юзал дабы не платить за него. ибо когда лимит бесплатных запросов 1-2 в сутки, а тебе нужно 250к.
еще веселее становится когда нужно какой нибудь краулер писать и работать с "чем попало". там тебе и рейт лимиты и баны по айпи и http 400/500 вместо 200 и попытки работать только с теми, кто javascript выполнил и куку полчил
еще веселее становится когда нужно какой нибудь краулер писать и работать с "чем попало". там тебе и рейт лимиты и баны по айпи и http 400/500 вместо 200 и попытки работать только с теми, кто javascript выполнил и куку полчил
Ещё веселее когда краулеры в ханипот направляются с плохой инфой без бана
IC
это что, новый способ пиратства в эпоху СААС?
AH
это что, новый способ пиратства в эпоху СААС?
Сбор публичной инфы вряд ли можно назвать пиратством
AH
В США кстати легализовали краулинг
M
Ну как бы гугл/яндекс/бинг боты тоже собирают данные с сайтов. Если ты пишешь что то из этой оперы не обязательно же что у тебя цели с законом плохо совместимые.
конечно, вроде недавно был какой-то суд в штатах что не законно запрещать краулить сайты? что-то с линкедыном было? а где прокси друг брал?
s
Кто-нибудь пользовался этим фреймворком - https://github.com/Dasync/Dasync
Есть какие-то очевидные плюсы и юзкейсы?
Есть какие-то очевидные плюсы и юзкейсы?
IC
Кто-нибудь пользовался этим фреймворком - https://github.com/Dasync/Dasync
Есть какие-то очевидные плюсы и юзкейсы?
Есть какие-то очевидные плюсы и юзкейсы?
выглядит интересно, но ООООЧЕНЬ странная штука вот тут
IC
