Size: a a a

2020 February 06

IC

Ilya Chernoudov in pro.net
не получается лить больше 2к rps
источник

AK

Aleksey Kalduzov in pro.net
невидимка
зачем пулл проксей в тыщу штук для обхода блокировок, когда достаточно одной
Потому что например особо умные быстро банят такие прокси. Поэтому выгоднее делать размазанную нагрузку, что бы под блокировку не часто влетать.
источник

AB

Alex B in pro.net
+++. "один мой друг"(тм) так гео апи гугла юзал дабы не платить за него. ибо когда лимит бесплатных запросов 1-2 в сутки, а тебе нужно 250к.
еще веселее становится когда нужно какой нибудь краулер писать и работать с "чем попало". там тебе и рейт лимиты и баны по айпи и http 400/500 вместо 200 и попытки работать только с теми, кто javascript выполнил и куку полчил
источник

M

Mary in pro.net
Alex B
+++. "один мой друг"(тм) так гео апи гугла юзал дабы не платить за него. ибо когда лимит бесплатных запросов 1-2 в сутки, а тебе нужно 250к.
еще веселее становится когда нужно какой нибудь краулер писать и работать с "чем попало". там тебе и рейт лимиты и баны по айпи и http 400/500 вместо 200 и попытки работать только с теми, кто javascript выполнил и куку полчил
ну это кстати достаточно интересная задача технически?
источник

AH

Ayrat Hudaygulov in pro.net
Alex B
+++. "один мой друг"(тм) так гео апи гугла юзал дабы не платить за него. ибо когда лимит бесплатных запросов 1-2 в сутки, а тебе нужно 250к.
еще веселее становится когда нужно какой нибудь краулер писать и работать с "чем попало". там тебе и рейт лимиты и баны по айпи и http 400/500 вместо 200 и попытки работать только с теми, кто javascript выполнил и куку полчил
Ещё веселее когда краулеры в ханипот направляются с плохой инфой без бана
источник

IC

Ilya Chernoudov in pro.net
это что, новый способ пиратства в эпоху СААС?
источник

AH

Ayrat Hudaygulov in pro.net
Ilya Chernoudov
это что, новый способ пиратства в эпоху СААС?
Сбор публичной инфы вряд ли можно назвать пиратством
источник

AB

Alex B in pro.net
Mary
ну это кстати достаточно интересная задача технически?
Ага, краулинг вообще интересно.
источник

AH

Ayrat Hudaygulov in pro.net
В США кстати легализовали краулинг
источник

E

EgorBo in pro.net
краулинг - это песня линкед парк?
источник

AB

Alex B in pro.net
Ну как бы гугл/яндекс/бинг боты тоже собирают данные с сайтов. Если ты пишешь что то из этой оперы не обязательно же что у тебя цели с законом плохо совместимые.
источник

U

Username in pro.net
EgorBo
краулинг - это песня линкед парк?
оч крутая песня кста
источник

E

EgorBo in pro.net
Username
оч крутая песня кста
+
источник

E

EgorBo in pro.net
пахнуло 2009ым
источник

U

Username in pro.net
R.i.P ЧЕСТЕР 😢😭😢😭
источник

E

EgorBo in pro.net
ой, 2000ым
источник

M

Mary in pro.net
Alex B
Ну как бы гугл/яндекс/бинг боты тоже собирают данные с сайтов. Если ты пишешь что то из этой оперы не обязательно же что у тебя цели с законом плохо совместимые.
конечно, вроде недавно был какой-то суд в штатах что не законно запрещать краулить сайты? что-то с линкедыном было? а где прокси друг брал?
источник

s

semptra in pro.net
Кто-нибудь пользовался этим фреймворком - https://github.com/Dasync/Dasync
Есть какие-то очевидные плюсы и юзкейсы?
источник

IC

Ilya Chernoudov in pro.net
semptra
Кто-нибудь пользовался этим фреймворком - https://github.com/Dasync/Dasync
Есть какие-то очевидные плюсы и юзкейсы?
выглядит интересно, но ООООЧЕНЬ странная штука вот тут
источник

IC

Ilya Chernoudov in pro.net
источник