V
Size: a a a
2020 October 08
MМ
Подскажите еще пару сервисов подешевле где можно пул проксей использовать с авторотацией на каждый запрос
Скидывал выше
MМ
https://github.com/u1234x1234/torpool сам меняет айпи, мне не нужно сами прокси блеклистить
это
S
У меня сайт Тор отправляет по известному адресу
AL
Andrii
Гугл.ботом для гугла?
Кстати, интересно, как он отреагировал бы))))
Или Яндексом... "Гугл, я пришел к тебе. Твой Яндекс" )))
По-хорошему, правильная система защиты должна гугл/яндекс по списку ip проверять) Яндекс где-то дает ссылку на список ip. Как раз, чтобы такие прикидывания не срабатывали)
Или Яндексом... "Гугл, я пришел к тебе. Твой Яндекс" )))
По-хорошему, правильная система защиты должна гугл/яндекс по списку ip проверять) Яндекс где-то дает ссылку на список ip. Как раз, чтобы такие прикидывания не срабатывали)
AR
правильная система защиты на юзерагент смотреть и не будет
S
Кстати, интересно, как он отреагировал бы))))
Или Яндексом... "Гугл, я пришел к тебе. Твой Яндекс" )))
По-хорошему, правильная система защиты должна гугл/яндекс по списку ip проверять) Яндекс где-то дает ссылку на список ip. Как раз, чтобы такие прикидывания не срабатывали)
Или Яндексом... "Гугл, я пришел к тебе. Твой Яндекс" )))
По-хорошему, правильная система защиты должна гугл/яндекс по списку ip проверять) Яндекс где-то дает ссылку на список ip. Как раз, чтобы такие прикидывания не срабатывали)
забанил бы сразу
2020 October 09
MМ
и я там забыл один пункт, оно spider.crawler.engine.schedule
Когда так добавляет это в обход тротлинга происходит?
AR
Когда так добавляет это в обход тротлинга происходит?
В обход это как? Троттлинг применяется при отправке запроса
MМ
то есть ограничения по тротлингу на него тоже распространяются?
AR
Ну ты можешь рассказать что имеешь в виду