VK
адвансед давай еще
Size: a a a
2020 March 30
S
VK
хмммм
VK
должен обходить вроде
VK
а не. вот. во втором блоке есть
VK
Follow External "nofollow"
VK
ну я бы всё включил
VK
вот по умолчанию у меня ваще так
VK
и так
S
спасибо, скомуниздил все✊
S
а по нагрузке на серв как выставлено?
S
а то каждый раз смотрю после краулинга нагрузку на серве сердце за него кровью обливается
VK
а по нагрузке на серв как выставлено?
по разному. обычно без ограничений
VK
а то каждый раз смотрю после краулинга нагрузку на серве сердце за него кровью обливается
ну можешь количество потоков снизить или сразу количество урлов в секунду ограничить. зависит от объема сайт канеш
VK
так считай что 1 урл в секунду - это 86к урлов в стуки или 3600 в час )
VK
но до одного урла это надо очень тормозной сайт иметь или админа-параноика
S
меня блочило так несколько раз. ставишь на ночь встаешь а там 20% только обошло т.к. ip в бан улетел
S
без ограничений когда жарит
S
спасибо за подсказку ✊ пошел перепарсивать