Markel Gochevich
Скажи пожалуйста, есть сайт на битриксе, я кидаю его сканировать в NetpeakSpider, сканирует ооочень долго, там уров максимум я видел 40 тыс, но это где то 40% просканировало, до конца чтоб, это часов 5-6 ждать надо, а чем может быть такая проблема, знает может кто, или может мне как то можно ограничить эти системные урлы?
Скорость сканирования в 99.9% случаев медленная из-за скорости ответа сервера. Если сейчас оно большое, то повышение количества потоков может просто положить сайт, что явно не ускорит этот процесс) Можете обратиться к вашему хостеру, попросить увеличить мощность сервера, чтобы он мог хорошо выдерживать нагрузку.
Есть ещё случай, когда вы включили JS-рендеринг и выставили 2-3 потока, тогда сканирование тоже медленное. В таком случае нужно увеличить количество потоков до 10-15, но следите за временем ответа сервера, если оно значительно повышается, значит сервер ложится, лучше обратно занизить до 5.