Невдупляю как краулер в новом берпе работает. Передаю ему в качестве отправной точки
http://example.com/, он заходит туда видит, что ничего нет(так и есть) и заканчивает скан. Но в sitemap есть интересные файлы и папки (которые я нашёл сам заранее). Почему он по ним не ходит и игнорит?