Сделай отдельный дроп, закинь в сайтмап дропа все урлы твоих сайтов и в конец строки сайтмапа закинь снова урл сайтмапа дропа. Кидаешь на индекс сайтмап дропа и зацикливаешь краулинг по кругу. На выходе бот будет постоянно сканить твой сайтмап и сканить все ссылки в нем. И так по кругу пока бан сайтмапа не хапнешь)