банальный таймаут перед получением хтмл поможет с лихвой, по умолчанию 0, будет работать как сейчас, а если в гет пришел с урлом какой-то параметр для контроля его (&wait=300 ждет 300 мсек), то увеличить можно
Тут другое может быть, что если скрипт тащит некоторые данные асинхронно, то могут не все данные успеть подтянуться и отрендериться. Поэтому да, надо наверное придумать способ делать таймаут, как это реализовано в Googlebot. Там 20 секунд дается на это.