Тут имхо многое зависит от того, когда в большинстве случаев дается ответ. Если он дается, допустим, почти всегда за 5 секунд, а не за 3, то лучше просто подождать подольше. Возможно, где-то предупредив пользователя об этом ("мой ответ, возможно, придется подождать дольше, чем в других навыках"). Это для пользователя гораздо удобнее, чем заставлять его переспрашивать. Раз в 5 секунд.
Вот в этом вся суть. Конечно, надо смотреть статистику времени выполнения большого кол-ва навыков, далающих запросы к сторонним API (этого я сделать по понятным причинам не могу), но на своих вижу, что почти все превышения лимита времени (когда они случаются, а это не часто) — превышения незначительные — в пределах 0,5 с. Поэтому я (навскидку) считаю, что увеличение лимита на пару секунд (очень!) значительно понизит процент отказов "навык не отвечает".