Ну если говорить что бы делал я - для начала собрал ответы навыков которые сообществом признаны мертвыми, но считаются живыми самой Алисой, и далее ответ на помощь сравнивал бы на похожесть с этим набором, если конечно, ответ на помощь прошел вовремя. Далее примерно неделю бы смотрел на результаты глазами на предмет аномалий и ошибок, ну а дальше в тестовом режиме в прод. Через месяц ревью набора