Есть датасет и нейросетевые
модельки от моих коллег по Сколтеху для детекции трэша. Они тяжеловатые, но можно на этом же датасете обучить что-то своё поменьше.
Кстати, если на это есть спрос, я могу какую-нибудь небольшую модельку готовую выдать для детекции трэша и токсичности.