Про дерево решений - это для примера, в целом, безралично какой алгоритм, главное чтоб своё можно было запихнуть.

Очень благодарю!!

Если речь идёт именно о кластеризации (а не классификации), то в агломеративный кластеризатор в sklearn (или где-либо ещё) можно подложить свою собственную матрицу расстояний, вычисленных по какой угодно метрике. Вот пример.

А вас собственно классификация (с размеченными данными) или кластеризация (с неразмеченными) интересует?)

На сколько популярен рандом форест поверх tf-idf/fasttext в задаче классификации текстов?

Чаще всего про логистическую регрессию слышу, но у меня бейзлайн с рф уверенно побеждает логрег, стоит искать подвох?

А SVM и Naive Bayes пробовали? Всяко бывает, у меня NB и, кажется, Extra Trees на каких-то текстах хорошо заходили. Основная засада RF в сравнении с NB или там LR тупо в том, что он сильно медленнее.

Если уж хочется хороший скор и есть достаточно ресурсов, то имеет смысл сразу SOTA какую-нибудь нейросетёвую использовать. А если ресурсов нет и важнее скорость, чем чуть более лучший скор, тут то и пригождаются простые быстрые модели.

Мне кажется, очень сильно зависит и от самих текстов, и от того, как они на классы разбиты. В целом я бы подвоха не искал) Сам раньше слышал про примеры, когда RF работал заметно лучше линейных моделей, и в принципе понятно, почему.

можно еще стакнуть NB и логрег по заветам Джереми

Стэкинг никогда не помешает, но лучше всё же разных моделей )  Но в реальной жизни по-моему никто не стэкает, как на каггле

Мне кажется, стоит искать оверфитинг у лог рега :) например, если мало данных. нейросети чаще проигрывают из-за оверфитинга, а не репрезентативной способности. На многих NLP задачах совершенно разные головы поверх эмбеддингов показывают примерно одинаковые результаты. Где-то конечно есть задачи, где эмбеддинга мало, и сеть делает дополнительные фичи. На классификации текста обычно дополнительных внутренних фич не нужно, на голову пофиг, а вот более хорошие эмбеддинги (CNN/ULMFIT/ELMO/BERT) увеличивают качество, но при условии, что у вас мало supervised данных. Если же данных много -- то пофиг и на эмбеддинг, и на голову.

пробовал NB, SVM, LR, у них  разница в качестве минимальна по сравнению с RF

Текста короткие описания товаров, сильно почищенные

Спасибо за комментарии, интересный эффект получился, раньше такого не встречал

У меня на таких Fasttext supervised нормально работал

Но текстов было много.

Текстов немного кстати, один датасет 10к, второй вообще 1к

Эээ, вы же сначала говорили, что RF уверенно заборол LR по качеству. Я что-то не понял )  А если качество одинаковое, то надо брать то, что быстрее работает. NB и лог.рег. весьма шустрые, например.

А насчёт того, что эмбеддинги больше дают, чем выбор модели, которая учится по данным - это очень верно

LR, SVM и LR примерно равны между собой, a RF лучше их)

Понятно )  Ну если по скорости справляется, то и хорошо. Повторюсь, у меня на текстах вообще Extra Trees внезапно лучше чем RF оказались.