Это закончилось

Нынче сильно выражен технофетишизм и скакрализация на нейронок и на машинное обучение.

У вас нет подобных вопросов, потому что у вас нет своей целостной идеалогии, концепции агрегатора. Она и не нужна вам) Задача конкурса нарубить дрова, не смотря ни на лес, ни на планету. Тож дело нужное, когда дрова нужны 😁
Желаю удачи)

Я глянул в Яндекс новости группировку по сюжетам.

Например, Тесла получил 146 тыс предзаказов на cybertruck. Этот сюжет никак не связан с сюжетом о презентации cybertruck. Взгрустнул 😂 За почти 20 лет развития сервиса такой регресс. Зачем мне видеть, что новость была дублирована на 7000 сми (часть из которых к тому же дно) , когда интересно есть ли в этих публикациях дополнения или новая информация, ну и как этот сюжет связан с другими.

Вот ваша логика и подтвердилась по независимости обработки датасетов. Сразу видно лопатят новости за день два  и гудбай.

Подозреваю, условия конкурса писал яндексоид, он и тянет за собой архитекиуру Яндекса.

В общем вопросов больше не имею.

запилил себе TUI для разметки тестoвoгo датасета пo всем категoриям

чайки в деле

Ты задетектил язык?

А как же https://pypi.org/project/langdetect/ ?

А как же https://pypi.org/project/langdetect/ ?