S
Если кому-то будет полезно, вот еще подходы для определения языка
Size: a a a
2019 November 20
S
НК
я треннировал в свое время stanford алгоритм для классификации - тупиковая ветвь
НК
а как вы собираетесь группироват по сюжетам?
IB
похожесть заголовков - первое что пришло в голову
НК
и еще по важности 😂
IB
старая новость - не важная
MK
Если писать на питоне, то можно заюзать пакет langdetect для определения языка текста
НК
да на питоне много полезных библиотек
SA
да на питоне много полезных библиотек
Только время жалко
SA
SA
И стандалон опасно собирать
РБ
Я тут пилю стикеры, но они под условия конкурса не подойдут, потому что текстовые. Хотите заценить? (В паке готова треть)
НК
старая новость - не важная
я думаю чем больше в сюжете новостей с разных источников, тем она важнее
РБ
Короче, вот один — остальные в паке смотрите, дабы чат не засорять.
НК
похожесть заголовков - первое что пришло в голову
similarity да можно, но заголовков не достаточно для качества
НК
проблема similarity в том, что она напрочь не видит смысла в тексте и рерайт😂
IB
я на вк хакатоне недавно пилил похожую систему. дело в том что иногда сюжеты в новостях повторяются, и каждый год могут постить о том что в челябинске мужик съел огурец и отравился
НК
новость про запуск тесла сегодня и новость про тесла года назад это уже разные сюжеты