IB
было еще предположение здесь в чате о глаголах в совершенном роде - для определения, что это новость
в википедии много чего в past perfect/simple
Size: a a a
2019 November 20
S
было еще предположение здесь в чате о глаголах в совершенном роде - для определения, что это новость
Но что-то мне кажется, это слишком заморочено
D
Интересно,какого процента таких слов в тексте достаточно,для определения языка
IB
тут надо контекст определить, возможно строить корпус 3-грамм для новостей
НК
прогоните через apache tika чтобы было с чем сверять свой алгоритм определения языка
S
тут надо контекст определить, возможно строить корпус 3-грамм для новостей
а дальше что смотреть?
IB
а дальше что смотреть?
вхождение n-грам
IB
если много то новость
IB
все от качества обучающего датасета же зависит
S
аа, понял
IB
прогоните через apache tika чтобы было с чем сверять свой алгоритм определения языка
спасибо не знал про нее) посмотрю
НК
очень простая в работе утилита
НК
а это для продакшн хороша быстро работает
НК
2 версию юзал, эту не пробовал
НК
можно регулярными выражениями кириллицу и латиницу сразу выделить и отсечь всякую арабщину
S
если в тексте 50% ру 50% не ру - можно например определить языковую принадлежность заголовка, что станет решающим критерием
Илон Маск запустил «Ultra Mega Super Duper Spaceship» в космос.
IB
мой человеческий мозг кричит что то что в кавычках - можно заменить на %SOME_TITLE, но вот если кавычек нет то сложно
МБ
Ну крайне маловеоятно, что в тексте будет РОВНО 50% русских и 50% английских слов, в том числе и в заголовке
IB
примерно же)