S
я тоже по этому подхожу пойду
Size: a a a
2019 November 20
S
только хз, есть ли что-то уже написанное на С++
S
есть томита
AA
Можно еще лит стиль попробовать ловить
S
но хз, имеет смысл его как-то подключать
AA
есть томита
Томита сама по себе весит мегабайт 200
AA
насколько я помню
D
Тут уже были идеи,как определять язык текста?
IB
если в тексте 50% ру 50% не ру - можно например определить языковую принадлежность заголовка, что станет решающим критерием
S
я определяю просто по словам из списка самых употребляемых для языка
IB
нужно понять какие части статьи оказывают решающее воздействие на восприятие человеком языка статьи, думаю заголовок годится
D
я определяю просто по словам из списка самых употребляемых для языка
Берешь только русский и английский?
S
да
D
да
Я понял, спасибо
IB
я определяю просто по словам из списка самых употребляемых для языка
ты это юзаешь? https://www.english-corpora.org/coca/
мне прост не охота 400 баксов платить, может зашаришь?
мне прост не охота 400 баксов платить, может зашаришь?
S
было еще предположение здесь в чате о глаголах в совершенном роде - для определения, что это новость
S
или хз, как это называется, но конструкции вроде А выпустил Б
S
ты это юзаешь? https://www.english-corpora.org/coca/
мне прост не охота 400 баксов платить, может зашаришь?
мне прост не охота 400 баксов платить, может зашаришь?
Нет, просто нагуглил топ 500 слов
S
для русского в вики
S
для английского просто most common english words