A
распределение по языка
[other] => 266201
[ru] => 117936
[en] => 83347
[other] => 266201
[ru] => 117936
[en] => 83347
ru: 139567
en: 227058 (?)
en: 227058 (?)
Size: a a a
2019 November 21
A
надo вывести вес других языкoв наружу, я этoгo не делал
A
я просто почти уверен, что до точности 95% будет много испанского, итальянского и подобного
SA
я просто почти уверен, что до точности 95% будет много испанского, итальянского и подобного
SA
а как их можно спутать с англ или русским?
A
а как вы их определяете? я на буквы смотрю..
НК
ru: 139567
en: 227058 (?)
en: 227058 (?)
у тебя en 227т?
SA
Можно сделать сет для проверки, прогнав какой то увесистый кусок через 3-4 инструмента, включая апи Гугла/Яндекса. И на нем проверять условные регулярки/свои правила, что лишку не хватаешь
A
у тебя en 227т?
да, ниже написал
> я просто почти уверен, что до точности 95% будет много испанского, итальянского и подобного
> я просто почти уверен, что до точности 95% будет много испанского, итальянского и подобного
SA
да, ниже написал
> я просто почти уверен, что до точности 95% будет много испанского, итальянского и подобного
> я просто почти уверен, что до точности 95% будет много испанского, итальянского и подобного
Так их же не нужно детектить, просто отложить в other
A
а я сейчас, видимo, прoпускаю их в "en"
НК
en там всего 80т
VS
ru: 139567
en: 227058 (?)
en: 227058 (?)
ру так а вот анг че то не так :)
НК
далее там много других языков
A
🤔 а как считали?
НК
нам же нужно и ру и анг
SA
нам же нужно и ру и анг
нет
SA
на ру, анг и другие, чтобы их откинуть
НК
как нет?
НК
нам что английский не надо классифицировать?