s
Свести каждый файл к векторному числовому дескриптору, а потом KNN например который N logN
KNN дает логарифмическую скорость только для небольшой размерности пространства. С ее увеличением он быстро деградирует в линейный поиск
Size: a a a
2019 November 24
s
К тому же с векторами много проблем. Модели большие, плохо учитываются редкие слова
s
Смотря какие вектора использовать. Обычно это 100-300 элементов, что для kd tree очень много, например
s
100000 таких векторов будут долго сравниваться друг с другом
s
Может, их можно спроецировать на 3-4 мерное пространство. Надо смотреть, как это все работать будет
A
а кто-нибудь уже декомпозировал функцию, приводящую домен источника новости и заголовок к имени файла?
s
Как оценить качество группировки по сюжетам?
s
Непонятно, сколько групп алгоритм не нашёл
s
Вручную это размечать ещё труднее, чем категории
AZ
Мне вообще до конца не ясно, что является новостью, я что нет. Например: DataClusteringSample0817/20191111/15/7974306616239086491.html ("Мы заработали на интернет-магазине $160 000, но все равно пришлось его закрыть: кейс") или DataClusteringSample0817/20191111/15/1445164494366389610.html ("Пикантные фотографии артистки взбудоражили Сеть")
s
Мне вообще до конца не ясно, что является новостью, я что нет. Например: DataClusteringSample0817/20191111/15/7974306616239086491.html ("Мы заработали на интернет-магазине $160 000, но все равно пришлось его закрыть: кейс") или DataClusteringSample0817/20191111/15/1445164494366389610.html ("Пикантные фотографии артистки взбудоражили Сеть")
Про фотографии это новость, про мы заработали - нет
s
Я так считаю
AZ
Про фотографии это новость, про мы заработали - нет
А почему, какой критерий?
s
А почему, какой критерий?
Недавнее событие с медиаперсоной; важность
s
Мы заработали - история из жизни ноунейма, скорее литература/советы
AZ
Да, ноунеймы периодически появляются в новостях типа "Полицейские обнаружили ...." или "Неизвестные похитили..."
AZ
Хотя налачие Имя собвенного в заголовке может быть хорошим индикатором новости
SV
Я уже сделал, жена сидит размечает
SV
Примерно так выглядит