VZ
тут даже обычный kmeans подойдет, без суперсложностей
Спс. Про kmeans слышал, но с кластеризацией не работал детально.
Size: a a a
2019 November 24
VZ
Если так, то ок
НК
да жопа это все
VZ
да жопа это все
А что лучше?
SA
да жопа это все
итак, и что же
НК
нас загоняют в рамки таких алгоритмов. но какой смысл, если эти тупые алгоритмы делают быстро, но с ошибками 60-70%, а более умные и точные алгоритмы на порядок дольше работают.
SA
так все, можно ливать с соревы чи шо
НК
сгруппировать по сюжетам можно и по частоте слов со стемом и прочими коэффициентами, kmeans туда же. Путин то, Путин это сольются, Путин в Сирии и Путин в культуре скорее всего не отличаться, и будут как сюжет один. Группировка у яндекса неплохо работает, как эталон. Уверен это далеко за пределами 1000 файлов за 60, и без опоры на прошлые анализы. Определено игнор тематики новости при группе в сюжеты не адекватно. Также нужно NER и POS, а это все затраты времени.
НК
отсутствие эталона в конкурсе делает его субьективным, а критерий скорости убивает стремления к качеству, ибо любая хорошая скорость в этом корпусе будет иметь нулевую ценность, когда речь пойдёт о продакшн точности.
SA
сгруппировать по сюжетам можно и по частоте слов со стемом и прочими коэффициентами, kmeans туда же. Путин то, Путин это сольются, Путин в Сирии и Путин в культуре скорее всего не отличаться, и будут как сюжет один. Группировка у яндекса неплохо работает, как эталон. Уверен это далеко за пределами 1000 файлов за 60, и без опоры на прошлые анализы. Определено игнор тематики новости при группе в сюжеты не адекватно. Также нужно NER и POS, а это все затраты времени.
SA
ну да
s
«Я не могу сделать хорошо, значит это невозможно»
НК
Не, просто все, что можно предложить в рамках конкурса это будет велосипед, который условно изобрели уже до нас. никаких инноваций не требуется. никаких требований к качеству это настораживает. даже определение языка сейчас на уровне 90% с + у многих библиотек. Об этом ни слова в конкурсе. критерии сюжет весьма разнообразные, об этом тоже ни слова, ибо нет эталонов. каждый из нас делает чёрный ящик, который может совпадать с чёрным ящиком тестировщика и его уровня понимая проблематики.
условно говоря алгоритм кого-то из нас может быть медленнее, но на порядок качественнее и его пошлют, ибо не фиг дольше.
условно говоря алгоритм кого-то из нас может быть медленнее, но на порядок качественнее и его пошлют, ибо не фиг дольше.
SA
Не, просто все, что можно предложить в рамках конкурса это будет велосипед, который условно изобрели уже до нас. никаких инноваций не требуется. никаких требований к качеству это настораживает. даже определение языка сейчас на уровне 90% с + у многих библиотек. Об этом ни слова в конкурсе. критерии сюжет весьма разнообразные, об этом тоже ни слова, ибо нет эталонов. каждый из нас делает чёрный ящик, который может совпадать с чёрным ящиком тестировщика и его уровня понимая проблематики.
условно говоря алгоритм кого-то из нас может быть медленнее, но на порядок качественнее и его пошлют, ибо не фиг дольше.
условно говоря алгоритм кого-то из нас может быть медленнее, но на порядок качественнее и его пошлют, ибо не фиг дольше.
о вреени все быи на берегу предупреждены, тащемто
SA
суперкачества никто не требует
s
На конкурсах никогда не изобретают прям новые методы
ДП
отсутствие эталона в конкурсе делает его субьективным, а критерий скорости убивает стремления к качеству, ибо любая хорошая скорость в этом корпусе будет иметь нулевую ценность, когда речь пойдёт о продакшн точности.
Вообще есть кое-что интересное и достаточно скоростное, учитывающее субъективизм. Если интересно - могу после контеста ссылку скинуть
s
Качество, очевидно, будет учитываться. То, что неизвестно, как именно это и плюс и минус
s
Плюс - есть свобода интерпретации. Лично мне это нравится