Dp
у меня с группами очень просто, по факту получился алгоритм без привязки к языку.
это на берт?
Size: a a a
2019 November 27
EK
завтра буду смотреть уже на результаты и думать
EK
это на берт?
нет. я даже не знаю что это.
Dp
НК
entertainment
если там ни слова о музыке, то на мой взгляд, это не входит в категории конкурса и больше типа к категории lifestyle
EK
я задаю на каждую группу по пять слов, и учу на 10к текстов
EK
из них языковых наверное 2к.
EK
ну я не агитирую, явно что-то интереснее можно придумать, но тут меньше вероятность оверфиттинга и эти слова легко можно узнать а гуглтрармлейте для каждого языка
EK
и скорость линейная
EK
если там ни слова о музыке, то на мой взгляд, это не входит в категории конкурса и больше типа к категории lifestyle
мне кажется вы усложняете
EK
вот, кстати, если разбить на подкатегории, мне кажется было бы проще мэтчить, так очень размыто
EK
но это не на питоне а на плюсах c настоящей многопоточностью, очередями и кластерами 🙂
это очень круто, то есть вы сначала кластеризуете варианты, потом собираете в группы внутри ? потому что перебирать 100к! так себе история
EK
я кстати, попробовал кламтеризовать сначала, мне не понравилось
Dp
всё исполняется парралельно
Dp
d
я кстати так же делаю, сначала кластеризовал, потом пачками разметил кластеры. более менее норм сработало для русского, но для англа чото не очень
EK
всё исполняется парралельно
ну так то даже у меня на питоне параллельно группируются категории со 100% загрузкой cpu, но группа в 10к будет очень долго сортироваться, при том, что либы которые это делают написаны на c
HА
Ок
s
Даже в тех датасетах, что нам дали, есть папки с ~8000 файлов
s
Так что если 10к это очень долго, нужно делать быстрее