а вот интересно, Короткевич решает АСМ, а на работе от него ждут решения других задач. Во тупые, а

проверить нормально не могут

я к тому, что они делают приложение, требующих стайеров, а тест и оценки делают для спринтеров. в этом радикальное несогласие с организаторами.

ну ты можешь давать фидбек не тут, где его никто не оценит и не услвшит, а отправить в специального бота для сбора мнений

в рамках этого контеста Маркус ни разу не триггернулся(

нене, я исключительно про этот

то, что он в чате на войп отвечал - я видел по итсории9

Ну это же соревнование по анализу данных) Видимо надо извлекать смысл и из задания)

Делаю группировку. Дофига статей по одному событию в датасетах

Пожалуй, почти все новости дублируются

Часто 10+ вижу

Если идея в том, чтобы ленту новостей какую-то делать из этого, группировка совершенно необходима

А это на каком количестве новостей? У меня на первых 1к получилось ~15 событий. Ну и не настолько заполненных. Есть подозрение что костыль неверно написал🤔

На первых 1к англ*

Ну в плане отсеял 1к. Остались англ и применил

У сюжетов две проблемы

1.Есть дубли, когда одна и та же новость копируется с рерайтом на разных СМИ день в день или через день. Это копирование не несет новой информации.

2. Каждый день даже на одном СМИ может выходить новость на одну тему - например, ликвидация наводнения Иркутске. Содержание этих новостей может сильно отличаться, как по обьему текста, так и по содержанию.
И вот просто отсеять дубли и действительно новые данные по теме нетривиально. И простыми алгоритмами вообще легко спутать в одну группу наводнение в Иркутске и в каком-то другом городе или стране.

По п. 1 вам не требуется избавляться от дублей. Нет такой задачи.
По п. 2 не ясно зачем вообще нужно учитывать объем текста. А наводнение а Иркутске и другом городе все же один инфоповод, называется наводнения в мире. Можно и так интерпретировать. Уверен, есть те, кто этим интересуется. Так что все нормально, вроде

Ага вот вы указали на третью особенность, сюжетов может быть множество у одних и тех  же новостей.

Думаю вам будет не интересно открывать новости Москвы и видеть сообщения о пожарах по всему миру, ибо агрегатор так сюжет построил 😁

Если ты можешь этого избежать, то сделай. Но задача этого не требует и никто не говорил, что продукт победителя будут сразу в таком виде использовать или вообще будут.