Ясно однобуквнное название функции

чего не понятно

Всем привет

Теперь понятно. Но бесполезно 😂. Какой толк, если этого пока нет и этим нельзя пользоваться?

{
                "title": "В Новосибирске школьницу выгнали с чаепития, потому что ее мать не сдала деньги на праздник",
                "category": "society",
                "articles": [
                    "В Новосибирске школьницу выгнали с чаепития, потому что ее мать не сдала деньги на праздник",
                    "Второклашку выгнали из-за стола на празднике в новосибирской школе. Полиция начала проверку",
                    "Младшеклассницу, не сдавшую деньги, выгнали с праздника в Новосибирске"
                ]
            },

как вам?

Выглядит годно
Треды определяются по тайтлам?

нет

на самом деле там еще нормально косячит, но вот такие ответы вдохноволяют

👍

с категориями надо работать. но я вообще разметку не испоользую

у меня питон, не факт что вообще примут

Ну я тоже на питоне. Думаю если по скорости пройдёт, то норм

со скоростью я напарился неслабо. зависит от входящих данных. с виду на датасете до 10к статей пройдет, больше - думаю нет

если классификация по новостям, языкам и категориям линейная история, то группировка в трэды нет и более того, распараллеливать ее очень сложно

так условно можно же ждать, пока асинхронно/параллельно отработает классификация, а потом уже группировать результаты по мере готовности

или вообще стримить, чтобы группировать по мере появления результатов и не ждать

да, но на питоне сложно зашарить модель между трэдами

все, что можно считать отдельно я считаю на всех ядрах

1000 за 30 секунд нормально или лучше меньше?

Мой метод может сотни тысяч группировать за несколько минут