Tool or api available?

Привет всем. Какие ресурсы (кроме хабра и , возможно, arxiv-sanity) вы читаете, чтобы быть уверенными, что вы не упускаете ничего важного, происходящего в ml ( особенно в области nlp)?

Anyone know about pos tagging

I have recently started working on chatbot building if anyone interested message me it is helpful for me

papers with code, huggingface для NLP

на рудера можно подписаться

Всем привет! Хочу попросить совета. Работаю в команде, занимающейся роботом-оператором, который общается с клиентами по заранее сформированным сценариям. Сценарий в данном случае - это набор состояний робота, между которыми он переключается в зависимости от ответов человека.

Сейчас есть идея автоматизировать процесс создания такого сценария под новые продукты. Самый желаемый итог, чтобы, получив от заказчика транскрипции диалогов живого оператора с клиентом, на выходе формировалось что-то похожее на сценарий. То есть, как понимаю, мне нужно выделять основные вопросы и обращения оператора и далее анализировать различные варианты того, как человек отвечает.

Из исходных данных есть около 1000 диалогов, отдельно реплики оператора, отдельно - клиента. Есть временные отметки каждой репилики, то есть можно восстановить порядок разговора. Буду признателен за подсказку любых пайплайнов/решений/библиотек/видео/статей, которые помогли бы мне выделять структуру в таких диалогах. Пока дальше отдельной кластеризации реплик оператора и реплик клиента не ушел.

Для анализа цепочек переходов между состояниями есть целая область знаний, называется process mining. Кажется, можно найти подходящий алгоритм по этой ключевой фразе и скормить ему реплики с метками кластеров.

Вот например либа process mining от Сбера: https://habr.com/ru/company/sberbank/blog/565476/

Здорово, на первый взгляд выглядит как то, что может помочь. Обязательно изучу, спасибо!

I don't understand... Please use English

А фасттекст модельки с rusvectores поддерживаются 4 версией генсима? Я попытался какую-то лежащую у меня открыть, но не вышло - предложили пересохранить версией 3.8+.

Не поддерживаются, да, надо более старый генсим ставить.
Лично мне даже пересохранение не помогло (но, возможно, у меня лапы кривые).

Печаль, спасибо.

Hi there. What resources do you read on a daily basis to make sure you keep up with the latest ML-related ( and especially NLP-related) news?

I saw the hugging face code on anaphora resolution for English language using Spacy parser. But the pipeline for hindi language isn't developed yet for Spacy parser. So I am looking for any API or tool which resolves the anaphora resolution for Hindi language.

Всем привет. На стажировке дали задачу найти и исправить неправильно распознанные слова из звонков банка, например валенки -> эквайринг. Есть расшифровки звонков с ошибками, а также тексты, полученные из чатов того же банка. Обучил две word2vec модели, первая для звонков и вторая для чата. Могу найти пару слову из звонков.
Вопрос как найти слова, которые нужно исправить?
Сейчас просто считая отдельно, сколько раз какое слово встречается в звонках и чатах, потом ищу слова, которые часто встречаются в звонках и нечасто либо вовсе не встречаются в чатах.

В распознавании речи очень редко неизвестное слово заменятся на одно и то же другое знакомое. Замены часто разные. Пар может вообще не найтись.

Из чатов можно сделать н-граммную модель, или даже нейросетевую модель. Использовать её для переоценки результатов распознавания, если результатов распознавания несколько. Вес такой модели отладить, чтобы не повышала число ошибок.

Товарищи, а как с помощью huggingface делать русскоязычную ner разметку?