👍🏿

Всем привет! Такой вопрос. Есть у меня тексты (разговор абонента с оператором, без пунктуации, на английском) и в этих текстах в ручную выделены фразы нескольких категорий обещаний которые дал оператор абоненту (перезвонить назад, назначить встречу и т.д.). В целом 12 категорий. Сейчас я думаю над созданием алгоритма для этого. Выделил для себя два шага.
1) На первом шаге надо научить алгоритм находить конец и начало всех обещаний. То есть чтобы вставлялся тег начала и тег конца.
2) Второй шаг состоит в созданий классификатора, который бы распихивал обещания по нужным категориям.

Второй шаг, как я понимаю, хорошо разработан и это называется text classification. Сейчас смотрю как люди это делают. А вот по теме первого шага я чего-то не смог найти никаких разработок. Не подскажите в какую сторону копать? Может существуют подходы которые решают два шага одновременно?

Ну вообще можно сверхточными сетями это сделать. Там как раз выделять можно обещания и классифицировать тоже

можно попробовать слову, которое начинает обещание ставить тег начало, а слову, заканчивающему обещание, ставить тег конец. И и предсказывать одно из трех состояний для квждого слова: начало, конец, или ничего. Я не занимался такими задачами, просто фантазирую.

Теги не словам ставятся а между словами, либо вместо

Message from Fail Gafarov deleted. Reason: external link (?)

https://m.habr.com/ru/post/275937/ посмотри может и не нужно nlp для этой задачи. По крацнец мере первой части

Есть библиотека nltk вроде умеет в том числе токенизацию и растояние левенштейна искать

А если чтото более сложное то сверточные сети подаешь матрицу векторов эмбеддингов слов в  предложении

На выходе маску

И предсказываешь маску

Для мультитаск задач можно в выходном слое предсказывать и маску предложения и классы одновременно.

Чёт не сильно пока понял как это относится к первой части моего вопроса. Кажется этот подход больше про проверку орфографии.

@satrum @Yurax401 А вы не знаете публикаций/примеров на эту тему?

ну я исходил из картинок. там же тоже стоит задача "выделения объектов" из текста можно так же

Sota это трансформеры сейчас, они в том числе мультитасковые. Можешь еще про обученные эмбеддинги почитать типа glove, fasttext, word2vec.

Так а чем тебе не вариант с cnn и на выходе вектор состоящий из маски + классы? Под маской я имею ввиду например 0,1,1,1,1,0,0. Где 1 это те позиции в предложении где есть слова из "обещания". Так ты не только начало но и все остальные слова из него будешь использовать.

По сути тебе надо несколько слоев свертки, возможно перемежая с пулингом, батчнормом, дропаутами. И под конец полносвяный слой. В input помещаешь массим эмбеддингов слов из предложения. Эмбеддинги лучше брать предобученные, так как они тренировались на большом датасете и знают больший контекст чем твой датасет.

Кста кто нибудь пользовался распутанными представлениями?