SМ
В общем, пока дело вкуса, далее посмотрим. Пересесть на торч с тф2 не составляет труда ввиду теперь уже одной парадигмы нетерпеливого выполнения
Size: a a a
2021 April 13
MK
Да, учитывая что у гугла есть еще trax
SМ
Ты пробовал, Макс?
MK
Только когда проходил NLP специализацию от Deeplearning.ai на курсере. Но там нужно было и трасформеры пореализовывать. Сорцы вполне читабельные, реализация LSTM как в статье, ничего лишнего. В общем, мне понравилось, но руки пока не доходят до DL в последнее время 😭
FF
Не пробовали сравнивать с другими библиотеками?
FF
С тем же разделом. Либо дополнять раздел своими регулярными выражениями
C
Если были бы другие либы, то я не писал эту)
А проблема с разделом это то, что она умеет работать только с литературными текстами. А мне нужно было для таких предложений, которые могу возникать в неформальных диалоговых ситуациях (в социальных сетях).
А проблема с разделом это то, что она умеет работать только с литературными текстами. А мне нужно было для таких предложений, которые могу возникать в неформальных диалоговых ситуациях (в социальных сетях).
C
но здесь результат не 100%, конечно, на нелитературных предложениях (в тестах можно посмотреть), но в свое время мне это сильно помогло в моей задаче.
РН
Проблема, скорее всего, не в моделях, а токенизаторе. Subwords-токенизаторы сильно зависят от словаря. На днях в рассылке увидел новый символьный токенизатор CANINE: https://arxiv.org/pdf/2103.06874.pdf Если сможете имплементировать в код статью, то большой респект)
2021 April 14
A
Подскажите, пожалуйста, есть где-то видео уроки для новичков по использованию SpaCy или Natasha? Опыт в пайтоне у меня минимальный, так что интересует руководство, в котором было бы написано все максимально подробно, начиная с установки необходимого окружения.
Супер результатов мне пока не нужно. Нужно, чтобы запускался и работал хотя бы прототип программы.
Супер результатов мне пока не нужно. Нужно, чтобы запускался и работал хотя бы прототип программы.
YN
Не уверена, что это прямо то, что вы ищете, но на openedu есть курс "Анализ текстовых данных" от ВШЭ (https://courses.openedu.ru/courses/course-v1:hse+TEXT+fall_2020), его материалы сейчас открыты. Там рассказывают про разные задачи с теоретической и практической точки зрения, есть ноутбуки к лекциям. Там точно есть Spacy и Natasha
A
Спасибо большое.
Сейчас посмотрю содержание курса.
Сейчас посмотрю содержание курса.
VK
Добрый день!
Подскажите, пожалуйста, а существует ли метод определения дистанции между текстами, похожий на Левенштейна но позволяющий придать больший вес опечаткам в цифрах, а не в буквах?
Например, целевой адрес "Пушкина д.1". Хочу чтобы "ПушкЕна д.1" был к нему ближе, чем "Пушкина д.5"
Подскажите, пожалуйста, а существует ли метод определения дистанции между текстами, похожий на Левенштейна но позволяющий придать больший вес опечаткам в цифрах, а не в буквах?
Например, целевой адрес "Пушкина д.1". Хочу чтобы "ПушкЕна д.1" был к нему ближе, чем "Пушкина д.5"
МП
Ну так даже если нет, в чем проблема сделать?
VK
Проблемы нет, но нет желания изобретать велосипед.
Наверняка проблема распространенная, сообщество ее много раз решало и готово поделиться знаниями
Наверняка проблема распространенная, сообщество ее много раз решало и готово поделиться знаниями
AP
Спасибо большое
DD
Погуглил "python weighted edit distance", нашёл пакет https://pypi.org/project/weighted-levenshtein, выглядит довольно пристойно.
VK
спасибо большое, попробую в работе!
N
A
Спасибо. Жаль, что русского варианта нет.