Size: a a a

Natural Language Processing

2019 December 17

DK

Denis Kirjanov in Natural Language Processing
Anton Kazennikov
По практической реализации морфологии/синтаксиса еще интересно почитать "Лингвистическое обеспечение системы ЭТАП-2" http://proling.iitp.ru/bibitems/books/etap2.zip и "Лингвистический процессор для сложных информационных систем" http://proling.iitp.ru/bibitems/books/lingproc.zip Лаборатории компьютерной линвистики ИППИ РАН
кажется, документация udpipe лучше и актуальнее )
источник

AK

Anton Kazennikov in Natural Language Processing
так это про разное
источник

ck

cnstntn kndrtv in Natural Language Processing
Спасибо. Лишним не будет точно)
источник

DK

Denis Kirjanov in Natural Language Processing
Anton Kazennikov
так это про разное
ну, с точки зрения практики наверно разумнее брать то, что работает лучше
источник

M

Md sohaib in Natural Language Processing
Denis Kirjanov
ну, с точки зрения практики наверно разумнее брать то, что работает лучше
Which language is this ?
источник

AK

Anton Kazennikov in Natural Language Processing
Denis Kirjanov
ну, с точки зрения практики наверно разумнее брать то, что работает лучше
Разумеется. Эти книги ценны не этим. В них последовательно описывается лингвистическая архитектура (пусть и устаревшая) системы ЭТАП. В разработке любой большой системы принимается множество частных решений и компромиссов. Причины тех или иных решений и интересны.
источник

DK

Denis Kirjanov in Natural Language Processing
Anton Kazennikov
Разумеется. Эти книги ценны не этим. В них последовательно описывается лингвистическая архитектура (пусть и устаревшая) системы ЭТАП. В разработке любой большой системы принимается множество частных решений и компромиссов. Причины тех или иных решений и интересны.
да-да, с точки зрения истории развития и формализации лингвистического знания это важно, конечно
источник

YB

Yuri Baburov in Natural Language Processing
cnstntn kndrtv
И до сих пор, тот же Jurafsky описывает примеры на составляющих. И по тому что я видел в описаниях продуктов типа PoolParty, Megaputer - они тоже используют такие простые правила. Не хочется повторять за ними, но другого видения у меня нет.
Может быть ты встречал примеры?
Я не знаю, что это за продукты. Но знаю тот же rasa-nlu для чат ботов, который опирается на spacy
источник

DK

Denis Kirjanov in Natural Language Processing
cnstntn kndrtv
И до сих пор, тот же Jurafsky описывает примеры на составляющих. И по тому что я видел в описаниях продуктов типа PoolParty, Megaputer - они тоже используют такие простые правила. Не хочется повторять за ними, но другого видения у меня нет.
Может быть ты встречал примеры?
У него кстати два разных раздела в книге, один про  зависимости, другой про сострадающие
источник

YB

Yuri Baburov in Natural Language Processing
Yuri Baburov
Я не знаю, что это за продукты. Но знаю тот же rasa-nlu для чат ботов, который опирается на spacy
Первое -- какая-то поделка на Java, второе -- написано "deep language analysis". Если они не используют хороший парсинг, то они или врут про хороший анализ, или он им не нужен для задачи (и то, что у них есть -- это "хороший")
источник

ck

cnstntn kndrtv in Natural Language Processing
Yuri Baburov
Первое -- какая-то поделка на Java, второе -- написано "deep language analysis". Если они не используют хороший парсинг, то они или врут про хороший анализ, или он им не нужен для задачи (и то, что у них есть -- это "хороший")
Они (и еще 3-4 подобных компании) - это все кто пытается соединять NLP/NLU и Semantic Web.
источник

t

toriningen in Natural Language Processing
друзья, кто-нибудь может поделиться размеченным корпусом американского английского языка? интересуют вещи типа топ 10 000 common nouns, топ 10 000 adjectives и т.д.
источник

RR

Roman Ralovets in Natural Language Processing
Всем привет, а где можно поискать список всех грубых / матных слов на разных языках, желательно во всех формах, можно внутри предложений?
источник

t

toriningen in Natural Language Processing
ну свое я нашел в бесплатном виде на https://www.wordfrequency.info/
источник

t

toriningen in Natural Language Processing
а, нет, не нашел, только что заметил, что выборка децимирована
источник

t

toriningen in Natural Language Processing
😕
источник

RV

Rinat Valiullov in Natural Language Processing
Интересно, а сложнее ли для машины становится распознавать подобные тексты?🤔
источник

A

Aragaer in Natural Language Processing
какой-нибудь flair съест и не подавится
источник

YB

Yuri Baburov in Natural Language Processing
Rinat Valiullov
Интересно, а сложнее ли для машины становится распознавать подобные тексты?🤔
немного потренировать на таком (тут же визуальное восприятие! надо ассоциации цифр и букв) и тогда любая char-модель сможет.
источник

D(

David (ddale) Dale in Natural Language Processing
Да даже не тренировать, а просто написать словарик, ставящий в соответствие цифры и буквы, и запускать что угодно.
источник