Телеграмм чат группы natural_language

Кто-нибудь применял на практике efficient transformers (которые для длинных последовательностей - longformer, bigbird, etc)? В каких задачах (кроме работы с ДНК/РНК) они действительно полезны и не обойтись разбиением на несколько небольших последовательностей и агрегацией?

источник

12:20пожаловаться #4

Aleksandr Mester in Natural Language Processing

Ребят, а кто-нибудь знает модели по извлечению noun chunks на русском? Есть чего?

источник

13:03пожаловаться #5

Andrei in Natural Language Processing

spacy-ru вроде умеет, видел тетрадки у @yuri_baburov

источник

13:17пожаловаться #6

MAB in Natural Language Processing

Подскажите, пожалуйста, чем лучше всего исправить опечатки в русском языке? (не yandex speller), важно не обрабатывать на стороннем сервере.

источник

13:23пожаловаться #7

Anton Eryomin in Natural Language Processing

мне кажется Word довольно неплохо это дело делает

источник

13:26пожаловаться #8

Andrey in Natural Language Processing

jamspell, autocorrect, еще есть разные

источник

13:31пожаловаться #9

Марк in Natural Language Processing

Применял longformer. Действительно работает быстрее. По метрикам качества не сравнивал, но нужного в задаче качества добиться удалось

источник

13:38пожаловаться #10

Yuri Baburov in Natural Language Processing

сделай нормализацию юникода. до нормализации "й" может быть записана как "и◌̆" и как "й" (ё тоже может быть записано как е¨, но такое намного реже встречается) . Особенно любил это делать макос в именах файлов почему-то.
https://stackoverflow.com/a/16467505

Stack Overflow

Normalizing Unicode

Is there a standard way, in Python, to normalize a unicode string, so that it only comprehends the simplest unicode entities that can be used to represent it ?

I mean, something which would transl...