Телеграмм чат группы natural_language_processing страница 1124

parrot.ru

Рейтинг популярных групп и каналов

В рейтинге участвует:

групп:

каналов:

Виртуальный сервер на SSD - недорого!

Аренда выделенных и виртуальных серверов (VDS/VPS), хостинг, аренда IP-адресов, администрирование, круглосуточная поддержка

qwarta.ru подробнее

Резервное копирование с проверкой на вирусы!!!

Удобный сервис создания резервных копий на любой сервер сети интернет. Отслеживайте изменения, проверяйте на вирусы. Надежно защитите свой бизнес!

go.backupland.com

Выбираете сервер? Любая конфигурация на заказ!

Аренда физических серверов любых конфигураций под любые запросы - 1С бухгалтерия, игровые сервера, нагруженные проекты, интернет-магазины!

qwarta.ru подробнее

Size: a a a

Natural Language Processing

2627 membersпожаловаться на группу

2021 April 01

VD

Vlad Dub in Natural Language Processing

Кибер Медик

word2vec, например, погуглите как устроено предсказание слова в гугл-клавиатуре, GPT и прочие, обычно для генирации текста используют, ради одного слова - overkill

gpt может и перебор, а word2vec дофига ресурсов компа жрет, я бы взял для этого bert

источник

13:59пожаловаться #1

DD

David Dale in Natural Language Processing

Кибер Медик

Всем привет) нет у кого-нибудь в закромах библиотеки/репы/скрипта, который бы коверкал предложение, например:

1. мне бы в печку дров закинуть -> мне бы выпечку дров закинуть
2. возьми щиты в бой -> возьми ищи ты в бой

Превращение двух-трех слов в одно, одного слова в два-три, как-то так)

Имитация ошибок speech to text?)

источник

13:59пожаловаться #2

КМ

Кибер Медик... in Natural Language Processing

Имитация ошибок speech to text?)

агась)

источник

14:00пожаловаться #3

АМ

Александр Мамаев... in Natural Language Processing

Загляни в смежный чат https://t.me/speech_recognition_ru

Распознавание речи

Распознавание, синтез речи и речевые технологии

источник

14:00пожаловаться #4

АМ

Александр Мамаев... in Natural Language Processing

Но кажется это пару десятков строчек поиска похожей подстроки по фонемам

источник

14:01пожаловаться #5

D

Dmitry in Natural Language Processing

gpt может и перебор, а word2vec дофига ресурсов компа жрет, я бы взял для этого bert

Гхм, это чего же w2v дофига ресурсов компа жрет?))) по моему совсем не жрет

источник

14:02пожаловаться #6

VD

Vlad Dub in Natural Language Processing

Гхм, это чего же w2v дофига ресурсов компа жрет?))) по моему совсем не жрет

оперативы сжирал у меня дофига)

источник

14:02пожаловаться #7

АМ

Александр Мамаев... in Natural Language Processing

Это если про обучение

источник

14:03пожаловаться #8

АМ

Александр Мамаев... in Natural Language Processing

Но на инференсе тоже бывает не получается хранить табличку векторов на гигабайт-два

источник

14:03пожаловаться #9

КМ

Кибер Медик... in Natural Language Processing

Александр Мамаев

Но кажется это пару десятков строчек поиска похожей подстроки по фонемам

в чате искал посты, но не нашел датасетов или тулзы, там менее активный чат =(
спасбио, за совет)

источник

14:04пожаловаться #10

АМ

Александр Мамаев... in Natural Language Processing

Bert для задачи тоже не подходит, поскольку это bidirectional LM, то есть не совсем language model в привычном понимании

источник

14:04пожаловаться #11

В

Владислав in Natural Language Processing

Добрый день! Ни у кого случайно не завалялись датасеты или стоп-слова/стоп-нграммы для проверки текстов на соблюдение правил Google AdSense ?

источник

14:09пожаловаться #12

IK

Ilya Kazakov in Natural Language Processing

а что будет тут более подходящим решением?

если вы про автокомплит на уровне слов, а не частей слов, и если у вас свой корпус есть, то самое простое по условным вероятностям: строим по корпусу частотный словарь n-грамм до 3ей, например. Ну и когда у вас введено 1 или 2 слова, то для них в частотном словаре найдется, соответственно, самая частотная 2 и 3- грамма, чей последний элемент и будет кандидатом в автокомплит.

источник

15:55пожаловаться #13

AK

Anton K. in Natural Language Processing

если вы про автокомплит на уровне слов, а не частей слов, и если у вас свой корпус есть, то самое простое по условным вероятностям: строим по корпусу частотный словарь n-грамм до 3ей, например. Ну и когда у вас введено 1 или 2 слова, то для них в частотном словаре найдется, соответственно, самая частотная 2 и 3- грамма, чей последний элемент и будет кандидатом в автокомплит.

частей в том числе

источник

15:55пожаловаться #14

AK

Anton K. in Natural Language Processing

корпус есть, обучим, надо только модель выбрать

источник

15:59пожаловаться #15

AK

Anton K. in Natural Language Processing

сейчас как раз на n-gram и сделано, но все хранится в памяти и не очень удобно

источник

15:59пожаловаться #16

YB

Yuri Baburov in Natural Language Processing

Владислав

Добрый день! Ни у кого случайно не завалялись датасеты или стоп-слова/стоп-нграммы для проверки текстов на соблюдение правил Google AdSense ?

Я просто словарём английского мата пользовался.

источник

16:24пожаловаться #17

БД

Борис Добров... in Natural Language Processing

Кибер Медик

агась)

И зачем что- то имитировать?
Взять текст, его признести говорилкой и распознать.
При наличии нестандартной нечастотной лексики в исходном тексте ошибок будет выше крыши.

источник

18:21пожаловаться #18

КМ

Кибер Медик... in Natural Language Processing

Борис Добров

И зачем что- то имитировать?
Взять текст, его признести говорилкой и распознать.
При наличии нестандартной нечастотной лексики в исходном тексте ошибок будет выше крыши.

ну это надо говорилку подключать, потом текст распознавать (это уже две доп системы), у меня это побочная задача. Одно дело с текстом работать, другое дело со звуком

источник

18:24пожаловаться #19

БД

Борис Добров... in Natural Language Processing

А ничего, что иначе примеры могут быть неестественные, не соответсвующие природе задачи?

источник

18:25пожаловаться #20