Собирать тяжело) Диалоги из соцсетей/мессенджеров - личные данные. Диалоги техподдержки - вообще компаниям принадлежат.
Не понятно откуда опенсорсить)

Ну, кроме комментариев. Комментарии, конечно, доступны

И форумы

Но все-таки общение в комментариях и диалог - несколько разные вещи)

Продолжение серии постов про проект Natasha. Что за Наташа? Почему в этот чат? См. https://t.me/natural_language_processing/16962

1. http://natasha.github.io/ner Natasha — качественное компактное решение для извлечения именованных сущностей из новостных статей на русском языке
2. https://t.me/natural_language_processing/17369 Почему Natasha не использует Transformers. BERT в 100 строк.
3. https://natasha.github.io/navec/ Navec — компактные эмбединги для русского языка
4. https://t.me/natural_language_processing/18186 BERT-модели Slovnet
#natasha

Corus — коллекция русскоязычных NLP-датасетов
https://natasha.github.io/corus

Часто полезные отрытые датасеты для русского языка так хорошо спрятаны, что мало людей про них знает.

Например, хотим просто обучить эмбединги на русских новостях, нужно несколько гигабайт текстов. Многие знают про Тайгу, там есть новостной срез https://tatianashavrina.github.io/taiga_site/downloads (1ГБ). На Гитхабе лежит дамп Ленты https://github.com/yutkin/Lenta.Ru-News-Dataset (2ГБ). Чтобы знать про другие источники нужно быть в теме, общаться, мониторить паблики: дамп РИА Новостей https://github.com/RossiyaSegodnya/ria_news_dataset (3.7ГБ), выгрузки @buriy https://github.com/buriy/russian-nlp-datasets/releases/tag/r4 (7.5ГБ), дампы волонтёров из ODS https://github.com/ods-ai-ml4sg/proj_news_viz/releases/tag/data.

В репозитории Corus https://github.com/natasha/corus мы коллекционируем ссылки на русскоязычный NLP-датасеты. Сейчас в реестре 54 источника, для 28 есть функции-загрузчики на Python.

Больше примеров в https://natasha.github.io/corus/
#natasha

Напишите в личку @alexkuk кому интересно почитать статьи для natasha.github.io до публикации. Следующая будет про сегментацию текста на токены и предложения. С меня ссылочка до публикации, с вас ревью что непонятно.

Добавьте ParaPhraser! (И ParaPhraser +)

Пул реквесты приветствуются https://github.com/natasha/corus/issues/35 https://github.com/natasha/corus/issues/19

Вопрос по Наташе - ярги парсер организаций  насегда убрали, или потом вернёте?

Хотелось бы парсить иерархические сущности типа отдел планирования и инвестиций министерства экономического развития Омской области например

На правилах разбор организаций не планируется, в общем виде это очень сложно. Для конкретных кейсов нужно писать свои правила

Такую иерархию для организаций делает Pullenti

Мне кажется наоборот просто, родительный падеж, существительные и прилагательные, а список видов подразделений - небольшой словарь

Ок, попробуем. pip3 install pullenti, или более сложная установка?

Возможно, лучше (или проще) подойдёт
https://github.com/pullenti/pullenti-wrapper

Спасибо! Вот этот фактор немного обескураживающий - Очень сложный код. Тяжело понять, что пошло не так есть, если в результате ошибка

Здравствуйте Друзья,

у меня есть в БД много-много объявлений по продаже и аренде квартир.

Мне нужен механизм, при помощи которого я смогу определять, какое объявление является продажей, какое арендой на месяц, а какое объявление об аренде посуточно.

Может у кого-то был такой опыт?
Как эффективнее всего сделать это?

Стоит ли опираться только на текст или брать в расчет и цену и пытаться сделать правильный вывод?

> Как эффективнее всего сделать это?

Ключевые фразы в текстах искать.

> Стоит ли опираться только на текст или брать в расчет и цену и пытаться сделать правильный вывод?

Да. Чем больше информации, тем лучше.

Всем привет. Использую Наташу для определение локаций и имен. Правильно понимаю, чтобы понимать всяческие сокращения типа "СПб", "Мск" и т.п. сверху нужно написать свои правила с yargy? А также, что лучше сделать в том случае, если появляется имя, которое наташа не может грамотно распарсить? (Т.е. у меня обязательно должны быть имя и фамилия, но есть имена, которые Наташа матчит в разные "Per")