Кластеризация или классификация, потом поиск кластера (группы), потом применение правил/шаблонов

Языковая модель.
Можно дополнительно обусловить на группу, если хочется.
Если с нейронками влом возиться, то можно старомодную, на n-граммах. В некоторых поисковиках саджест до сих пор, кажется, на них работает, и ничего)
Если есть прям строгие правила, то ими можно фильтровать гипотезы языковой модели.

Ну а вообще для бейзлайна можно тупо хэш-таблицу (или trie) со всеми префиксами и суффиксами в твоей обучающей выборке. Самые массовые кейсы уже неплохо закроет))

Народ, есть ссылки где достать параллельные sentence-aligned тексты rus-en?

1) http://opus.nlpl.eu 2)WMT 3) http://matrix.statmt.org

Всем привет! Кто-нибудь работал с библиотекой kenlm?

Сори.
1) Где можно взять большой корпус текстов, которые подойдут для построения языковых моделей?
2) Какие настройки оптимальны в kenlm для построения lm русского языка?

Настройки стандартные, там нечего настраивать

2) готовая модель http://files.deeppavlov.ai/lang_models/ru_wiyalen_no_punkt.arpa.binary.gz

Спасибо!👍😎

Не подскажешь какой командой сгенерить trie отсюда?

Только модель странная, имейте в виду. Хрен знает, из чего собрана, но она как-то плохо работает в качестве универсальной. Я свою делал -- намного лучше была.

Поделитесь советами как сделать хорошую lm модель?

друзья, у меня сегодня первый день с MLPClassifier,
на вход даю ему эмбеддинги размерностью 500.
мультикласс
подскажите, пожалуйста, как правильно его погонять по gridsearch?
прочитал где-то, условно, что обычно 1...2 скрытых хватит, а населять их надо по принципу "что-то среднее между числом входных и выходных".
есть какое-то общее правило-хитрость для эмбеддингов?
или это вообще плохая идея может быть - подобного рода сеть?

(извините, что сюда, подумал, что из-за специфики типа эмбеддингов и классификации текста лучше сюда)

Хорошие данные для неё найти. Книжки + новости + Вики, скажем

А потом просто скомпилить. И ещё учти, в им каком регистре тебе надо, и учитывать ли знаки препинания

Всем привет!
Подскажите, какую библиотеку лучше использовать, для поиска наименования строительного оборудования и техники, в очень коротких текстах (5-20 слов).
Пробовал регулярные выражения, но у них очень большое ветвление получается.

Примеры текстов:
Редуктор поворотный H100-195 на башенный кран б/у QTZ80RU (TC5512RU) ФАНЬЮЙАНЬ ЗАВОД
--
башенный кран Comansa NT45120