я умею в эмбеддинг слои кераса заливать просто нумпи массив весов

соответственно если взять новый размер, в него засунуть значения старого, а остальное рандом, то вот оно и есть

Т.е. просто для новых токенов в матрицу добавить новые столбцы?

https://github.com/aragaer/human2pa/blob/char/char-train.py#L112 - собственно вот, веса для первого слоя я храню отдельно от всей остальной модели и вот как раз код "загрузить файл весов эмбеддинг слоя и засунуть его"

ну я не знаю как "добавить новые столбцы", я бы просто создал новый массив нужного размера, в него скопировал старое через срез

Ну да. Спасибо за идею

спасибо за наводку на flair, что-то получается

Парни, не подскажете, гугловский BERT, который на Гитхабе ( https://github.com/google-research/bert ) как с русским языком дружит? Пишут, что в BERT недавно большое русскоязычное обновление подвезли:
https://3dnews.ru/999350/?future-link
Но в opensource его, судя по комитам, не выложили

По-моему они просто выкатили берт в поиск, а авторы новости хайпанули на том, что именно запросы на русском тоже обрабатываются бертом

кто-то сравнивал gpt-2 и bert для задач генерации текстов?

Тут и сравнивать не надо, gpt-2 лучше так как для этого предназначена. А берт так, сборная солянка, максимум NER можно делать.

а берт на каких задачах выигрывает?

про сборную солянку не совсем понял, с точки зрения архитектуры системы системы подобны

Целевая функция разная.

Привет. Встречал ли кто-то подобные правила для перевода утверждений в булевую логику? Чтобы самому не писать. Тут функции - предикаты (все возвращают True)
собака лает --> лает(собака)
каждая собака лает --> all([ лает(c) for c in Sobakas ])
сабака или лает или воет --> or(лает(собака), воет(собака))
больше половины собак лает --> len([ лает(с) for c in Собаки ]) > len(Собаки)/2
только одна собака мяукает --> len([ мяукает(с) for c in Собаки ]) == 1
Не в такой псевдопитон конечно, в какую-нибудь логику первого порядка. Не важно в общем то в каком виде результат.

sobakas! 🙂

Shutkas