SP
я нас на проекте сейчас своя версия пплм используется, и все там прекрасно реализовывается
Русский язык?
Size: a a a
2020 July 15
I
а есть разница?
MT
Короче подводя итог и сливаясь из треда, мое мнение такого: не существует хороших генераторов текстов, которые удовлетворят человека в открытом виде и из коробки. gpt2 это не генератор текста, да и gpt3 тоже, просто последняя уж очень дорого и долго обучалась.
D
> русская gpt-2
отличная шутка
отличная шутка
CT
Как она с русской gpt2 заработает?
мы с англ работаем, но по идее разницы нет
D
про pplm - если есть представление по отвязке от скриптов было бы здорово глянуть на ipynb с реализацией
CT
код к сожалению пока пошарить не могу
D
попробуйте изолировать и пошарить
SP
а есть разница?
Вообще, есть. Английский- аналитический язык, русский - синтетический, морфология разная и это влияет на качество текста. Gpt2 русская даёт другие результаты чем английская.
SP
мы с англ работаем, но по идее разницы нет
Плакать хочется от таких утверждений.
D
Вообще, есть. Английский- аналитический язык, русский - синтетический, морфология разная и это влияет на качество текста. Gpt2 русская даёт другие результаты чем английская.
ну кроме того что она не совместима с трансформерами и токенайзер реализован через жопу
I
Короче подводя итог и сливаясь из треда, мое мнение такого: не существует хороших генераторов текстов, которые удовлетворят человека в открытом виде и из коробки. gpt2 это не генератор текста, да и gpt3 тоже, просто последняя уж очень дорого и долго обучалась.
а хорошее замечание. я осознал, что из-за примеров я сам их воспринимаю как именно что генераторы. но не удивительно. сам опенаи так и позиционировал
SP
Короче подводя итог и сливаясь из треда, мое мнение такого: не существует хороших генераторов текстов, которые удовлетворят человека в открытом виде и из коробки. gpt2 это не генератор текста, да и gpt3 тоже, просто последняя уж очень дорого и долго обучалась.
+
CT
Плакать хочется от таких утверждений.
pplm от языка не зависит от слова вообще, поэтому не выкупил поинт.
D
а вообще мультиязычный GPT-2 вроде XLM был бы замечетелен
I
Вообще, есть. Английский- аналитический язык, русский - синтетический, морфология разная и это влияет на качество текста. Gpt2 русская даёт другие результаты чем английская.
да я тоже про пплм уточнил. разница в богатстве морфологии-то понятно, что влияет на языковые модели.
D
ну кроме того что она не совместима с трансформерами и токенайзер реализован через жопу
кстати совместимый собрать никто так и не почесался или я не нашёл
AI
Если речь идет про gpt-2, то есть совместимая с huggingface
D
а где?
AI
правда, почему-то работает только на pytorch