RB
Size: a a a
2020 March 03
RB
я файнтюнил для задачи диалога, для medium модели у меня вышло perplexity 50
AY
есть же предобученные gpt для русского
https://github.com/vlarine/transformers-ru
https://github.com/vlarine/transformers-ru
Это для продолжения текста, или для диалога?
RB
эта модель для продолжения, но можно попробовать сделать для диалога
PO
Ну а так он связно писал или высыпал бред? У меня помню при генерации описания товаров такое выдало, что я подумал о восстании машин.
"Перчатки сделаны из прочного пластика, который прослужит десятилетиями. Это будет длиться долго и сохранятся годами. Вы будете их носить на свадьбы ваших друзей и мероприятия. Перчатки очень прочные. Вы будете носить их годами. Это будет длиться вечно. Это создано что бы длиться тысячилетиями и будет длиться вечно. Единственная проблема что я не могу вытащить из них рук. "
"Перчатки сделаны из прочного пластика, который прослужит десятилетиями. Это будет длиться долго и сохранятся годами. Вы будете их носить на свадьбы ваших друзей и мероприятия. Перчатки очень прочные. Вы будете носить их годами. Это будет длиться вечно. Это создано что бы длиться тысячилетиями и будет длиться вечно. Единственная проблема что я не могу вытащить из них рук. "
PO
Концовка помню вообще меня убила
PO
По моему весьма крипово тогда вышло
AY
Ну а так он связно писал или высыпал бред? У меня помню при генерации описания товаров такое выдало, что я подумал о восстании машин.
"Перчатки сделаны из прочного пластика, который прослужит десятилетиями. Это будет длиться долго и сохранятся годами. Вы будете их носить на свадьбы ваших друзей и мероприятия. Перчатки очень прочные. Вы будете носить их годами. Это будет длиться вечно. Это создано что бы длиться тысячилетиями и будет длиться вечно. Единственная проблема что я не могу вытащить из них рук. "
"Перчатки сделаны из прочного пластика, который прослужит десятилетиями. Это будет длиться долго и сохранятся годами. Вы будете их носить на свадьбы ваших друзей и мероприятия. Перчатки очень прочные. Вы будете носить их годами. Это будет длиться вечно. Это создано что бы длиться тысячилетиями и будет длиться вечно. Единственная проблема что я не могу вытащить из них рук. "
😄
D🐈
Ну а так он связно писал или высыпал бред? У меня помню при генерации описания товаров такое выдало, что я подумал о восстании машин.
"Перчатки сделаны из прочного пластика, который прослужит десятилетиями. Это будет длиться долго и сохранятся годами. Вы будете их носить на свадьбы ваших друзей и мероприятия. Перчатки очень прочные. Вы будете носить их годами. Это будет длиться вечно. Это создано что бы длиться тысячилетиями и будет длиться вечно. Единственная проблема что я не могу вытащить из них рук. "
"Перчатки сделаны из прочного пластика, который прослужит десятилетиями. Это будет длиться долго и сохранятся годами. Вы будете их носить на свадьбы ваших друзей и мероприятия. Перчатки очень прочные. Вы будете носить их годами. Это будет длиться вечно. Это создано что бы длиться тысячилетиями и будет длиться вечно. Единственная проблема что я не могу вытащить из них рук. "
Отличная завязка для киберпанк-романа
AY
Ну а так он связно писал или высыпал бред? У меня помню при генерации описания товаров такое выдало, что я подумал о восстании машин.
"Перчатки сделаны из прочного пластика, который прослужит десятилетиями. Это будет длиться долго и сохранятся годами. Вы будете их носить на свадьбы ваших друзей и мероприятия. Перчатки очень прочные. Вы будете носить их годами. Это будет длиться вечно. Это создано что бы длиться тысячилетиями и будет длиться вечно. Единственная проблема что я не могу вытащить из них рук. "
"Перчатки сделаны из прочного пластика, который прослужит десятилетиями. Это будет длиться долго и сохранятся годами. Вы будете их носить на свадьбы ваших друзей и мероприятия. Перчатки очень прочные. Вы будете носить их годами. Это будет длиться вечно. Это создано что бы длиться тысячилетиями и будет длиться вечно. Единственная проблема что я не могу вытащить из них рук. "
Одно из 10 сообщений было более или менее интересным. Остальные бестолковые. Но и обрезал все после второй точки. А за второй точкой бывало что нибудь осмысленное начиналось
PO
Одно из 10 сообщений было более или менее интересным. Остальные бестолковые. Но и обрезал все после второй точки. А за второй точкой бывало что нибудь осмысленное начиналось
У него ж вывод везде должен быть одинаков по длине. Все что после точки никак не связано с вводом. Я просто регуляркой резал.
AY
У него ж вывод везде должен быть одинаков по длине. Все что после точки никак не связано с вводом. Я просто регуляркой резал.
Идея была такая:
Пользователь ввел сообщение
Бот взял его сообщение на вход в GPT-2
Сгенерировал длиннющий текст
Отрезал от него начало (сообщение пользователя)
Вставил в чат в качестве ответа
т.к. длиннющий текст читать никто не захочет, от результата оставлял только первые два предложения. Все что справа отрезал
Пользователь ввел сообщение
Бот взял его сообщение на вход в GPT-2
Сгенерировал длиннющий текст
Отрезал от него начало (сообщение пользователя)
Вставил в чат в качестве ответа
т.к. длиннющий текст читать никто не захочет, от результата оставлял только первые два предложения. Все что справа отрезал
AY
Хотел сделать обучение на диалогах сообществ. Что бы для каждой группы была своя модель. Но руки не дошли. Распарсить переписку можно, а вот потом обучение на Русском не представляю сколько моих человекочасов займет. Боюсь больше нескольких месяцев
PO
Я склоняюсь к тому что в одиночку без больших ресурсов это и вовсе невозможно
RB
Ну а так он связно писал или высыпал бред? У меня помню при генерации описания товаров такое выдало, что я подумал о восстании машин.
"Перчатки сделаны из прочного пластика, который прослужит десятилетиями. Это будет длиться долго и сохранятся годами. Вы будете их носить на свадьбы ваших друзей и мероприятия. Перчатки очень прочные. Вы будете носить их годами. Это будет длиться вечно. Это создано что бы длиться тысячилетиями и будет длиться вечно. Единственная проблема что я не могу вытащить из них рук. "
"Перчатки сделаны из прочного пластика, который прослужит десятилетиями. Это будет длиться долго и сохранятся годами. Вы будете их носить на свадьбы ваших друзей и мероприятия. Перчатки очень прочные. Вы будете носить их годами. Это будет длиться вечно. Это создано что бы длиться тысячилетиями и будет длиться вечно. Единственная проблема что я не могу вытащить из них рук. "
ну так дообучать надо на диалоговых парах. сама модель обучена на классической литературе и пелевине. поэтому такие тексты генерируются. если есть достаточно много пар (миллион), то будет что-то похожее на общение.
RB
вся проблема в том, что для русского языка нет в отркытом доступе большого датасета разговорных пар. я дообучал на датасете Козиева, там худ. лит-ра, поэтому бот вышел аристократом, у которого флешбеки войны случаются
AS
Хотел сделать обучение на диалогах сообществ. Что бы для каждой группы была своя модель. Но руки не дошли. Распарсить переписку можно, а вот потом обучение на Русском не представляю сколько моих человекочасов займет. Боюсь больше нескольких месяцев
простой запуск русского репозитория для гпт 2 почему не пробовали?
RB
простой запуск русского репозитория для гпт 2 почему не пробовали?
простой запуск не сработает, надо токенизацию менять, чтобы было разграничение запрос-ответа
AS
AY
простой запуск русского репозитория для гпт 2 почему не пробовали?
На тот момент не нашел подходящего