Телеграмм чат группы mechmath страница 28655

"Сбер(егательный) выпустил русскую GPT-3". Ага, сплю и вижу как OpenAI предоставил код эксклюзивно для российской компании.

Ни кода, ни весов GPT-3 OpenAI не релизил на публику, и пока не собирается! Даже компании партнёры которые тесно сотрудничают с OpenAI, вроде Replica, работают исключительно через API.

Не дайте себя обмануть. Сбер представил некую LG модель отдаленно напоминающую GPT-3 с целью хайпануть. Как минимум она в 150 раз меньше чем GPT-3.

То, что публикуют в статьях это капля в море реальной имплементации. Не верите? Вспомните как весь мир поносил OpenAI за код GPT-2 несмотря на то что статья была. Сейчас та же история повторяется с Google Health которые не опубликовали код и тренировочные параметры (упс). У людей так бомбануло, что даже письмо в Nature написали. Но для инжинеров Сбера это не помеха, конечно. Да. Чтобы делать утверждения такой силы, что это и есть GPT-3, как минимум Сберу нужно повторить результаты бенчмарков и доказать, что их модель дает такие же результаты, и то, это обязательное, но не достаточное условие.

vc.ru

«Сбер» выложил в открытый доступ русскоязычную модель для обучения алгоритма генерации текстов GPT-3

GPT-3 можно обучить на основе русской литературы, русской и английской «Википедии», новостных сайтах и сайтах с вопросами и ответами и другого.