FF
Какие-то крохотные эпохи
Size: a a a
2020 July 04
DK
Какие-то крохотные эпохи
Ну зато быстро и можно поиграть с параметрами :))
Мой максимум 7 часов считалась модель 25-30 эпох, ее на Colab еще не пробовал запускать.
Мой максимум 7 часов считалась модель 25-30 эпох, ее на Colab еще не пробовал запускать.
SP
Ну нет. На бесплатном периодически недоступен gpu/tpu и меньше памяти + сессии короче
РН
Ну нет. На бесплатном периодически недоступен gpu/tpu и меньше памяти + сессии короче
+, так и есть, постоянно отваливается
2020 July 05
A
Подскажите, использую для тренировки сети с вниманием параллельный opus corpora. Обучение максимум 80%. Каким образом почистить грамотно текст чтобы корпуса совпадали? Токенайзеры использую разные для русского текста и английского.
Спрошу вновь...
YB
Спрошу вновь...
напишите понятнее... opus subtitles небольшой вроде, может качество и норм, что именно за задачу решаете, зачем вам чистить надо...
A
1. Opus Books
2. Задача - нейросеть с attention для учебных целей в качестве переводчика
2. Задача - нейросеть с attention для учебных целей в качестве переводчика
ВС
го бухать на нк
$
а что там про GPT 3 слышно?
$
Ее еще не выложили?
CT
Ее еще не выложили?
да вроде и не планируют
FF
Интересно, у кого она хотя бы на инференс запустится?
FF
ну выложат эту модель, а дальше что
AI
Скорее всего, выложат дистиллированную маленькую, если выложат
$
ну выложат эту модель, а дальше что
генерировать книги же
$
для прикола
$
как в Порфирьевиче
$
Тексты песен генерить
$
Хотя там вроде в GPT 3 всего лишь объем данных больше
$
а так ничем не отличается