SМ
Прям с Google research git
Size: a a a
2020 November 01
SМ
Оттуда классик код легко читается и можно дергать за ручки
KT
ну мне скорее сам процесс интересен
морозится сетка или нет
используется скеджулар или нет
отличается ли процесс тюнинга берта от тюнига любой другой сетки?
просто очень странно, что roc-auc рос, а кастрированный болтался около 0.5
морозится сетка или нет
используется скеджулар или нет
отличается ли процесс тюнинга берта от тюнига любой другой сетки?
просто очень странно, что roc-auc рос, а кастрированный болтался около 0.5
SF
ну мне скорее сам процесс интересен
морозится сетка или нет
используется скеджулар или нет
отличается ли процесс тюнинга берта от тюнига любой другой сетки?
просто очень странно, что roc-auc рос, а кастрированный болтался около 0.5
морозится сетка или нет
используется скеджулар или нет
отличается ли процесс тюнинга берта от тюнига любой другой сетки?
просто очень странно, что roc-auc рос, а кастрированный болтался около 0.5
так а сколько обычный? там он с первой эпохи 0.9 бил? а кастрированный просто с низким порогом. ну и надо было клипать, а то чего-то и правда плохо училось
KT
так а сколько обычный? там он с первой эпохи 0.9 бил? а кастрированный просто с низким порогом. ну и надо было клипать, а то чего-то и правда плохо училось
да, бил, если брать conversational то 0.96+ после первой был
а кастрированный с лучшим на валидации порогом был слегка больше 0.5
а кастрированный с лучшим на валидации порогом был слегка больше 0.5
SF
это странно...
KT
вот да, я так и не смог понять причину, может накосячил где-то в коде🤷
KT
это странно...
Ты морозил предобученную часть?
SF
Ты морозил предобученную часть?
я нет, просто разный lr и wd им давал
KT
я нет, просто разный lr и wd им давал
а скеджулар использовал?
SF
1е-5 обычный, 1е-6 у претрейн и wd претрейну 0.01
DN
я кстати пропустил, у нас тут прайват или тот скор который бот выдал и есть финальный ?
SF
нет, просто adamw
SF
я кстати пропустил, у нас тут прайват или тот скор который бот выдал и есть финальный ?
нет, ждем
KT
нет, просто adamw
спасибо)
надо на ок обкатать эту тему с тюнингом бертов что ли
надо на ок обкатать эту тему с тюнингом бертов что ли
SF
спасибо)
надо на ок обкатать эту тему с тюнингом бертов что ли
надо на ок обкатать эту тему с тюнингом бертов что ли
да, там есть неочевидности почему-то взрывается, и долго ищешь в чем проблема, а там даже эпсилон у оптимайзера влияет
AT
Корнаков 5
AT
да, там есть неочевидности почему-то взрывается, и долго ищешь в чем проблема, а там даже эпсилон у оптимайзера влияет
Ты
AT
4
SF
обидно