GE
Ну вот!
Size: a a a
2020 November 04
GE
Но там выше 0.925 не дает
Такое у меня и без LSTM.
SМ
Такое у меня и без LSTM.
Без лстм что?
SМ
Берт без лстм?)
GE
Берт без лстм?)
Не, простецкие эмбединги и все такое 0.93 локально - т.е 0.935 на ЛБ - не заливал (тестирую более перспективное)
SF
Я дистилил лстм
лстм это жестко
SМ
лстм это жестко
Вай?)
GE
Вай?)
меееедлено
SМ
меееедлено
Что именно, сходимость?)
SF
нет, тупо медленно на цпу
SF
fc наше все
SМ
fc наше все
Fc?
GE
fc наше все
да еще с residiual и с перчиком вообще атас
SF
полносвязная сетка
SF
да тут нормально дистилится, если по холдауту смотреть в довольно мелкую. мб какая-то особенность датки
GE
полносвязная сетка
Multi-sample Dropout?
SF
Multi-sample Dropout?
я таких слов не знаю)
SF
я навелосипедил там и оно работает, особо не инжинирил. на холдауте - 0.001 от тичера
GE
я таких слов не знаю)
"дистилится, если по холдауту смотреть в довольно мелкую" - а я таких :)
SF
ну я расскажу, если в топе буду