KK
У тебя в случае если батчи маленькие ты попадаешь в локальный минимум и оттуда не выбираешься
Size: a a a
2020 June 24
AF
KK
AF
это ты говоришь что типа
AF
если у тебя градиент колбасит
AF
то ты можешь не пройти по тонкому хребту
KK
У тебя по большим батчам градиент усреднен
KK
И ты не можешь в херню попасть
AF
то ты можешь не пройти по тонкому хребту
ну да, но вроде все оптимизаторы как раз стараются колбасить градиент
KK
ну да, но вроде все оптимизаторы как раз стараются колбасить градиент
Ну у меня вот сейчас с полнейшим расколбасом и всякими скедулерами сваливается
IL
Ну у меня вот сейчас с полнейшим расколбасом и всякими скедулерами сваливается
А как ты понимаешь что свалился?
AF
дык тебе вроде и надо свалиться, только в глобальный минимум, но усредненный градиент к нему тоже не ведет
KK
А как ты понимаешь что свалился?
По графикам вижу
AF
дык тебе вроде и надо свалиться, только в глобальный минимум, но усредненный градиент к нему тоже не ведет
ну типа не факт что ведет
KK
Иу меня куча отладочной инфы
AF
как ты понимаешь что перестал валиться?
KK
дык тебе вроде и надо свалиться, только в глобальный минимум, но усредненный градиент к нему тоже не ведет
Только у меня куча локальных же
KK
как ты понимаешь что перестал валиться?
По метрикам вижу
AF
Только у меня куча локальных же
да и ты вероятно усредненным туда же плюхнешься
KK
да и ты вероятно усредненным туда же плюхнешься
Не а