A
это типа gradient accumulation? не каждый тик обновлять?
Size: a a a
2021 June 05
PC
Это тоже можно, но с ним ещё не игрался
A
так так так
A
ну это если у тебя батчи мелкие, можно реже обновлять веса, чтоб не такие шумные градиенты были
PC
Чекпоинты по сути сохраняют инпут лэйера и сам лэейр а выход сразу дропает в форварде. Во время пропагации назад, он использует что сохранил и восстанавливает данные и так обновляет градиенты. Т.е. чуть больше работает из за extra forward, но реально потери времени минимальны
PC
Да, это в планах тестить в эти дни
A
Эти дни))
NK
ахахахахахахаххаха
PC
Я до 31 должен закончить дисертацию, так что пробую все что есть и документирую
KR
До 31 лет?
A
31 июня из 30
KR
Но его же нет
KR
30 дней в июне
P
29 же
A
Ох зря вчера ел халапеньо
PC
Значит на день меньше