A
виталик приди на пос перейди
Size: a a a
2021 June 05
PC
Короче, я для дисертации использовал дипспид. Если забыть о паре нюансов, это ВЕЩЬ. Натренировал на лэптопе с нвидией 8гигов с тем же размером батча как и на колабе с р100 с 16 гигами, причем быстрее ибо на лэптопе у меня лучше процессор
A
круто
A
насколько он тяжело прикручивается?
PC
И требуются минимальные изменения в коде
KR
Оригинал этого мема https://twitter.com/Srry_Kid/status/393423978376605696
A
там основной сысл в fp16?
PC
На изи. Правда документация г****
A
или какие-то еще хаки
PC
Нет, но можно и его включить
A
нужно))
A
штош, пойду смотреть. там типа оффлоад в основной рам?
PC
Есть layer checkpointing, cpu offload, otimizer offload, gradient offload. Если по простому, будет жрать чуть больше рама
A
хари рама!
PC
Самый большой прирост от чекпоинтинга
PC
Остальное принесло 20%
NK
быстро они индексируются
PC
Если не хочешь морочится, подожди месяц и я тебе скину что и как надо делать чтобы не матерится на девов что плевали на доки