PA
Size: a a a
2020 July 29
I,
оно обучаеться и то что ищучил сохраняет
PA
а есть уверенность что оно вообще будет работать на 20тб модели? На каждом проходе надо будет перечитать все чему научился до этого?
NB
на gpu можно делать и inference и training. и то и другое будет быстрее. один gpu +- на порядок быстрее одного процессора
NB
inference в общем случае достаточно легковесен, его регулярно делают на клиентах, но можно опять же на gpu на серверной части ранать если нужно большой поток обрабатывать
NB
если inference можно куда-то еще отдать а новая модель тренируется не так часто никто не мешает у того же амазона брать gpu instances on-demand или scheduled reserved
I,
а какая часовая стоимость ?
I,
оно дороже?
NB
p3.2x стоит $3 в час on-demand, там внутри tesla v100
I,
это эквивалентво 64 cores сорри за тупые вопросы
NB
такая карта в ai бенчмарках выдает 35000 попугаев. Intel Xeon Gold 6148 в котором 20 физических ядер на том же тесте выдает 4000 попугаев. т.е. в целом одна карточка условно эквивалентна 160 физическим ядрам
I,
Nikita Burtsev
такая карта в ai бенчмарках выдает 35000 попугаев. Intel Xeon Gold 6148 в котором 20 физических ядер на том же тесте выдает 4000 попугаев. т.е. в целом одна карточка условно эквивалентна 160 физическим ядрам
спасибо огромное за обьяснение
NB
training score 17000 vs 1700, inference score 17000 vs 2600 . т.е. тренирует в 10 раз быстрее, выполняет в 6 с копейками раз быстрее
I,
но 512 рам не избежать так?
NB
нет, в общем случае нужно хотя бы столько же сколько на карточке и некоторый запас.
NA
но 512 рам не избежать так?
Ты там САП собрался загружать???
В современных серверах 1.5Тбайт ОЗУ предел
В современных серверах 1.5Тбайт ОЗУ предел
NA
Раньше можно было в 3ТБ
PA
Nikita Burtsev
нет, в общем случае нужно хотя бы столько же сколько на карточке и некоторый запас.
tesla идет на 32gb ?