AS
есть методы агрегировать память с нескольких GPU в одно пространство для tensorflow?
Size: a a a
2020 January 18
n
есть методы агрегировать память с нескольких GPU в одно пространство для tensorflow?
Кластер? На одной машине? Тоже интересно...
A
есть методы агрегировать память с нескольких GPU в одно пространство для tensorflow?
10 колабов сразу?)
EZ
есть методы агрегировать память с нескольких GPU в одно пространство для tensorflow?
Есть методы обучать сразу на нескольких гпу
AS
я использовал хоровод для обучениях на несокльких видеокартах. по итогу получается аналог батч сайз. я сейчас немного другое ищу, мне памяти не хватает. возможно можно одной GPU считать используя память всех видях
AS
10 колабов сразу?)
это как? колаб насколько я знаю дает 11 гигабайт для видяхи
EZ
я использовал хоровод для обучениях на несокльких видеокартах. по итогу получается аналог батч сайз. я сейчас немного другое ищу, мне памяти не хватает. возможно можно одной GPU считать используя память всех видях
Тебе нужен model parallelism?
AS
мне не хватает памяти одной видяхи чтобы обучить модель. но при этом установлены еще 3 видяхи которые пустуют
AS
при использовании Хоровод каждая из видях загружает в себя всю модель полностью
AS
мне это не подходит, возможно есть апаратные или програмные средства чтоб как-то замапить память со всех видях в один кусок для одной ГПУ
A
мне это не подходит, возможно есть апаратные или програмные средства чтоб как-то замапить память со всех видях в один кусок для одной ГПУ
Стандартная библиотека нвидиа?
AS
а подробнее?
AS
я использую tensorflow
p
Мне кажется, если замапить память всех видях в одно пространство, то можно получить разрыв шаблона, так как данные из областей памяти на разных видеокартах будут кочевать очень медленно
EZ
мне не хватает памяти одной видяхи чтобы обучить модель. но при этом установлены еще 3 видяхи которые пустуют
Это называется model parallelism
AS
Мне кажется, если замапить память всех видях в одно пространство, то можно получить разрыв шаблона, так как данные из областей памяти на разных видеокартах будут кочевать очень медленно
ну есть же nvlink
EZ
Можешь посмотреть на gpipe например
EZ
Но в целом хорошей поддержки из коробки пока нет
A
мне не хватает памяти одной видяхи чтобы обучить модель. но при этом установлены еще 3 видяхи которые пустуют
Может стоит батчами загружать данные?