Size: a a a

Kubernetes — русскоговорящее сообщество

2021 March 31

ВМ

Владимир Муковоз... in Kubernetes — русскоговорящее сообщество
Dmitry Sergeev
Это какиой-то кластер, который позволяет запускать некие задачи на GPU?
ну у меня есть в кластере одна нода, виртуалка, в которую проброшена видеокарта с хоста. На этой ноде планируется выполнение пода с конвертацией видео и при конвертации использовать ядра cuda. Собственно тут используется другой рантайм, который сделано чтобы запускать работать с видеокартой в докере, базовые команды которыми можно посмотреть инфу о видеокарте показывают что всё норм, но при запуске конвертации ошибка. И я пока не понимаю что я делаю не так. И не могу понять как это дебажить, куда смотреть. ... нужен волшебный пендаль от того кто такое уже проворачивал)
источник

GG

George Gaál in Kubernetes — русскоговорящее сообщество
corsars
Пробуй на 18 в 20 бубунте бардак с ядром и пакетами, на январь были одни теперь другие модули
👎
источник

c

corsars in Kubernetes — русскоговорящее сообщество
Владимир Муковоз
У меня на хосте деб10, убунта в контейнере
Стоп. Ядра то разные
источник

GG

George Gaál in Kubernetes — русскоговорящее сообщество
Владимир Муковоз
ну у меня есть в кластере одна нода, виртуалка, в которую проброшена видеокарта с хоста. На этой ноде планируется выполнение пода с конвертацией видео и при конвертации использовать ядра cuda. Собственно тут используется другой рантайм, который сделано чтобы запускать работать с видеокартой в докере, базовые команды которыми можно посмотреть инфу о видеокарте показывают что всё норм, но при запуске конвертации ошибка. И я пока не понимаю что я делаю не так. И не могу понять как это дебажить, куда смотреть. ... нужен волшебный пендаль от того кто такое уже проворачивал)
а ты пробовал на хосте? может проблема в самом ффмпег
источник

DS

Dmitry Sergeev in Kubernetes — русскоговорящее сообщество
Владимир Муковоз
ну у меня есть в кластере одна нода, виртуалка, в которую проброшена видеокарта с хоста. На этой ноде планируется выполнение пода с конвертацией видео и при конвертации использовать ядра cuda. Собственно тут используется другой рантайм, который сделано чтобы запускать работать с видеокартой в докере, базовые команды которыми можно посмотреть инфу о видеокарте показывают что всё норм, но при запуске конвертации ошибка. И я пока не понимаю что я делаю не так. И не могу понять как это дебажить, куда смотреть. ... нужен волшебный пендаль от того кто такое уже проворачивал)
там вроде device плагин нужен https://github.com/NVIDIA/k8s-device-plugin
источник

ВМ

Владимир Муковоз... in Kubernetes — русскоговорящее сообщество
corsars
Стоп. Ядра то разные
контейнер использует ядро на хосте же)
источник

ВМ

Владимир Муковоз... in Kubernetes — русскоговорящее сообщество
George Gaál
а ты пробовал на хосте? может проблема в самом ффмпег
пробовал, там ошибка с фильтром, но нет ошибки с cuda
источник

c

corsars in Kubernetes — русскоговорящее сообщество
Владимир Муковоз
контейнер использует ядро на хосте же)
Так у тебя же неподдерживаемое ядро
источник

ВМ

Владимир Муковоз... in Kubernetes — русскоговорящее сообщество
то есть с устройствами всё норм
источник

DS

Dmitry Sergeev in Kubernetes — русскоговорящее сообщество
Владимир Муковоз
контейнер использует ядро на хосте же)
в daemon.json выставил?

{
   "default-runtime": "nvidia",
   "runtimes": {
       "nvidia": {
           "path": "/usr/bin/nvidia-container-runtime",
           "runtimeArgs": []
       }
   }
}
источник

ВМ

Владимир Муковоз... in Kubernetes — русскоговорящее сообщество
corsars
Так у тебя же неподдерживаемое ядро
ты говоришь какую-то ерунду по моему
источник

ВМ

Владимир Муковоз... in Kubernetes — русскоговорящее сообщество
corsars
Так у тебя же неподдерживаемое ядро
ты выполнял подобные задачи или чисто теоретически предполагаешь?
источник

ВМ

Владимир Муковоз... in Kubernetes — русскоговорящее сообщество
Dmitry Sergeev
в daemon.json выставил?

{
   "default-runtime": "nvidia",
   "runtimes": {
       "nvidia": {
           "path": "/usr/bin/nvidia-container-runtime",
           "runtimeArgs": []
       }
   }
}
+
источник

ВМ

Владимир Муковоз... in Kubernetes — русскоговорящее сообщество
без этого оно вообще не работало))
источник

c

corsars in Kubernetes — русскоговорящее сообщество
Владимир Муковоз
ты говоришь какую-то ерунду по моему
У тебя на хосте Debian - там другое ядро, нежели нужное для GPU
источник

k

kvaps in Kubernetes — русскоговорящее сообщество
corsars
Стоп. Ядра то разные
В принципе пофигу какая там ось, если прокинуть /lib/modules с хоста в контейнер и выделить соотвествующие привелегии
источник

DS

Dmitry Sergeev in Kubernetes — русскоговорящее сообщество
Мне теперь стало интересно, а можно ли сдружить это с containerd/cri-o 🤔. Это что получается, от докера не убежать?
источник

ВМ

Владимир Муковоз... in Kubernetes — русскоговорящее сообщество
corsars
У тебя на хосте Debian - там другое ядро, нежели нужное для GPU
используются модули ядра хоста, в контейнере их нет вовсе
источник

ВМ

Владимир Муковоз... in Kubernetes — русскоговорящее сообщество
kvaps
В принципе пофигу какая там ось, если прокинуть /lib/modules с хоста в контейнер и выделить соотвествующие привелегии
+
источник

c

corsars in Kubernetes — русскоговорящее сообщество
Владимир Муковоз
используются модули ядра хоста, в контейнере их нет вовсе
тем более это не 4 ка из 18й и не 5ка ядро из 20 бубунты - это 4ка Debian со своими вызовами. Ядра разные
источник