A
Это чо, послезавтра уже?
Size: a a a
2020 June 16
AS
шок!
2020 June 17
ST
GPU ресурсы кроме как статы девайсов кто то мониторит для контейнеров через прометея? Я чет все доки nvidia перерыл, такого функционала чтобы знать сколько контейнер GPU кушает нет, может видел кто способ?
GM
если у тебя не теслы то хз какие вообще варианты могут быть
AS
а ты без прометея вообще поищи. мне кажется эти ресурсы вообще фигово аккаунтятся
GM
для тесл там экосистема целая вокруг data center gpu manager
ST
если у тебя не теслы то хз какие вообще варианты могут быть
теслы, gtx, titanx
ST
для тесл там экосистема целая вокруг data center gpu manager
ну вот я dcgm задеплоил, он собирает тупо девайс статы
GM
в нем где то должен быть аккаунтинг
A
GPU ресурсы кроме как статы девайсов кто то мониторит для контейнеров через прометея? Я чет все доки nvidia перерыл, такого функционала чтобы знать сколько контейнер GPU кушает нет, может видел кто способ?
Там, вроде, можно через nvidia-smi по процессам вытащить только потребление памяти. Информации по потреблению вычресурсов, вроде, нет.
ST
Alexander
Там, вроде, можно через nvidia-smi по процессам вытащить только потребление памяти. Информации по потреблению вычресурсов, вроде, нет.
не, этого хватит, мне прост надо знать сколько у меня модель в поде жрет памяти от GPU
ST
в доке DCGM\NVML не увидел пока
GM
ST
тут вот, тупо инфа по девайсам
https://docs.nvidia.com/datacenter/dcgm/latest/dcgm-user-guide/integrating-with-dcgm.html#customizing-prometheus-client
https://docs.nvidia.com/datacenter/dcgm/latest/dcgm-user-guide/integrating-with-dcgm.html#customizing-prometheus-client
SM
можно попробовать дописать - https://github.com/NVIDIA/gpu-monitoring-tools
по дефолту не матчит, только инфа по девайсам
по дефолту не матчит, только инфа по девайсам
SM
там в целом нужно узнать какой уид карты прокинут в под и это можно сматчить, он там в енв валяется
S
GPU ресурсы кроме как статы девайсов кто то мониторит для контейнеров через прометея? Я чет все доки nvidia перерыл, такого функционала чтобы знать сколько контейнер GPU кушает нет, может видел кто способ?
S
первый в списке - посмотри сорцы, чем снимают и что
2020 June 18
.
А как в проме/вм можно получить все точки для метрики с лейблом, в котором есть определенные значения?
Например, есть
А вернуть нужно все точки, но только для тех hostname, где за интервал есть значение метрики 1
Например, есть
metric {hostname =~ ".*" } со значениями 0, 1 и 2А вернуть нужно все точки, но только для тех hostname, где за интервал есть значение метрики 1