от нуля до семи и никаких процессов нет (нулевая загрузка, ибо ничего не запускал )

код с обходом 8ми устройств - свой скрипт, или есть какая-та функция

у торча есть ещё
torch.cuda.device_count()

ты прочитал ответ в линке про нагрузку одной карты? там разные функции/аргументы для разбивки на карты

свой
можно в каждую постучать для уверенности

Через export Cuda visible devices?

?
в душе не знаю про что ты :D
накидать .cu код и скомпилить пару минут :D

Читал, пытался применить - не получилось(

Самый прикол в том, что неделю назад мне 140к шагов посчиталось все нормально на 4 карточках. Потом решил остановить и еще 4 карточки добавить, и вот с этого момента все пошло...

я думал, имелось в виду `export CUDA_VISIBLE_DEVICES=0,1,2,3`

это в main

int gpu_num;
cudaGetDeviceCount(&gpu_num); // number of CUDA devices
for(int id = 0; id < gpu_num; ++id) {
  cudaDeviceProp prop;
  cudaGetDeviceProperties(&prop, id);
  cout << "Device id: " << id << endl;
  cout << "Device name: " << prop.name << endl;
}

скомпилить и запустить через команду

nvcc -o build mycode.cu
./build

не все видяхи могут общаться через UVM
собственно может торч не смог
ну или не дали ему точную команду
тот линк 1 в 1 твоя ситуация
возможно не сделано закрытие работы с видяхой или зомби процесс какой на них висит

Хм... Иду по тексту и не понимаю.... Так а что собственно пошло не так?
На 8 карта не запускается то что работало на 4?

И сразу вопрос в догонку...
А откуда такая уверенность что и в первый раз считали все 4, а не только ГПУ0 за всех отдувался?

Если есть прямой доступ к серверу, я бы.. :
1. Начал с того, что снял добавленные 4 карты.
2. Повторно запустил "то что работало" на оставшихся 4 картах (это те самые ГПУ, что были с самого начала и подсчитали 140к шагов);
3. При запущенной обработке загянул в nvidia-smi и посмотрел какие стоят GPU_ID у запущенных процессов. Если 0, то молотит только одна карта, а все остальные просто доступны для контейнера, но не задействованы.

запустить заново торч
потом вторым окном
watch -d -n 1 nvidia-smi
будет выводить раз в секунду результат вызова с показом разницы изменений


если грузится одна, значит нет аргументов для распараллеливания, читать мануал

Именно, потом решил снова запустить на 4, и не удалось. ДУмаю новый контейнер содать и все заново поднять

О.... Начинаем подходить к сути проблемы ))))

Прямого доступа нет(

Благодарю за код, проверю и запущу

Ребята, привет! Есть ли среди вас те, кто пишет на плюсах?
Сегодня узнала об одном парне Саше Зенько https://vk.com/zenko1985 (мне рассказал один из наших Хекслетовских активистов, а ему - ребятки из ProHiTech). Он геймер, у него ДЦП и он придумал софт, который дает людям возможность управлять мышью с помощью подбородка и выполнять действия мычанием (https://github.com/MastaLomaster/MHook/tree/master/source). Саша сам не программирует, не может, но у него есть помощники (точнее были): он рассказывает им, что нужно сделать, а они программируют. Проект оперсорсный, а товарищ, который раньше помогал программировать, пропал.
У меня есть небольшой список ишьюссов, кому интересно - пишите, я скину. Будет очень классно ему помочь