pvesm status

Name                Type     Status           Total            Used       Available        %
linux-nfs            nfs     active      1199860224        47220736      1091620352    3.94%
local                     dir     active       106545096        19450808        82244236   18.26%
nvme_manual rbd     active       599483887       550010939        49472948   91.75%
ssd_manual      rbd     active      2395383764      1737860372       657523392   72.55%

а rbd из ceph собран?

да

получается что проблемный диск на цефе в итоге?

совет обновить pve+ceph правильный. Но на живом проде нужно как-то к этому очень хорошо подготовиться

как временное решение попробуйте на локальный сторадж переехать (если есть возможность) и понаблюдать будут ли ошибки повторяться

Все диски на цефе. nvme_manual и ssd_manual - пулы из соответствующих устройств. Linux-nfs - заглушка для переноса дисков с vmware. Локальный на 100G - не переедешь. Денег нет, принимаем натощак трактор "Беларус" и запиваем чаем с малиновым вареньем.  А если серьёзно - админу , настраивавшему  сервер пришло утром письмо от mdadm. С понедельника буду разбираться ещё и с этим(будет чем убеждать начальство на апгрейд) :                                                                                                                                                  root@bels-node1:~# cat /proc/mdstat
Personalities : [raid1] [linear] [multipath] [raid0] [raid6] [raid5] [raid4] [raid10]
md0 : active raid1 sdc1[0]
     117153792 blocks super 1.2 [2/1] [U_]
     bitmap: 1/1 pages [4KB], 65536KB chunk

unused devices: <none>

ребят а при создании ВМ в Процессоре. Сокеты и ядра.
Если 1 процессор 6 ядер и 12 тредов. то я правильно понимаю что:
Сокетов максимум указываю 1
А Ядер 6 или 12?

Развалился редй

в системе треды как ядра видны. 12

спс

Как включить trim на zfs? Он разве не включен by-default?

Можно запускать командой, например при паузах в нагрузке так:

zpool trim myssdpool

или сделать так чтобы он выполнялся в фоновом режиме после освобождения места

zpool set autorim=on myssdpool

По умолчанию он выключен.

zpool trim myssdpool

zpool set autorim=on myssdpool

Спасибо большое!

Всегда пожалуйста.
Я там ошибвся в команде, опечатался

zpool set autotrim=on zfs-ssd-big

А что такое fragmintation на zfs и как с этим бороться?

Никак.

обычная фрагментация. И как бороться ( и надо ли) - не придумали.

главное не допускать заполнения более 70%