Только AX51-это с работающими виртуалками

и какие диски?

а EX62 пустая

если это не виртуалки которые "жрут" CPU+disk, то разница конечно есть, но я бы не сказал что она существенная. Хотя для идеального теста нужно соблюдать все условия при сравнении)

AX51-NVME

root@pve ~ # lspci | grep NVM
09:00.0 Non-Volatile memory controller: Samsung Electronics Co Ltd NVMe SSD Controller SM981/PM981
0a:00.0 Non-Volatile memory controller: Samsung Electronics Co Ltd NVMe SSD Controller SM981/PM981

EX62-NVME

root@pve ~ # lspci | grep NVM
01:00.0 Non-Volatile memory controller: Sandisk Corp WD Black 2018/PC SN720 NVMe SSD
02:00.0 Non-Volatile memory controller: Sandisk Corp WD Black 2018/PC SN720 NVMe SSD

Они жрут, но не особо

Я не помню где смотреть

но думаю 4к

Да, наверное дело в Самсунге =)

да, для LVM по умолчанию он вроде 4к ставит

что имеется ввиду?

Просто Samsung лучше чем Sandisk

просто samsung datacenter ssd, а wd обычный десктопный

эти модели

где-то да, а например для sync записи SANDisk показывает лучше характиристики.

По-сути, главная секция во всём тесте - это  RandReadWrite и RandReadWrite/sync. Так как при работе с ВМ основной характер доступа к диску это случайные чтение/запись.

Поэтому для RandRW без sync лучше самсунг:

randReadWrite: (groupid=6, jobs=1): err= 0: pid=4051: Wed Apr  1 11:36:58 2020
  read: IOPS=15.9k, BW=62.2MiB/s (65.2MB/s)(511MiB/8220msec)
  write: IOPS=15.0k, BW=62.4MiB/s (65.4MB/s)(513MiB/8220msec); 0 zone resets

VS

randReadWrite: (groupid=6, jobs=1): err= 0: pid=32265: Wed Apr  1 11:38:27 2020
  read: IOPS=12.8k, BW=49.0MiB/s (52.4MB/s)(511MiB/10219msec)
  write: IOPS=12.9k, BW=50.2MiB/s (52.7MB/s)(513MiB/10219msec); 0 zone resets

а для этой же операции, но с sync уже лучше SAN:

randReadWrite/sync: (groupid=7, jobs=1): err= 0: pid=32310: Wed Apr  1 11:38:27 2020
  read: IOPS=1713, BW=6852KiB/s (7017kB/s)(402MiB/60001msec)
  write: IOPS=1715, BW=6860KiB/s (7025kB/s)(402MiB/60001msec); 0 zone resets

VS

randReadWrite/sync: (groupid=7, jobs=1): err= 0: pid=4098: Wed Apr  1 11:36:58 2020
  read: IOPS=795, BW=3183KiB/s (3260kB/s)(187MiB/60001msec)
  write: IOPS=803, BW=3212KiB/s (3289kB/s)(188MiB/60001msec); 0 zone resets

возможно что факт работающих ВМ внёс свои коррективы в показатели

это не удивительно потому что десктопные имеют 4-16 гиг SLC кеша, и оно небольше операции линейные быстрее делают, а вот серверный просто ровно работает и на параллельные иопсы  лучше оптимизирован

коллеги, интересное наблюдение...
график за 2 дня (чтобы была видна тенденция). сегодня утром около 8 утра я включил numa в настройках vm и смотрите, что стало с cpu system time (зеленым цветом). сейчас я выключил numa и ахтунг закончился

кто что скажет? ))

А зачем включать NUMA?