как вариант) надеюсь на умирающий проект выделят денег

в селектеле можно найти весьма бюджетные сервера по акции. впрочем как и в хетзнере.

Отключил ребут. 18.7 htop показывает занято ОЗУ: 16 под вм + 2,7- сам прокс.

options zfs zfs_arc_max=2147483648

тоже указано. Запускаю в вм тест crystaldiskmark: на чтении всё норм, 19.3-19.4 озу ест, как на запись тест идёт - сжирает всю свободную озу

А почему ты думаешь что сам Линукс не кеширует?

Отключен кэш диска в проксмоксе

По моему, это память кончилась. kvm не будет отправлять виртуалки в своп, при недостатке памяти он ребутнет хост.

В качестве временной меры можно активировать механизм KSM (kernel same page sharing) нужно установить пакет ksmtuned и настроить его конфиг, чтобы он быстрее активировался. Тут дилема возникает: чем активнее ksm тем больше на него процессора тратится, и тем сильнее он утаптывает память, которая сама по себе постоянно разутаптывается назад.

Виртуалки нужно будет запускать по одной, когда 70% памяти будет занято, подождите, когда утопчется и запускайте остальные.

Это очень агрессивные настройки:

cat /etc/ksmtuned.conf 
# Configuration file for ksmtuned.

# How long ksmtuned should sleep between tuning adjustments
KSM_MONITOR_INTERVAL=10

# Millisecond sleep between ksm scans for 16Gb server.
# Smaller servers sleep more, bigger sleep less.
# KSM_SLEEP_MSEC=10

KSM_NPAGES_BOOST=3000
# KSM_NPAGES_DECAY=-50
# KSM_NPAGES_MIN=64
KSM_NPAGES_MAX=12500

KSM_THRES_COEF=30
KSM_THRES_CONST=32768

# uncomment the following if you want ksmtuned debug info

LOGFILE=/var/log/ksmtuned
DEBUG=1

А в виртуалке?

cache=no cache об этом говорим?

#вопрос открыт: как ограничить чтобы zfs не сжирал ОЗУ при записи на него?

попробуй задать лимит для arc

вообще менее 4 выделять неразумно

Этот же кэш берётся из ОЗУ, выделенной ВМ. Из гипервизора же своровать не может вроде как?

А ты сразу всю память отдаешь в гостя?

https://t.me/ru_proxmox/87395 ну вот же писал, как дело обстоит