#Вопрос есть контейнер с mariadb на zfs  , если настроить репликацию между двумя нодам , будет ли такая репликация рабочей ( консистентной ) , погуглил на эту тему  вроде как в целом да если не отключать sync на zfs. Но может кто то реально это использует похожую схему и может подсказать стоит или не стоит так делать ?

делайте репликацию средствами марии и не будет проблем

и я так понимаю на fc хранилище бэкап при этом делается с моментальными снимками, что вообще не пойму как если базовое хранилище их не поддерживает #вопрос

#вопрос
какие best practices для установки Proxmox?

Имею выделенный сервер:
2 x Intel Xeon E5 2630v4 / 256Gb RAM / 1Gbps
1 x 480Gb NVMe
2 x 2000Gb SSD
2 x 3000Gb HDD

Буду крутить много ВМ на убунту, все будут ходить в сеть, сохранность данных очень важна.
Думал поставить Proxmox на NVMe, а VM крутить на двух SSD (single или RAID1) и HDD в RAID1.
Хостер пишет, что NVMe не bootable (поставили вчера, один из SSD системный сейчас) и вообще нет смысла ставить гипервизор на NVMe.
Куда лучше установить систему и VM при моём конфиге? Какие еще есть сущности в гипервизоре? Настраиваю в первый раз, хочу избежать выстрелов в ногу и настроить всё правильным/эффективным образом. Может быть имеет смысл что-то заменить, типа убрать NVMe и поставить 2 SSD в RAID1 под систему?
Накидайте to-do пожалуйста. Хочу уже приступить к настройке и никак не закончу с верной установкой, пока еще можно что-то поменять/добавить/убрать.

я бы ставл на рейд, а нвме можно заюзать под кеш на HDD

точные наименования моделей nvme и ssd для начала. А также что будет размещаться внутри ВМ

А кэш какой юзаете? В аппаратном рейде или софтовый и если последний, то какой?

ну я ему предложил бы устройство кеша в пул ZFS

Интересно было услышать про кэши помимо zfs

кеши файловой системы или о каком кеше  речь? кеши на запись или на чтение?

есть много разных)

Вот да, их много разных. Bcache, lvm cache. Я юзал enhanceio как-то, но не на proxmox.

ну если говорить про кеш ФС, то я юзаю арк кеш в основном в зфс, l2arc в паре мест, ну и в остальных ФС есть пейджкеш ядра.

LVM мне не особо зашёл, но тоже его юзал

Zfs хорош. Использовал пару раз.

смотря в чём)), вот сейчас заполняю пул из 6ти HDD, скорость записи туда 12мб в сек(не по сети заполняю, локально с LVM перекачиваю)

мрак)

Пул то на зфс?

+

NVMe = Intel Optane SSD 900P (480Gb) x1
SSD = Crucial MX500 2TB 3D NAND SATA 2.5 x2

внутри ВМ будут убунты 20.04 для тестирования софта. Очень важны логи и файлы ключей, а также возможность восстановить упавшую ВМ. БД особых нет, в случае чего ими можно пожертвовать. Объемы бэкапов так же не высоки - лог.файлы + пара текстовых файлов с API-токенами