а пока рестарта нет будут проблемы при работе с ZFS

# cat /etc/modprobe.d/zfs.conf 
options zfs zfs_prefetch_disable=1
options zfs zfs_arc_sys_free=2147483648

Кто подскажет, это корректный синтаксис?

Привет, рассказываю вам печальную историю. Так вышло, что при настройке сети один человек не учел того, что был настроен port-channel. По итогу мы получили вещание влана с проксмоксом на всю сеть и ужасный вапр-шторм. В результате этого прокмокс-кластер развалился. После локализация и исправления сетевой проблемы ноды начали подыматься, но не все и не сильно нормально. На некоторых серверах через systemd не подымается fuse, приходится подымать pve-cluster вот так:

umount -l /etc/pve && pmxcfs -d -f -l

На других с фьюзом все хорошо, но pve-manager никак не хотел запускаться (висел в waiting for quorum), пока мы не догадались поменять сетевую карту и/или мак текущей карты. После этого сбоящие ноды поднялись, но упали те, которые работали раньше нормально. Повторение такой же процедуры помогло на всех, кроме одной ноды, в которой до сих пор ожидается кворум.

Несмотря на то, что большинство нод работает, друг-друга они не видят. И это полная катастрофа. Есть подозрение, что нам где-то забанили маки и мультиикаси/юникаст, но выборочные тесты этого не показали. Продакшен еще идет и полновесных тестов провести не могу.

Я с проксмоксом очень на Вы (вижу его можно сказать в первый раз)

Можете подсказать, как восстановить связность нод? Как спасти кластер? Что читать

Не нужно менять мак и сетевые на хосте. Логи и для начала перезапустить коросинк

Понять бы вообще какие логи читать :С

Так, кажется я начинаю втыкать, что waiting for quorum может быть связано с тем, что в логе коросинке есть link down

Roman спасибо большое, что направили в нужное русло, все починил.
#решение
Ну как починил - последовательный рестарт коросинка и после последовательная перезагрузка всех нод все починило.
Не хочу тагать посреди ночи, надеюсь моя благодарность дойдет :)

Повесь #проблема в сообщение

не видят в каком смысле?, может mtu слишком большой?

Уже все решилось, можно сказать, что у меня 1020 человек вместо утенка. Ну хоть не тимлид, прогресс уже

все были запущены в local режиме

Тэг нужен для того, чтобы люди могли найти вопрос и решение

Если конечно вы пометили это

Не стоит быть эгоистом

пометил