Size: a a a

KVM (PVE/oVirt etc)

2019 June 25

k

kvaps in KVM (PVE/oVirt etc)
ivdok
/lib/modules/4.15.18-16-pve/kernel/drivers/block/drbd/drbd.ko
нет, это родной
источник

k

kvaps in KVM (PVE/oVirt etc)
dkms в /lib/modules/4.15.18-16-pve/updates/dkms/drbd.ko положит
источник

k

kvaps in KVM (PVE/oVirt etc)
должно быть так:
# find /lib/modules/4.15.18-16-pve/ -name drbd.ko
/lib/modules/4.15.18-16-pve/updates/dkms/drbd.ko
/lib/modules/4.15.18-16-pve/kernel/drivers/block/drbd/drbd.ko
источник

i

ivdok in KVM (PVE/oVirt etc)
Хмм, теперь dkms status ничего не отдаёт. Охуеть, чё происходит
источник

i

ivdok in KVM (PVE/oVirt etc)
Как так-то
источник

k

kvaps in KVM (PVE/oVirt etc)
kvaps
У меня как-то раз всплывал какой-то баг с dkms, когда он модуль не тому ядру подпихивал из-за версий
похоже у тебя тот самый баг
источник

i

ivdok in KVM (PVE/oVirt etc)
Реинсталл сделал, модули "вроде как" сложились в /lib/modules/4.15.18-16-pve/updates/dkms/:
ls /lib/modules/$(uname -r)/updates/dkms
drbd.ko  drbd_transport_tcp.ko
источник

h

hackru in KVM (PVE/oVirt etc)
так хедеры-то стоят?
источник

i

ivdok in KVM (PVE/oVirt etc)
Конечно, первым делом pve-headers
источник

k

kvaps in KVM (PVE/oVirt etc)
не в хедерах дело
источник

k

kvaps in KVM (PVE/oVirt etc)
Я полагаю что причина в том, что dkms использует что-то типа:
# ls -1 /lib/modules | sort -h
4.15.18-12-pve
4.15.18-9-pve
4.9.0-8-amd64
и берёт последнюю версию ядра, а нужно:
# ls -1 /lib/modules | sort -V
4.9.0-8-amd64
4.15.18-9-pve
4.15.18-12-pve
тогда будет правильное ядро
источник

k

kvaps in KVM (PVE/oVirt etc)
попробуй явно указать ядро:
dkms install drbd/9.0.18.1-1 -k 4.15.18-16-pve
источник

i

ivdok in KVM (PVE/oVirt etc)
Заработало, я insmod руками сделал, а в следующее окно почищу ядра.
[pve ~]# insmod /lib/modules/$(uname -r)/updates/dkms/drbd.ko
[pve ~]# insmod /lib/modules/$(uname -r)/updates/dkms/drbd_transport_tcp.ko
[pve ~]# cat /proc/drbd
version: 9.0.18.1-1 (api:2/proto:86-115)
GIT-hash: d82b978fedd219022859a5439f15820792c1956f build by root@pve, 2019-06-25 11:13:32
Transports (api:16): tcp (9.0.18.1-1)
источник

i

ivdok in KVM (PVE/oVirt etc)
источник

i

ivdok in KVM (PVE/oVirt etc)
@kvaps А drbd9 вообще использует мультикаст? А то 2.5Тб между 4 нодами что-то как-то небыстро синхронизируются.
источник

i

ivdok in KVM (PVE/oVirt etc)
congested:yes ap-in-flight:0 rs-in-flight:6144 у праймари
источник

k

kvaps in KVM (PVE/oVirt etc)
ivdok
@kvaps А drbd9 вообще использует мультикаст? А то 2.5Тб между 4 нодами что-то как-то небыстро синхронизируются.
умеет, но возможно нужно включать отдельно
источник

k

kvaps in KVM (PVE/oVirt etc)
А зачем тебе 4 реплики с данными?
источник

k

kvaps in KVM (PVE/oVirt etc)
параметры для тюнинга применял?
источник

i

ivdok in KVM (PVE/oVirt etc)
kvaps
А зачем тебе 4 реплики с данными?
Мне нужно шареный ext4 поверх iSCSI, но PVE умеет только равки дисков, решения типа GlusterFS не подходят, потому что надо не шарить кусок ноды для всех, а только одну FS, и clvm под debian 9 я не нашёл, как вкорячить, lvmlockd вообще только в sid есть. Как-то так, куда не поверни - везде жопа
источник