в общем получается лучше обойтись без metallb ?

Ребята а как работает metallb? есть непонятка.
16 кубер kubespray
установлен metallb в роли loadballancer
ingress-nginx получил у metlalb ипшник 10.5.0.50 который доступен на всех нодах
я думал что я смогу с любой ноды обращаться к этому единому ип 10.5.0.50 но по факту получается что я к портам nginx достучаться могу только с ноды на которой стоит ingress-nginx
на всех остальных получаю

~# telnet 10.5.0.50 80
Trying 10.5.0.50...
telnet: Unable to connect to remote host: Connection refused

в ipmi сервака в консоле вижу IPVS no destination available

это вопрос религиозный.
лично я считаю металлб убогими костылями с кучей проблем и подпорок.

и если бы у меня была задача обеспечить отказоустойчивость в L2-сети, то я взял бы pacemaker, который бы доп. адрес таскал бы между двумя узлами. А на этих узлах был бы прибит ingress controller с hostNetwork: true строчкой в аннотации.
и никаких тебе NAT-через-SNAT-в-DNAT, и никакой зависимости от k8s API при перездах fip

внутри кластера metallb не используется, снаружи кластера у тебя должен быть доступ к LoadBalancer IP, попробуй arping и смотри логи спикера запущенного на тойже ноде где и workload он должен отвечать arpreply

Ну я за metalB. Поскольку это еще и tcp балансировщик чего нет в K8 в штатной поставке. Всякие там nginx-ы идут лесом - полноценный балансировщик там только в nginx+

Кстати да, тоже интересно про LB. Вот допустим мы подняли k8s у себя на серверах.... и как с интернетов получить доступ к сервисам, которые крутятся в кубере? metalB тут как раз поможет?

ingress для этого

Ну я за metalB. Поскольку это еще и tcp балансировщик чего нет в K8 в штатной поставке. Всякие там nginx-ы идут лесом - полноценный балансировщик там только в nginx+

в смысле?

Кстати да, тоже интересно про LB. Вот допустим мы подняли k8s у себя на серверах.... и как с интернетов получить доступ к сервисам, которые крутятся в кубере? metalB тут как раз поможет?

опыт есть  печальный со штаными ingress - только нормальные TCP балансировщики могут разрулить backend и они или коммерческие стоят денег или как metalB который Google опубликовала в прошлом году. фишка в том что сервисы штатные не могут TCP балансировку как и LB роль

Такое ощущение, что ты целиком упускаешь из виду существование service-ов

Я про них и говорю - не вариант, там же надо замкнуть на них DNS чтобы отношения внутри app label ссылались. а TCP они не могут - только коммерческие балансировщики. Было опыт с этими сервисами

Смотря что за сервисы запущенны в кластере, на них вполне может и внешний haproxy роутить, например

опыт есть  печальный со штаными ingress - только нормальные TCP балансировщики могут разрулить backend и они или коммерческие стоят денег или как metalB который Google опубликовала в прошлом году. фишка в том что сервисы штатные не могут TCP балансировку как и LB роль

Что значит "tcp не могут"?

ну не всем нужна tcp балансировка, мне http балансировки вполне достаточно

долго объяснять, посмотри доку - они только HTTP