У них еще есть комьюнити версия

Которая просто с бд не работает (у них там просто фс бэкапировать не получится)

Failed create pod sandbox: rpc error: code = Unknown desc = failed to set up sandbox container "a23f7b2979465dbc5995353bd931e4bd15fe9d4a538d5a1062ebbbe6c24ae86c" network for pod "accounting-balance-job-1609248600-vbhjj": networkPlugin cni failed to set up pod "accounting-balance-job-1609248600-vbhjj_prod" network: Get https://[10.232.0.1]:443/api/v1/namespaces/prod: x509: certificate has expired or is not yet valid

это сертификат calico заэкспарился ?
как оно уже достало, можно их на 100лет сгенерить и забыть в kubespray !?

Failed create pod sandbox: rpc error: code = Unknown desc = failed to set up sandbox container "a23f7b2979465dbc5995353bd931e4bd15fe9d4a538d5a1062ebbbe6c24ae86c" network for pod "accounting-balance-job-1609248600-vbhjj": networkPlugin cni failed to set up pod "accounting-balance-job-1609248600-vbhjj_prod" network: Get https://[10.232.0.1]:443/api/v1/namespaces/prod: x509: certificate has expired or is not yet valid

почему калики? 10.232.0.1 это куберская апи

тогда загадка

# kubeadm alpha certs check-expiration --config=/etc/kubernetes/kubeadm-config.yaml
CERTIFICATE                EXPIRES                  RESIDUAL TIME   EXTERNALLY MANAGED
admin.conf                 Dec 15, 2021 09:42 UTC   350d            no
apiserver                  Nov 10, 2021 13:05 UTC   315d            no
apiserver-kubelet-client   Nov 10, 2021 13:05 UTC   315d            no
controller-manager.conf    Dec 15, 2021 09:42 UTC   350d            no
front-proxy-client         Dec 14, 2021 09:41 UTC   349d            no
scheduler.conf             Dec 15, 2021 09:42 UTC   350d            no

у тебя один мастер?

два и на обоих все в порядке

Подскажите куда копать через helm резвернул prometheus.
у Server и AlertManager подов статус сначала  ContainerCreating потом terminating и так по циклу

PVC в статусе Bound

предположу что у промитея прав нет писать - вообще глянь в логи просто

Что нибудь из серии kubectl logs -p

можно в describe заглянуть - там будет написано что он скорее всего crashloopbackoff че нить подобное

Хотя terminationg это если удаляется под - может ты криво оператор поставил который промитей спавнит

https://pastebin.com/9ZSkNGh9
Походу нужно сделать Attach для Longhorn

Да он сам должен сделаться

а что лонгхорн в логах насыпал? Вообще вполне возможно что у тебя уже где то заатачен этот вольюм и он не может его разаатачить

если ты руками куда его монтиоровал

Я только развернул его через helm, и сделал SC https://longhorn.io/docs/1.1.0/volumes-and-nodes/create-volumes/

ой 1.1.0 еще не трогал

потом через тот же helm установил prom