так вопрос на что уходить, вариантов пока не оч много, парочку кинули - гляну, просто тут вопрос есть ли смысл их переучивать)

Господа, привет! Прошу помощи.

У нас в кубе на 8 цпу начал лагать rabbitmq на 100к+ сообщений. А именно таймаутятся readines пробы - rabbitmq-diagnostics -q check_local_alarms через 20с. Я полез в графану (в том же кубе) и увидел, что прометеус стэк создал и всегда держит 200 процессов, а в пике около 400. Сам рэббит по ресурсам себя комфортно чувствует - цпу у него не растет выше 50%, память тоже

Не могу связать большое количество сообщений и замедление работы пода рэббита. Но предполагаю, что сервис с метрикой спавнит слишком много процессов и из-за этого на рэббит переключение исполнения происходит редко. Судя по тому, как лагает под рэббита, так и есть

Смотрю на вот эту метрику: container_processes{endpoint="https-metrics", id="/", instance="x", job="kubelet", metrics_path="/metrics/cadvisor", node="x", service="kube-prometheus-stack-kubelet"}

Ставим прометеус мы вот так https://pastebin.com/gzJLz1h4

Сталкивались ли с такой проблемой? Или, мб посоветуете какой-то проверенный способ с прометеусом в кубе?

с одной стороны советуют кафка для высоких нагрузок.

с другой стороны - почему вы связали прометей и реббит ????
каким образом они по вашему друг на друга влияют ?
они на одно узле запущены ? на узле iowait Высокий ?

Да, пардон. Это одна нода в кубе. Все поды живут пока на одной ноде

и реквесты с лимитами не заданы на подах ?

Про кафку знаю, но вроде 100к не так много (хотя тоже вопрос), поэтому пока хочу попробовать докопаться до самой проблемы. Если проблема не в рэббите, то миграция на кафку просто затянет процесс

На некоторых заданы, но не везде На рэббите есть реквест 2цпу 2гига. Загруз самой ноды тоже не выше 70% цпу и 50% рам

Про iowait не знал, сейчас нагружу, посмотрю top-ом

можно попробовать временно остановить прометеус и посмотреть что будет с реббитом и 100к . продолжить тормозить или нет

100к в реббите это относительная величина, все же многое зависит от того, сколько весят сами сообщения)

да, точно, это хороший план

зашел в top. iowait = 0. из подозрительного только steal time на уровне 10, но при этом idle 75. Поэтому, видимо, дело в другом. Сейчас погажу прометеус, попробую

твой провайдер виртуалок ворует у тебя процессоры )

справедливо! где-то по 150-350 байт
стоило еще сказать, что очереди durable. То есть он там куда-то на диск должен еще записывать. Думал в эту сторону, но ulimit  там стоит очень большой. А сам рэббит держит около 1000 открытых файлов вроде

хы
это kubernetes as a sevice от скейлвея)

мы у них живем на стартаперские кредиты, поэтому, в целом, не против )

Всем привет. лег кластер, v1.18.5 развернутый HA на три ноды через kubespray, kube-proxy вообще не поднимается. В логах
k8s_kube-controller-manager
error retrieving resource lock kube-system/kube-controller-manager: an error on the server ("") has prevented the request from succeeding (get endpoints kube-controller-ma

вот такое . Пробовал просто обновить кластер при помощи плейбука
после
TASK [kubernetes/master : kubeadm | Check if apiserver.crt contains all needed SANs]

валится по ошибке на таске
FAILED - RETRYING: Create kubeadm token for joining nodes with 24h expiration (default) (5 retries left).
...
Буду премного благодарен за любой совет

Снести кластер и накатить заново

Камрады, а как можно инжектить переменные окружения в поды?
В частности, мне надо http_proxy чтобы там было. Не получилось создать Podtemplate, это самостоятельный обьект?
Спасибо.

КонфигМап?

Как сделать, чтобы он сам ко всем подам прилипал?

Скорее всего лейблами , а так не знаю )

Я ещё зелёный , но вот это было в книгах последний момент из чтения