Телеграмм чат группы ru_openshift страница 1201

2021 March 16

R

Reggie in OpenShift - русскоязычное сообщество

Добавлять все штифтовые группы в конкретный ou а потом парсить его по крону?

Не совсем поняла. Если добавить все группы в один ou, то потом в whitelist для group sync operator будет постоянно одна строка? Или идея не в этом?

источник

22:00пожаловаться #1

BB

Boriss Borisovich in OpenShift - русскоязычное сообщество

Есть ли возможность в OCP v4.4 как-нибудь настроить job/cronjob, чтобы чистилась папка wal в prometheus-k8s-0/prometheus-k8s-1 подах?

У нас пром постоянно крашится, хоть лимиты выставили/рестартили поды и тд...ничего не помогает. Однако, заметили что когда чистишь wal и рестартишь пром... он работает часов 10-15.

источник

22:15пожаловаться #2

A

Alex in OpenShift - русскоязычное сообщество

retention надо выставить в конфигурации

источник

22:17пожаловаться #3

BB

Boriss Borisovich in OpenShift - русскоязычное сообщество

Кластер 150 нод, по 500гигов pvc для прома, retention гляну, но не уверен что это кейс.

источник

22:19пожаловаться #4

АП

Андрей Петров... in OpenShift - русскоязычное сообщество

Boriss Borisovich

Есть ли возможность в OCP v4.4 как-нибудь настроить job/cronjob, чтобы чистилась папка wal в prometheus-k8s-0/prometheus-k8s-1 подах?

У нас пром постоянно крашится, хоть лимиты выставили/рестартили поды и тд...ничего не помогает. Однако, заметили что когда чистишь wal и рестартишь пром... он работает часов 10-15.

крашится по ООМ ? если да , только увеличение лимитов по памяти ну возможно шаманство с ретеншеном до минимальных и настройка remote_write.

источник

22:33пожаловаться #5

АП

Андрей Петров... in OpenShift - русскоязычное сообщество

Хотя remote_write увеличивает потребление ОЗУ

источник

22:34пожаловаться #6

BB

Boriss Borisovich in OpenShift - русскоязычное сообщество

Андрей Петров

крашится по ООМ ? если да , только увеличение лимитов по памяти ну возможно шаманство с ретеншеном до минимальных и настройка remote_write.

Да, лимиты с 70гигов до 160 увеличивали, уменьшали... инфра ноды m5.12xlarge... и хоть бы хрен

источник

22:34пожаловаться #7

АП

Андрей Петров... in OpenShift - русскоязычное сообщество

а точно прометей разжирается до таких объемов ? может что-то еще потребляет и его убивает как самого жирного ?

источник

22:39пожаловаться #8

BB

Boriss Borisovich in OpenShift - русскоязычное сообщество

Именно пром

источник

22:40пожаловаться #9

АП

Андрей Петров... in OpenShift - русскоязычное сообщество

У нас вот такое было https://access.redhat.com/solutions/5685771 но тут 4.6

Red Hat Customer Portal

OCP nodes crashes and get NotReady being completely inaccessible - Red Hat Customer Portal

Nodes in NotReady state and crash, possible getting OOMKilled errors and being completely inaccessible when trying to access them via SSH for example.

источник

22:40пожаловаться #10

BB

Boriss Borisovich in OpenShift - русскоязычное сообщество

Прям страшно смотреть сколько он жрет порой

источник

22:40пожаловаться #11

АП

Андрей Петров... in OpenShift - русскоязычное сообщество

надо попробовать обновить прометей, может бага есть

источник

22:46пожаловаться #12

АП

Андрей Петров... in OpenShift - русскоязычное сообщество

прикинуть на интернет калькуляторах сколько он должен жрать, может у вас очень много метрик

источник

22:47пожаловаться #13

BB

Boriss Borisovich in OpenShift - русскоязычное сообщество

А про джобу реально?

источник

22:48пожаловаться #14

АП

Андрей Петров... in OpenShift - русскоязычное сообщество

wal ему нужны

источник

22:48пожаловаться #15

АП

Андрей Петров... in OpenShift - русскоязычное сообщество

их нельзя удалять по хорошему

источник

22:48пожаловаться #16

АП

Андрей Петров... in OpenShift - русскоязычное сообщество

уменьшите ретеншен до часов

источник

22:48пожаловаться #17

АП

Андрей Петров... in OpenShift - русскоязычное сообщество

например до 5 часов

источник

22:49пожаловаться #18

BB

Boriss Borisovich in OpenShift - русскоязычное сообщество

Редхаты посоветовали чистить вал :)

источник

22:49пожаловаться #19

VR

Vadim Rutkovsky in OpenShift - русскоязычное сообщество

Boriss Borisovich

Есть ли возможность в OCP v4.4 как-нибудь настроить job/cronjob, чтобы чистилась папка wal в prometheus-k8s-0/prometheus-k8s-1 подах?

У нас пром постоянно крашится, хоть лимиты выставили/рестартили поды и тд...ничего не помогает. Однако, заметили что когда чистишь wal и рестартишь пром... он работает часов 10-15.

https://bugzilla.redhat.com/show_bug.cgi?id=1925061?

источник

22:52пожаловаться #20