Крутяк!

как и во всем прометее

42 ?

Ну не скучное же “Initial commit” писать)

Если писать 42 значит это последний коммит )

Это, конечно, злостный оффтоп, но я только недавно пересматривал фильм и категорически не согласен: это было лишь начало)

Всем привет, первый раз передо мной стоит задача замониторить "траффик" . Конкретно сейчас разбираюсь с его количеством на примере "активных соеденений" и хочется сделаеть алерт, если их ВНЕЗАПНО стало слишком мало или слишком много

Речь про AWS ELB и Grafana/Prometheus

ELB много и трафик на них разный, под каждый вручную настраивать не вариант, думаю над универсальным правилом каким-то

1) Есть у кого опыт/мнение, использовать ли Datasource Cloudwatch для этой этой задачи сразу в Grafana или использовать для прометея CloudWatch exporter?

2) Какие вообще best practice есть (можно ссылку или запрос в гугл) для такого мониторинга? Я далеко не дата аналитик и у меня в голове только что-то вроде "текущее значение - предыдущее значение, алерт если эта разница больше среднего значения за промежуток между измерениями"

3) Стоит ли alert сам делать в Grafana + CloudWatch, Grafana + Prometheus (exporter) или только через Prometheus alert ?


По любому из вопросов если хоть какие-то идеи накинете или вообще с чем лучше ознакомиться, какой в гугл запрос послать скажите, буду благодарен

а кто то пробовал мониторить состояния подов в кубе и делать алерты скажеем на ООМ статус? чет репу почесал - не помню чтобы такая метрика вообще существовала, есть какие то способы ее собирать без большого количества костылей?

kube-state-metrics, вроде, репортит oom-ы (хоть и довольно топорно). Или тебе надо именно по-pod-ово?

node_vmstat_oom_kill

это же тупо счетчик, а не мониторинг статуса

А что ты подразумеваешь под "мониторингом статуса"?

да, у меня немного нестандартное юзание куба и нет постоянных релизов с постоянными апдейтами рестартами подов, поды в массе своей статичные, и нужно лишь знать что под был убит ООМ

да счетчик. увеличивается кажды раз когда что-то было убито по oom

у приложений есть по 6-8 статусов обычно
вроде
RUNNING
READY
WAITING
STOPPED
TERMINATING и тому подобные
хочу получать алерт в слаку когда под перейдет в статус OOM

счетчик бесполезен и не помогает детектить кто умер

kube_pod_status_phase там есть статус пода

Можешь написать свой экспортер, который поллит значение из cgroup-ы или юзает oom_control для подписки на событие
https://access.redhat.com/documentation/en-us/red_hat_enterprise_linux/6/html/resource_management_guide/sec-Using_the_Notification_API

я это понимаю, я про сами правила имею ввиду
я правильно понимаю что эту метрику должен давать kube-state-metrics?

скажем на обычной локальной инфре в прошлом на проекте я имел supervisord над приложениями, у Node exporter был модулек под него, и можно было читать статусы приложений
вот чет такое искал