потестил Grafana & VictoriaMetrics – шустренько после кибаны 🙂 но блин без алертов жить невозможно, а alert manager с его алертами определенными в коде, это мягко говоря велосипед. хех, блеск и нищета опенсорса

эм, а как вы хотите определять алерты?

Мышкой

Сейчас вас за фразу, что  алерты в коде - это стремный велосипед - забьют палками

infrastraction as a code это круто 🙂 но кажется мне с алертами это немного не тот случай

они пишутся один раз и навсегда, фактически даже уже не пишутся

потому что написаны

чем они (алерты) отличаются, что их использовать как код не комильфо?

если выйти за рамки “сервер лежит / сервис сожрал больше Х"

то как вообще без "кода" можно сделать?

есть алерты в графане

в графане они не хотят работать если в дашборде есть переменные, пол интернета плача на эту тему

перейдите на пуш мониторинг, там есть алертинг - moira, можете мышкой потыкать

https://www.youtube.com/watch?v=Big_niMxQJ4&t=3s вот тут интересно сделано ) но это кибана-боль

мойра и с промом работает

о как, а как?

если просто ответить то перед тем как писать рул - хотелось бы иметь больше данных - графы там, аномалии итп; search guard (кстати бесплатный) это делает норм, но к сожалению с эластиком, который собирая простейщие метрики съедает у меня примерно 15гб за сутки ) с жалких 50 виртуалок. и это я еще ограничил сбор до 1м-5м-15м; с victoriametrics не сравнить. ладно сравнивать тут конечно нечего - струкутра данных совсем другая, да и диск не такая уж проблема, но все же.

точно помню что была активная работа что бы датасорс прома поддерживать, не знаю в каком состоянии сейчас, но когда тестил оно как-то работало

попробуйте Hastic, он поможет найти аномалии