Ещё автоматизации вопрос к сообществу:

Кто-нибудь использует алерты в графане?
Выглядит полезным :)

Я тут анализируя один релиз, потратил неделю на поиск причины проблем.
И нашёл проблему в банальном месте (время отклика дисковой подсистемы), а  много времени ушло потому, что за прошлые года часто туда лазал и проблем там ни разу не было, вот и не проверял сейчас до последнего.

И теперь у меня вопрос:
Как лучше настроить триггеры?

Во-первых, что не радует сразу: вот эта линия с обозначением триггеров, которую сложно отличить от одной из линий метрик на графике. Ещё и с заливкой сверху!

Второе: оповещения:
С одной стороны их нужно получать.
С другой стороны, если их слишком много, мозг их вообще игнорирует. Так что я точно не хочу отправлять их в почту.
А интернет на стенде закрыт, так что в отдельный канал телеграма тоже не получится.

Классно было бы выводить их на отдельную панельку Графаны. Так кто-то делал?
вроде можно тэгами попробовать...

Тоже думал как нибудь попробовать)) если сделаешь это раньше, напиши впечатления

ну если только с целью не тыкаться по всем графикам в поисках того что не так, а так будет интересно личный опыт узнать, так что поддерживаю пиши

> ну если только с целью не тыкаться по всем графикам
именно с этой целью, да.

Чем больше опыта, тем больше разных источников информации.
И вот ты уже добавляешь на дашборд 100500й график, который когда-то (2.5 года назад кажется выдал что-то критично полезное, но с тех пор не выстреливал ни разу и ты перестал проверять его уже 2 года как, но всё ещё добавляешь на дашборд на всякий случай)

на продовских мониторингах с той целью и настроено всяко, админам ходить и смотреть тонны графиков регулярно точно впадлу))

Сейчас вот ради теста за 5 минут настроил отсылку алертов в телеграм.
я ботов ни разу не делал - в графане всё встроено :)

Это реально очень просто делается, так что если у вас на стенде интернет есть и СИБ ничего не оторвёт - рекомендую.
Главное, не шлите СЛИШКОМ много инфы.

одна проблема, сколько было контуров все они на внешку закрыты, только спамить в почту

покажи как выглядит сообщения о алерте

интересно какое инфо там

[Alerting] Test notification
State: Test notification
Message: Someone is testing the alert notification within Grafana.
URL: http://localhost:3000/

Metrics:
High value: 100.000
Higher Value: 200.000

это я после настройки телеграм-оповещений нажал на кнопку "Тест" :)

я ж не могу это на реальном контуре настроить, там инет урезан.
Дома пустую графану с телеграфом запустил

High value это точка после которой алерт срабатывает? а Higher Value сколько было в момент отправки?

вот о том и речь) контур с инетом еще не попадался)

В алерте настраивается красиво:
Если метрика из запроса А превышает пороговую величину X в течение 3 минут...

ну в течении это хорошо, от скачков избавит

нашел в VuGen интеграцию с Git. Кто в курсе, как ею пользоваться?  Ощущение, что VUgen для каждого сценария создает отдельный гит репозиторий