У нас есть отдельная команда мониторинга 24х7, им все наши продуктовые и инфраструктурные команды отдают на мониторинг свои системы и сервисы. Это делается через декларативное описание триггеров и нотификаций под каждый такой сервис или систему. Там в требованиях, чёткое описание что делать по триггеру, а так же заполнение ответственных за эти сервисы, чтобы было понятно кого будить ночью. Ребята принимают это в работу, и проставляют свой тег MON24 на эти триггеры. После чего все уведомления по ним начинают сперва лететь к этим ребятам, а дальше они их разбирают и эскалируют на ответственных если нужно.

Чтобы канал ребят из 24х7 не разорвало от уведомлений, мы очень сильно поработали напильником чтобы научить Мойру (нашу систему алертинга) весь контекс (описание,лог изменений, доп.графики,и.т.д.) прятать в тред основного сообщения, а вместо сообщения об ОК, проставлять галочку. Таким образом количество сообщений сократилось в 2 раза, а количество строк в этих сообщениях минимум в 3

расскажи по подробнее если можно в личку)

По абзацам, тянет на статью в медиуме

а может даже на чём-нибудь приличном

Хабр не торт, медиум не приличный, где приличнее?)

вопрос, как вы добавляете что-то новое в мониторинг? Пишите роли Puppet/Ansible перед разворачиванием сервера на каждый вид вещей которые надо замониторить? Как у вас построен этот процесс?(graphite+grafana+moira)

смотря чем мониторить

graphite+grafana+moira

это я не помогу)