просто есть дежурные, если речь об реагировании

дело не столько в том, кто будет это разгребать, а в том, что постоянно разрастается не только конфигурация но и количество каналов уведомлений, что усложняет как отслеживание, так и конфигурацию

если рулите всеми рулами, то можете завести по каналу на окружение, и туда алертовать с лейблом проекта

https://newrelic.com/resources/ebooks/effective-alerting-guide можно еще с этим ознакомится

вот в этом и вопрос
допустим у тебя 10-20 проектов по 5 окружений, как этим всем управлять)
самый простой вариант был бы кмк выделить администрирование мониторинга каждого проекта под отдельную команду, но это будет требовать как минимум выделение по одному инфраструктурщику под команду, но если проект не настолько большой чтобы туда выделять по одному человеку дополнительно, то по факту утилизовать человекочасы этого человека все равно достойно не выйдет, только деньги в трубу, а с другой стороны, если на одну инфра-тим вешать все проекты с десятками каналов, то инфра-тим повесится за все это отвечать, как минимум потому что неудобно этим управлять и неудобно следить за надлежащим реагированием на это все

ну и будет 5 каналов с кучей говна

вот, а 5 каналов с кучей говна тоже плохо, поэтому и спросил

тут как бы вопрос, что за технические алерты с проектов, что это из себя представляет

ну типичные от доступности хостов и сервисов, до каких то критических системных, в это число не входят сообщения под сиай и тп, они там не нужны, у них с отдельными каналами все ок

как делают авито, сбер, тинькоф - команда мониторинга и все такое

аутсорс девопсы тут как всегда 50/50, ибо экономия жи

но это мое имхо

тут основной вопрос, кто и как с этим в итоге работать будет, тк прилит алерт что хост лежит в условные 3 утра, в это время с ним будет кто-то разбираться? потом еще насрет каким нито ворнингами, все это потеряется

удобней всего создавать тикеты на инциденты, по ним работать, алертовать только на очень критические вещи, которые требуют вмешательства вот прям сейчас

У нас есть отдельная команда мониторинга 24х7, им все наши продуктовые и инфраструктурные команды отдают на мониторинг свои системы и сервисы. Это делается через декларативное описание триггеров и нотификаций под каждый такой сервис или систему. Там в требованиях, чёткое описание что делать по триггеру, а так же заполнение ответственных за эти сервисы, чтобы было понятно кого будить ночью. Ребята принимают это в работу, и проставляют свой тег MON24 на эти триггеры. После чего все уведомления по ним начинают сперва лететь к этим ребятам, а дальше они их разбирают и эскалируют на ответственных если нужно.

😊👍

Чтобы канал ребят из 24х7 не разорвало от уведомлений, мы очень сильно поработали напильником чтобы научить Мойру (нашу систему алертинга) весь контекс (описание,лог изменений, доп.графики,и.т.д.) прятать в тред основного сообщения, а вместо сообщения об ОК, проставлять галочку. Таким образом количество сообщений сократилось в 2 раза, а количество строк в этих сообщениях минимум в 3

с галочкой тема, ага

Когда у тебя в каждом сообщении есть подробное описание что с этим делать, то спрятать это в тред - тоже офигеть какая тема!