Вам нужно установить параметер send_resolved true

Это resolve_timeout: ?

Теперь нашёл. Спасибо

Всем привет. Добавил в прометей новый дополнительный лейбл. Лейбл появился с момента как я его добавил. Можно сделать чтобы этот лейбл был за весь период хранения метрик? Т.е. можно пометить этим леблом, предыдущие дни как, когда этого лейбла не было?

А я правильно понимаю что в alertmanager-bot (который для отправки в телеграм) все параметры (токен, пути, адреса) прописываются в env? Через export

если металмейз, то там и конфиг мона

Не понял. Видимо нет такого

Я вот только поставил Go и выполнил GO111MODULE=on go get github.com/metalmatze/alertmanager-bot/cmd/alertmanager-bot

я спутал с другим, сорян.

с этим https://github.com/inCaller/prometheus_bot

А какой из них лучше?

я металмейз не понял и не осилил, обратной связи мне не надо

Хм, что-то не заработало. Но не понимаю что не так.

В env я прописал TELEGRAM_ADMIN=*id моего личного аккаунта* и TELEGRAM_TOKEN=*токен моего бота*

В prometheus.yml:
rule_files:
 # - "first_rules.yml"
 # - "second_rules.yml"
   - "alert.rules.yml"
   - "telegram.rules.yml"

В telegram.rules.yml:
groups:
- name: ExporterDown
 rules:
 - alert: NodeDown
   expr: up{job='Node'} == 0
   for: 1m
   labels:
     severity: Error
   annotations:
     summary: "Node Explorer instance ($instance) down"
     description: "NodeExporterDown"

В alertmanager.yml:

route:
 group_by: ['alertname', 'instance', 'severity']
 group_wait: 10s
 group_interval: 10s
 repeat_interval: 1h
 receiver: 'web.hook'

   - receiver: alertmanager-bot
     match:
       alertname: InstanceDown

receivers:
- name: alertmanager-bot
 webhook_configs:
 - send_resolved: true
   url: 'http://alertmanager-bot:8080'

Я правда не указывал TEMPLATE_PATHS, но их вроде и не обязательно, если нужны дефолтные. В чем может быть проблема?

И не очень понятно как работает url из receivers. Если смотреть порты через  sudo lsof -i -P -n | grep LISTEN, то там нет 8080

нет. прометей append only db

старые данные даже если они старые на 10 минут поправить нельзя

Ясно, спс.

Ребята, привет, не подскажите как сделать чтобы у прометеус отправлял алерты в локальной временной зоне а не  UTC + 0?

хм, я сделал через InCaller там можно по юрлу передеавать ид канала