а зачем?

Я же правильно понимаю, что когда нода меняется на бэкап, то значение метрики переключается на 2?

ну переключился балансер и ладно

Ага

influxdata/kapacitor tagged: v1.6.0-rc0
Link: https://github.com/influxdata/kapacitor/releases/tag/v1.6.0-rc0
Release notes:

chore: add to default config ([#2561](https://github.com/influxdata/kapacitor/pull/2561))

Co-authored-by: J. Emrys Landivar <landivar@gmail.com>

go-graphite/carbonapi tagged: v0.15.4
Link: https://github.com/go-graphite/carbonapi/releases/tag/v0.15.4
Release notes:

*   [Fix] zipper requests net error (encapsulated) (thx to [@msaf1980](https://github.com/msaf1980))
*   [Fix] preserve original points for some functions (thx to [@msaf1980](https://github.com/msaf1980))
*   [Fix] aliasByNode: strip function in name...

More

так работает, но вот когда нода ставшая на некоторое время Мастером (значение 1), когда снова становится Бакапом (значение 2), то уведомление об этом висит постоянно.

Добрый день!
Прошу подсказать мне, в каком направлении искать решение.
Есть кластер Openshift, мониторинг которого представлен из коробки, насколько я понимаю (Prometheus).
Кластер находиться в контуре, в  котором я не могу влиять на конфиг Прома и вообще что либо настраивать( но имею доступ к веб-морде их Prometheus).
Было принято решение, использовать функционал federation, что я собственно и сделал.
В качестве таргета на нашем Prom сервере появился адрес "кластерного прома".
Но если смотреть на метрики которые собирает наш Prom, мы увидим только prometheus_sd_kubernetes_events_total

Ок, я исходил из той логики, что если добавлю сторонний Prometheus сервер в федерацию, то соответственно смогу получить с него все метрики.

Посмотрел что прописано в таргетах на кластерном(стороннем) Prometheus:

alertmanager-main (3/3 up)
apiserver (3/3 up)
cluster-monitoring-operator (1/1 up)
kube-controllers (3/3 up)
kube-state-metrics (2/2 up)
kubelet (18/18 up)
node-exporter (9/9 up)
prometheus-k8s (2/2 up)
prometheus-operator (1/1 up)

Т.е. чтобы собирать все метрики, которые собирает сторонний Prometheus, мне требуется каждый из его таргетов добавить в свои таргеты?
Тогда в чем смысл федерации?

Буду признателен за совет.

у вас в джобе которая делает федерацию какой стоит фильтр ?

федерация придумана что бы из клиентского прома тащить не большой скоп метрик. если вы таким образом хотите вытащить все у вас будут проблемы

но сейчас всё довольно просто. вам нужно сделать такой фильтр под которым на клиентском проме будут попадать все метрики

Спасибо, как-то не догадался посмотреть в сторону фильтра. Сейчас буду фиксить.

А нет случайно заготовок статей, где про это прочитать?

Спасибо ещё раз, ознакомлюсь.

Ребята, привет! А есть какие-то инструменты для работы с тестовыми данными во время настройки виджетов? Мне нужно сделать виджет в Графане (количество успешных реквестов сгруппированных по дням), и пока мой следующий шаг - сделать какой-то эндпоинт, который будет рандомно делать пачки этих реквестов, чтоб я в локальных графане-прометеусе мог пробовать разные квери.

и что вас останавливает? 🙂

Ничего, просто вдруг есть какие-то тулзы которым можно сказать "а вот сгенерируй N запросов каждые 10 секунд". А то я с Графаной очень на вы, и инфраструктуры не знаю

Добрый день!
В текущей конфигурации Prometheus из k8s отправляет данные в Victoria Metrics.
Подскажите, пожалуйста, какое правило написать для vmalert для алерта на случай отсутствия данных от Prometheus?