Только речь вероятно не про пушгейтвей а про statsd_exporter

ну и да. про сокеты, это конечно романтическая история, вот прям можно в приложение залезть, но совсем не про современный девопс с привычными для всех правилами игры

Честно говоря я так и не догнал, посчитал руками кол-во срабатываний за час и оно не сходится, сошлось только для

topk(10, sum by(alertname) (increase(ALERTS{alertstate="firing"}[1h])) > 0)

о чем вы в начале и писали, спасибо

Привет.

Есть проект №1 в докер-композе,  где каждый сервис экспортирует метрики в прометеус. Прома в этом проекте нет и порт куда экспортируются метрики не выставлен.
Есть другой докер-компоуз проект №2 (тулсет), где есть пром. Там сервис прома подключается к сети проекта выше, чтобы забирать себе метрики.

Вопросик. Сервисов в проекте №1 много и хочется сервис-дисковери в проме. Почитал, что есть в проме и вроде как ничего не подходит. Точнее я не очень понимаю как оно работает. Возможно ли через docker_sd_config осуществить то, что я хочу?

вам нужно мониторить софт в докерах или ресурсы докера с софтом в целом? тут определиться нужно

registrator + consul

Софт в докерах. Приложение в докере экспортит метрики (не докера, для этого есть cadvisor в тулсете).

а в проме consul_sd_config

Это все для локальных тестов требуется, запускаешь два компоуз-проекта и поехал. Консул чет выглядит сурово.

Я думал через docker_sd_config но не пойму эта хрень завязано на метрики докера как-то или просто хосты находит.

Это в сворме?

Это чистый докер, но там нет документации и в интернетах 1.5 человека это пробовали. Выглядит не очень.

Для использования  docker_sd_configs, нужно:
1) port должен быть expose в dockerfile или published через docker --p
2) у prometheus должен быть доступ к этому порту.

Через relabeling можно отфильтровать нужные порты и сервисы.

Похоже что в вашем сетапе нужно устанавливать prometheus на каждом хосте и отправлять собранные метрики через remote_write в центральный storage. У prometheus появилась поддержка эксперементальная для push в него через remote_write. Ну или использовать какой-то другой совместимый сторадж.  

Так же можно посмотреть в сторону vmagent, он для этого кейса похоже, больше подходит и поддерживает sd, как и prometheus.

Спасибо, касательно портов в доке есть:

# The port to scrape metrics from, when role is nodes, and for discovered
# tasks and services that don't have published ports.
[ port: <int> | default = 80 ]

Как я понимаю для не exposed можно указать свой порт и если они (пром и контейнеры) будут в одной сети, то должно сработать.

народ, а кто знает, можно в графане oauth груп маппинг  на тенанты провешивать?

или только в ентерпрайзе?

А тенанты чего?

Всем привет. А по правилам прометеуса вопросы сюда или не тот чат?

Да

Орги графаны