вопрос по графане. Как можно модифицировать переменную типа datasource в дашборде? regex modify не работает

В чате clickhouse человек заливал 165к message в секунду из кафки

чудо произошло, удалось скомпилить наш боевой нижнкс локально, повозиться чутка пришлось, но не суть

вижу по урлу /status/format/prometheus например такие метрики:
nginx_vts_server_requests_total{host="test.com",code="1xx"} 0
nginx_vts_server_requests_total{host="test.com",code="2xx"} 8
nginx_vts_server_requests_total{host="test.com",code="3xx"} 3
nginx_vts_server_requests_total{host="test.com",code="4xx"} 6
nginx_vts_server_requests_total{host="test.com",code="5xx"} 0
nginx_vts_server_requests_total{host="test.com",code="total"} 17

у меня вопрос как раз был в чем, возможно увидеть в подобных метриках обращение не просто на целевой домен, а на test.com/blabla например? и чтоб при этом я видел по ним 4хх или 5хх?

Filter и map

это в vts?Оо

Это в nginx

ну посредством vts? то есть в этом локейшене обработка происходит

Сейчас заметил что телеграф шлёт метрики по-другому, у него не wmi_*, а win_* и в остальном много отличий. А как по этим данным теперь графики строить? Нужно смотреть описания для каждой метрики и самому писать запросы в grafana?  Борда 2129  не понимает метрик телеграфа и даже сервер не видит, борда 4755 требует установки influxdb + prometheus. Но вроде как influxdb это не очень круто?

добро пожаловать в мир телеграфа

В каждом локейшене сетите переменную

По этой переменной делаете фильтр

В принципе без телеграфа было то же самое, огромный список непонятных WMI и ручные запросы для графиков в Grafana. Одна борда, которая не подходила под потребности. Вообще мне начинает казаться что prometheus подходит только для кубера и докера.

Это зря.. У меня кубера нет. Выкинул заббикс, вкрутил prometheus год-два назад. Нравится. Очень. Железки, винды, линуксы, самописного маленько. Дашборды сам рисовал. И алертинг тоже сам делал. PromQL быстро вкуривается в таких условиях. И графана. И питон ещё...

- job_name: 'nginx-vts'
   static_configs:
   - targets:
     - 'test.com/status'

разве не о таком методе речь шла? касательно отрисовки в прометее
ругается на syntax error

Спасибо, звучит воодушевляюще. PromQL вроде не особо сложный, но как разобраться в этих wmi, win? Просто искать нужные значения среди всех? А питон как используте в этой связке?

Собстна, прелесть Prometheus в том, что самому можно без специальных приспособлений посмотреть какие метрики будут забираться с экспортера. И найти руками что нужно, да. Если плохо с идеями что должно быть на дашборде- можно глянуть на какой-нить Node Exporter Full и адаптировать запросы под те виндовые метрики, что есть. Питон для самописного. Есть приблуда, которая лопатой выгружает логи звонков астериска в бд, из которой потом разработчикам удобно эти логи манагерам показывать. Так вот у меня есть экспортер написанный на питоне который следит за статистикой этой лопаты.

Не совсем понял про посмотреть какие метрики будут забираться. Разве Prometheus не забирает всё, что ему даёт экспортер в лице wmi exporter или telegraf? А дальше в Grafana уже выбираем что выводить на экран.
Дашборд у нас уже есть крутой, у него источником является zabbix, которые собирает метрики и результаты выполнения скриптов, теперь задача сделать то же самое, но в прометее. Питон пока не знаю как у нас можно было бы задествовать, чтобы параллельно его немного изучить

А откройте в браузере экспортер.

Там будет список всех доступных метрик