Прямо в веб интерфейсе прома с недавних пор вся аналитика по метрикам

что то господа братишки не вышло с регуляркой, в rules вижу ошибку - vector contains metrics with the same labelset after applying alert labels

Будет повод обновиться. По каким ключевым словам искать как это выглядит?

Status - Runtime & build information.
Все что дальше алертменеджера

всем привет
пользуюсь nginx vts модулем для прометея
скажите плиз, есть такая реализация:
   map $proxy_host $custom_uri {
   "~^(google.com)" "/unclef";
   default "/other";
   }
   vhost_traffic_status_filter_by_set_key $server_name $custom_uri;

проблема в том, что оно то работает, но помимо доменных имен мне в пром летят айпишники(ipv4/ipv6, служебный амазона и тд)
есть в nginx переменная, которую можно использовать, в случае когда был proxy_pass в конкретном server_name?

пробовал $host, $http_host одно и тоже(

а, походу всё норм.. ушли метрики, видать старые долго висели

Неплохой рецепт нашёлся здесь: https://www.robustperception.io/dropping-metrics-at-scrape-time-with-prometheus

Надо выполнить expr вроде topk(20, count by (__name__, job)({__name__=~".+"}))

https://github.com/prometheus/snmp_exporter/pull/527
допилили cbqos.

уже в свежих прометеях на статус странице такой репорт отдается

Ребят, подскажите в седьмую графану есть вариант миграции панелей с таблицами из 6й. А то после импорта в 7ю уже ничего с таблицей не сделать ничего не поломав и все приходится переделывать на трансформации  и оверрайды

не могу разобраться 🙁  что я делаю не так? есть конфиг:

scrape_configs:
  - job_name: 'self'
    consul_sd_configs:
      - server: '{{ env "attr.unique.network.ip-address" }}:8500'
        token: xxxxx-xxxx-xxxx-xxx-xxxxx
        services: []
    relabel_configs:
      - source_labels: [__meta_consul_tags]
        regex: .*,metrics,.*
        action: keep
      - source_labels: [__meta_consul_service]
        target_label: job

есть сервисы с таким тегом. “metrics” ; Конкретно 2 сервиса: node-exporter & cadvisor

$

dig metrics.cadvisor.service.consul

; <<>> DiG 9.11.3-1ubuntu1.12-Ubuntu <<>> metrics.cadvisor.service.consul
;; global options: +cmd
;; Got answer:
;; ->>HEADER<<- opcode: QUERY, status: NOERROR, id: 28931
;; flags: qr aa rd ra; QUERY: 1, ANSWER: 43, AUTHORITY: 0, ADDITIONAL: 1

;; OPT PSEUDOSECTION:
; EDNS: version: 0, flags:; udp: 4096
;; QUESTION SECTION:
;metrics.cadvisor.service.consul. IN A

;; ANSWER SECTION:
metrics.cadvisor.service.consul. 0 IN A 10.0.0.22
metrics.cadvisor.service.consul. 0 IN A 10.0.0.27
metrics.cadvisor.service.consul. 0 IN A 10.0.0.43
metrics.cadvisor.service.consul. 0 IN A 10.0.0.18
metrics.cadvisor.service.consul. 0 IN A 10.0.0.33
metrics.cadvisor.service.consul. 0 IN A 10.0.0.6
metrics.cadvisor.service.consul. 0 IN A 10.0.0.46
metrics.cadvisor.service.consul. 0 IN A 10.0.0.37
metrics.cadvisor.service.consul. 0 IN A 10.0.0.26
metrics.cadvisor.service.consul. 0 IN A 10.0.0.13
metrics.cadvisor.service.consul. 0 IN A 10.0.0.5
metrics.cadvisor.service.consul. 0 IN A 10.0.0.38
metrics.cadvisor.service.consul. 0 IN A 10.0.0.8
metrics.cadvisor.service.consul. 0 IN A 10.0.0.30
metrics.cadvisor.service.consul. 0 IN A 10.0.0.34
metrics.cadvisor.service.consul. 0 IN A 10.0.0.41
metrics.cadvisor.service.consul. 0 IN A 10.0.0.29
metrics.cadvisor.service.consul. 0 IN A 10.0.0.35
metrics.cadvisor.service.consul. 0 IN A 10.0.0.28
metrics.cadvisor.service.consul. 0 IN A 10.0.0.14
metrics.cadvisor.service.consul. 0 IN A 10.0.0.47
metrics.cadvisor.service.consul. 0 IN A 10.0.0.12
metrics.cadvisor.service.consul. 0 IN A 10.0.0.20
metrics.cadvisor.service.consul. 0 IN A 10.0.0.10
metrics.cadvisor.service.consul. 0 IN A 10.0.0.31
metrics.cadvisor.service.consul. 0 IN A 10.0.0.44
metrics.cadvisor.service.consul. 0 IN A 10.0.0.17
metrics.cadvisor.service.consul. 0 IN A 10.0.0.23
metrics.cadvisor.service.consul. 0 IN A 10.0.0.7
metrics.cadvisor.service.consul. 0 IN A 10.0.0.40
metrics.cadvisor.service.consul. 0 IN A 10.0.0.15
metrics.cadvisor.service.consul. 0 IN A 10.0.0.39
metrics.cadvisor.service.consul. 0 IN A 10.0.0.36
metrics.cadvisor.service.consul. 0 IN A 10.0.0.24
metrics.cadvisor.service.consul. 0 IN A 10.0.0.32
metrics.cadvisor.service.consul. 0 IN A 10.0.0.45
metrics.cadvisor.service.consul. 0 IN A 10.0.0.19
metrics.cadvisor.service.consul. 0 IN A 10.0.0.42
metrics.cadvisor.service.consul. 0 IN A 10.0.0.16
metrics.cadvisor.service.consul. 0 IN A 10.0.0.9
metrics.cadvisor.service.consul. 0 IN A 10.0.0.21
metrics.cadvisor.service.consul. 0 IN A 10.0.0.11
metrics.cadvisor.service.consul. 0 IN A 10.0.0.25

и хрен ничего не парсится. Хотя метрики лежат и доступны по 10.0.0.16:порт/metrics
в логах тишина, что при включенном коллекторе, что при выключенном не появляются данные. причем на днях работало с тем же конфигом.

если поломать доступ в консул (скажем убрать токен, то в логах сразу есть ошибка - мол не могу зайти в консул)

т.е. до консула добирается

в таргетах прома видно ?

к сожалению я юзаю victoriametrics ) упреждая вопрос - именно на най и работало на днях с тем же конфигом ))

не уверен что к сожалению, но в целом там так же есть endpoint targets

vmagent also exports target statuses at http://vmagent-host:8429/targets page in plaintext format.

что странно, там также тишина (пробовал через него работать, те же симптомы - если поломать досуп к консулу, ошибки есть, если досуп норм то тишина:)

остается еще вариант что консул не показывает по этому ключу данных, хотя тогда была бы 403

я когда то писал https://kb.nocproject.org/pages/viewpage.action?pageId=29982977
может подскажет