SC
скопировать файлы алертов, в которых они определены напимер
Size: a a a
2020 May 13
SC
даже написано какие алерты в каких файлах
SC
ну тогда заходишь в <prom>/rules и копипастишь
S
добрый вечер, а кто сталкивался с такой проблемой в проме?
omponent=tsdb msg="head GC completed" duration=10.822174155s
level=warn ts=2020-05-13T17:02:22.188Z caller=scrape.go:972 component="scrape manager" scrape_pool=vts_md_usa target=http://ip:80/status msg="append failed" err="expected label name, got \"INVALID\""
level=info ts=2020-05-13T17:02:22.488Z caller=head.go:731 component=tsdb msg="WAL checkpoint complete" first=809 last=825 duration=32.605496873s
level=warn ts=2020-05-13T17:02:53.257Z caller=scrape.go:972 component="scrape manager" scrape_pool=vts_md_usa target=http://ip:80/status msg="append failed" err="expected label name, got \"INVALID\""
и тупо в статус DOWN уходят в таргетах и метрики после этого не шлются((
omponent=tsdb msg="head GC completed" duration=10.822174155s
level=warn ts=2020-05-13T17:02:22.188Z caller=scrape.go:972 component="scrape manager" scrape_pool=vts_md_usa target=http://ip:80/status msg="append failed" err="expected label name, got \"INVALID\""
level=info ts=2020-05-13T17:02:22.488Z caller=head.go:731 component=tsdb msg="WAL checkpoint complete" first=809 last=825 duration=32.605496873s
level=warn ts=2020-05-13T17:02:53.257Z caller=scrape.go:972 component="scrape manager" scrape_pool=vts_md_usa target=http://ip:80/status msg="append failed" err="expected label name, got \"INVALID\""
и тупо в статус DOWN уходят в таргетах и метрики после этого не шлются((
AS
добрый вечер, а кто сталкивался с такой проблемой в проме?
omponent=tsdb msg="head GC completed" duration=10.822174155s
level=warn ts=2020-05-13T17:02:22.188Z caller=scrape.go:972 component="scrape manager" scrape_pool=vts_md_usa target=http://ip:80/status msg="append failed" err="expected label name, got \"INVALID\""
level=info ts=2020-05-13T17:02:22.488Z caller=head.go:731 component=tsdb msg="WAL checkpoint complete" first=809 last=825 duration=32.605496873s
level=warn ts=2020-05-13T17:02:53.257Z caller=scrape.go:972 component="scrape manager" scrape_pool=vts_md_usa target=http://ip:80/status msg="append failed" err="expected label name, got \"INVALID\""
и тупо в статус DOWN уходят в таргетах и метрики после этого не шлются((
omponent=tsdb msg="head GC completed" duration=10.822174155s
level=warn ts=2020-05-13T17:02:22.188Z caller=scrape.go:972 component="scrape manager" scrape_pool=vts_md_usa target=http://ip:80/status msg="append failed" err="expected label name, got \"INVALID\""
level=info ts=2020-05-13T17:02:22.488Z caller=head.go:731 component=tsdb msg="WAL checkpoint complete" first=809 last=825 duration=32.605496873s
level=warn ts=2020-05-13T17:02:53.257Z caller=scrape.go:972 component="scrape manager" scrape_pool=vts_md_usa target=http://ip:80/status msg="append failed" err="expected label name, got \"INVALID\""
и тупо в статус DOWN уходят в таргетах и метрики после этого не шлются((
Конфиг джобы?
AS
Ну и у promtool есть валидация метрик
AS
Лукс гуд. Значит nginx отдал синтаксически не корректные данные. С этим поможет промтул
S
Лукс гуд. Значит nginx отдал синтаксически не корректные данные. С этим поможет промтул
error while linting: text format parsing error in line 50391: unexpected end of label value "/"
а из-за чего такое возникнуть может?😳
а из-за чего такое возникнуть может?😳
S
я с vts модуля забираю напрямую прометеем
PG
Не экранированный символ
На основании чего у вас лейблы формируются?
На основании чего у вас лейблы формируются?
AS
error while linting: text format parsing error in line 50391: unexpected end of label value "/"
а из-за чего такое возникнуть может?😳
а из-за чего такое возникнуть может?😳
Пробел в лейбле?
S
Не экранированный символ
На основании чего у вас лейблы формируются?
На основании чего у вас лейблы формируются?
nginx_vts_filter_requests_total{direction="4xx",filter="uris::domain.com",filter_name="/tds/int",instance="ip:80",job="vts_md_australia"}
но с этой джобой порядок( проблема в двух другихя ниче не делаю, просто прихожу промом к нжинксу и забираю всё что у него есть в vts модуле
S
Пробел в лейбле?
каким образом он там мог появится? и почему тогда это не повсеместно?(
S
одна джоба 1/2, другая 0/2, третья вообще 2/2
S
сделал promtool debug metrics http://ip:80/status
открыл файл metrics.txt и перешел на строку номер 67329
там такое, ничего критичного абсолютно😐😐😐
открыл файл metrics.txt и перешел на строку номер 67329
там такое, ничего критичного абсолютно😐😐😐
nginx_vts_filter_bytes_total{filter="uris::domain.com",filter_name="/fg/s/e29011fc0f5b3ff3da9a2baf9a2e1189",direction="in"}AS
а не положили ли вы uri в filter_name ?
S
а, забавно))) оно каждый раз если чекать promtool, смещается, зашибись...
S
а не положили ли вы uri в filter_name ?
у меня такое в http блоке нжинкса:
vhost_traffic_status_filter_by_set_key \$uri uris::\$server_name;