Телеграмм чат группы metrics

Size: a a a

Церковь метрик

2618 membersпожаловаться на группу

2020 August 17

Andor in Церковь метрик

Konstantin Zamyakin

всё ок, одна серия, но вот именно в апи алертменеджера два абсолютно одинаковых алерта

И дата одна?

источник

14:13пожаловаться #1

Konstantin Zamyakin in Церковь метрик

Максим Кнышов

Поиграйтесь этими запросами в той же графане - в результатах в момент алерта будут две строки.

Нужно избавиться от отличающихся меток, свернуть результаты запроса, делайте sum (without ..)

не-не, спасибо за совет, это слегка более сложная проблема. я достаточно нормально ориентируюсь в проме/промкл, чтобы просто не суметь лейблы сагрегировать

источник

14:13пожаловаться #2

Konstantin Zamyakin in Церковь метрик

Andor

И дата одна?

вот тоже подумал что может условно на секунду различаться

источник

14:13пожаловаться #3

Andor in Церковь метрик

И прометей один?

источник

14:13пожаловаться #4

Andor in Церковь метрик

И все лейблы точно одинаковые

источник

14:13пожаловаться #5

Konstantin Zamyakin in Церковь метрик

да, конечно

источник

14:13пожаловаться #6

Konstantin Zamyakin in Церковь метрик

прометея два абсолютно одинаковых

источник

14:14пожаловаться #7

Konstantin Zamyakin in Церковь метрик

короче, триггернул алерт, щас принесу вывод апи алертменеджера

источник

14:20пожаловаться #8

Vladislav 👻 Shishkov... in Церковь метрик

Оба прома засинканы на один нтп?

источник

14:21пожаловаться #9

Konstantin Zamyakin in Церковь метрик

да, с этим всё строго

источник

14:21пожаловаться #10

Konstantin Zamyakin in Церковь метрик

ну вот, короче

источник

14:31пожаловаться #11

Konstantin Zamyakin in Церковь метрик

https://cdn.weblab.pro/8rmea.png

источник

14:31пожаловаться #12

Konstantin Zamyakin in Церковь метрик

лейблы точно одинаковые, там просто палево всякое местами, поэтому замазал

источник

14:31пожаловаться #13

Konstantin Zamyakin in Церковь метрик

https://gist.github.com/sc0rp10/9455e60d2a6934c0f94ed4b70483e02d

Gist

alerts.json

GitHub Gist: instantly share code, notes, and snippets.

источник

14:35пожаловаться #14

Konstantin Zamyakin in Церковь метрик

вот вывод апишки алертменеджера /api/v2/alerts/groups?silenced=false&inhibited=false&active=true

источник

14:35пожаловаться #15

МК

Максим Кнышов... in Церковь метрик

два алерта с одинаковым fingerprint? O_o

источник

14:57пожаловаться #16

Konstantin Zamyakin in Церковь метрик

ага

источник

15:01пожаловаться #17

Konstantin Zamyakin in Церковь метрик

обновление не помогает, ситуация такая достаточно давно

источник

15:01пожаловаться #18

Konstantin Zamyakin in Церковь метрик

duplicate alerts for "Not grouped" alerts

if the alert is not grouped(don't have job label), there maybe a duplicate alert.

источник

15:14пожаловаться #19

manefesto in Церковь метрик

Пытаюсь настроить алерты на LA
Точнее так
Если текуший LA разделенный на количество ядер >1 то бить алерт
Но почему то вот такой запрос ничего не возвращает

node_load1{instance="node1"} / count(node_cpu_seconds_total{instance="node1",mode="system"})

источник

16:46пожаловаться #20