Size: a a a

Церковь метрик

2021 February 18

[K

[IPT] Dmitry Knyazev in Церковь метрик
я планирую начать использовать victoria metrics в качестве дополнительного архивного хранилища существующего алертинга prom. сначала запущу небольшой пилот, но хотелось бы по максимуму продумать удобную масштабируемую схему основываясь на чужом опыте и ошибках
источник

AS

Aleksey Shirokikh in Церковь метрик
запускай всё штуки на одном сервере. памяти только оставь свободной нормально с запасом иначе квери будут часто идти в диск.
источник

AS

Aleksey Shirokikh in Церковь метрик
потом принимай решение о разнесении. скорее всего первым уедет инсерт
источник

[K

[IPT] Dmitry Knyazev in Церковь метрик
я всё таки вижу, что они все разъедутся в итоге. есть смысл делать вместе, чтобы потом разводить?
источник

AS

Aleksey Shirokikh in Церковь метрик
Мы к себе в команду в https://www.semrush.com ищем человека заниматься направлением мониторинга и всяческого обсервабилити. Вилки в компании нету. Сейчас Питер(конечно возможна удалёнка), с прицелом на переезд в Прагу.
Писать мне в приват.
источник

VW

Vladislav Winkler in Церковь метрик
Коллеги, доброго времени суток. Полез знакомиться с Grafana Loki и застрял на попытке заставить его слать алерты в Alertmamager.
Тестовое правило /etc/loki/rules/rule.yaml
groups:
 - name: TEST-ERR
   rules:
   - alert: TEST-ERR Occured
     annotations:
       message: "TEST-ERR occured"
       expr: sum by (host)(count_over_time({host="GDC"}[5m])) > 0
     for: 1m
     labels:
       severity: critical
Конфигурация ruler:
ruler:
 storage:
   type: local
   local:
     directory: /etc/loki/rules/
 rule_path: /etc/loki/scratch/
 alertmanager_url: http://loki.testserver.local:9093
 ring:
   kvstore:
     store: inmemory
 enable_api: true
 enable_alertmanager_v2: true

Логов валится около 5к записей в минуту. Loki запускаю от sudo, /etc/loki - 777 права рекурсивно. Может есть у кого пример живой конфигурации или совет, как заставить эту связку работать?
источник

AN

Artem Navoiev in Церковь метрик
[IPT] Dmitry Knyazev
Какой оптимальный сайзинг? 2 vm nginx vrrp select + 2 vm vmselect + 2 vm vmstorage + 2 vm vminsert + 2 vm nginx vrrp insert?
в кластере лучше стартовать от двух инстансов каждого типа (можно и больше) просто по причине того что это распределенная система
источник

S

Slach in Церковь метрик
Vladislav Winkler
Коллеги, доброго времени суток. Полез знакомиться с Grafana Loki и застрял на попытке заставить его слать алерты в Alertmamager.
Тестовое правило /etc/loki/rules/rule.yaml
groups:
 - name: TEST-ERR
   rules:
   - alert: TEST-ERR Occured
     annotations:
       message: "TEST-ERR occured"
       expr: sum by (host)(count_over_time({host="GDC"}[5m])) > 0
     for: 1m
     labels:
       severity: critical
Конфигурация ruler:
ruler:
 storage:
   type: local
   local:
     directory: /etc/loki/rules/
 rule_path: /etc/loki/scratch/
 alertmanager_url: http://loki.testserver.local:9093
 ring:
   kvstore:
     store: inmemory
 enable_api: true
 enable_alertmanager_v2: true

Логов валится около 5к записей в минуту. Loki запускаю от sudo, /etc/loki - 777 права рекурсивно. Может есть у кого пример живой конфигурации или совет, как заставить эту связку работать?
источник

VW

Vladislav Winkler in Церковь метрик
Спасибо, отпишусь туда
источник

G

GithubReleases in Церковь метрик
VictoriaMetrics/VictoriaMetrics tagged: v1.54.0
Link: https://github.com/VictoriaMetrics/VictoriaMetrics/releases/tag/v1.54.0
Release notes:
### Changes

*

FEATURE: optimize searching for matching metrics for `metric{<label_filters>}` queries if `<label_filters>` contains at least a single filter. For example, the query `up{job="foobar"}` should find the matching time series ...
More
источник

AP

Anatoly Pugachev in Церковь метрик
ладно, возвращаясь к нашим “баранам”, кто-нибудь знает может prometheus отдает количество своих метрик (без лейблов) где-нибудь?  аналог запроса promQL count({__name__=~".+"})

PS: ну и плюсом будет если такой же запрос на количество уникальных лейблов в базе
источник

AS

Aleksey Shirokikh in Церковь метрик
Хотите срачик про докер делайте это метриками.
источник

AS

Aleksey Shirokikh in Церковь метрик
Тут про метрики
источник

AS

Aleksey Shirokikh in Церковь метрик
Anatoly Pugachev
ладно, возвращаясь к нашим “баранам”, кто-нибудь знает может prometheus отдает количество своих метрик (без лейблов) где-нибудь?  аналог запроса promQL count({__name__=~".+"})

PS: ну и плюсом будет если такой же запрос на количество уникальных лейблов в базе
Нет. Но можно оценить через sum(samples_scraped_sample)
источник

AP

Anatoly Pugachev in Церковь метрик
Aleksey Shirokikh
Нет. Но можно оценить через sum(samples_scraped_sample)
эмм.. на samples_scraped_sample не гуглится
источник

AS

Aleksey Shirokikh in Церковь метрик
Anatoly Pugachev
эмм.. на samples_scraped_sample не гуглится
С телефона не удобно, но там начало точно samples_  дальше мог наврать
источник

AP

Anatoly Pugachev in Церковь метрик
Aleksey Shirokikh
С телефона не удобно, но там начало точно samples_  дальше мог наврать
нет ничего похожего =(
источник

AS

Aleksey Shirokikh in Церковь метрик
Это метрика не тут
источник

AS

Aleksey Shirokikh in Церковь метрик
Она будет в морде и она per job
источник

AP

Anatoly Pugachev in Церковь метрик
per job не подходит… надо суммарно по прометею - собираюсь на zabbix его мониторить
источник