AV
походу пора вам форкать графану и пилить как хочу
Пошел делать VictoriaGrafana :)
Size: a a a
2020 June 04
AS
Пошел делать VictoriaGrafana :)
Снова коллизия сокращения. Будут путать с volume group
AS
Хотя. Если фронт будет на вебасембли это простительно :)
AV
;))) в проприетарщине все тоже самое сейчас
я же сказал "типичный оголтелый time to market"
фичи ради фич
но графана хотя бы функциональные фичи добавляет, а не только бесконца интерфейс перерисовывает
я же сказал "типичный оголтелый time to market"
фичи ради фич
но графана хотя бы функциональные фичи добавляет, а не только бесконца интерфейс перерисовывает
Зря они UI постоянно меняют. Пользователи этого не любят - только успеешь привыкнуть к обновленному UI, как тебе что-то новое подсовывают в новой версии )
S
Я что-то не могусообразить как решить задачу (про, графана)
есть метрика у которой значение либо 0 либо 1
как написать запрос что значение равно 0 за последнюю минуту
rate не подходит т.к. нужно именно при 0
есть метрика у которой значение либо 0 либо 1
как написать запрос что значение равно 0 за последнюю минуту
rate не подходит т.к. нужно именно при 0
sum(metic[1m]) == 0
Тебе для алертов или для графиков?
Тебе для алертов или для графиков?
PK
плашка
S
Зря они UI постоянно меняют. Пользователи этого не любят - только успеешь привыкнуть к обновленному UI, как тебе что-то новое подсовывают в новой версии )
UI меняется потому что им надо тащить Loki и Jaeger это вообще другие виджеты
S
плашка
singlestat в grafana?
ну тупо sum(metric[1m]) == 0
выдаст 0 или 1 ;)
ну тупо sum(metric[1m]) == 0
выдаст 0 или 1 ;)
PK
хм.. пойду попробую
я тут на соченял max(max_over_time(probe_success{module="icmp",cluster="$cluster"}[1m])) by (instance)
я тут на соченял max(max_over_time(probe_success{module="icmp",cluster="$cluster"}[1m])) by (instance)
AV
Подскажите по долгосрочному хранилищу Прометея (не хайлоад):
Почему плохо сделать это самим Прометеем, если речь про 2-3 месяца?
Есть ли какие-то однозначно простые и рабочие внешние стораджи?
А то чем больше я копаю тем больше это выглядит как "всё очень плохо"
Почему плохо сделать это самим Прометеем, если речь про 2-3 месяца?
Есть ли какие-то однозначно простые и рабочие внешние стораджи?
А то чем больше я копаю тем больше это выглядит как "всё очень плохо"
Для не-хайлоад решения и ретеншна в 2-3 месяца проще всего использовать прометеус без какого-либо дополнительного внешнего хранилища. В этом нет ничего плохого. Плохое начинается, когда нужно скрейпить тысячи таргетов и сохранять большое количество метрик в пром. Тогда он начинает жрать RAM и периодически насиловать диск. В этом случае рекомендуется использовать дополнительное внешнее хранилище. Самое простое и эффективное - это VictoriaMetrics :)
S
хм.. пойду попробую
я тут на соченял max(max_over_time(probe_success{module="icmp",cluster="$cluster"}[1m])) by (instance)
я тут на соченял max(max_over_time(probe_success{module="icmp",cluster="$cluster"}[1m])) by (instance)
ну ты ж сказал что тебе надо singlestat
она у тебя одна? ;)
или их дофига?
она у тебя одна? ;)
или их дофига?
AS
Для не-хайлоад решения и ретеншна в 2-3 месяца проще всего использовать прометеус без какого-либо дополнительного внешнего хранилища. В этом нет ничего плохого. Плохое начинается, когда нужно скрейпить тысячи таргетов и сохранять большое количество метрик в пром. Тогда он начинает жрать RAM и периодически насиловать диск. В этом случае рекомендуется использовать дополнительное внешнее хранилище. Самое простое и эффективное - это VictoriaMetrics :)
Я уже выкинул Прометея и переехал на Викторию
В данный момент для меня основное -- чтоб проработало пару месяцев. А там уже можно будет и вникнуть, и подтюнить
В данный момент для меня основное -- чтоб проработало пару месяцев. А там уже можно будет и вникнуть, и подтюнить
AV
А есть ссылка на актуальный краткий обзор как выглядит такой стек? Чтоб в целом обозреть.
Нагуглить могу и сам, но в интернете слишком много полярных и устаревших мнений, хочется ссылку от живого человека
Нагуглить могу и сам, но в интернете слишком много полярных и устаревших мнений, хочется ссылку от живого человека
Если вкратце, то стек выглядит так:
Prometheus -> VictoriaMetrics <- Grafana. Т.е. в проме настраивается запись в вм, а в графане - чтение из вм (просто подменяется url прома на url вм в промовском датасорсе). Вот и весь стек.PK
ну ты ж сказал что тебе надо singlestat
она у тебя одна? ;)
или их дофига?
она у тебя одна? ;)
или их дофига?
Да я забыл уточнить лейблы есть разные
AV
Я что-то не могусообразить как решить задачу (про, графана)
есть метрика у которой значение либо 0 либо 1
как написать запрос что значение равно 0 за последнюю минуту
rate не подходит т.к. нужно именно при 0
есть метрика у которой значение либо 0 либо 1
как написать запрос что значение равно 0 за последнюю минуту
rate не подходит т.к. нужно именно при 0
попробуйте что-нибудь вроде этого:
avg_over_time(metric[1m]) == 0. Оно нарисует линию в нуле в случае, если все значения metric за предыдущую минуту были равны нулю.AV
на столько просто, что даже подозрительно. :)
Единственное что — сходу не нашёл опции на тему "сколько хранить метрики"
Единственное что — сходу не нашёл опции на тему "сколько хранить метрики"
эта опция называется
-retentionPeriod. Вот тут про нее написано - https://github.com/VictoriaMetrics/VictoriaMetrics/blob/master/README.md#how-to-start-victoriametricsAS
Чятик, огромное спасибо! Вы спасли много моих нервов ❤️
AV
я просто рассматривал ситуацию, что мы постепенно заменяем ноды и получается старые данные постепенно теряем (если считаем что используем vm для длительного хранения метрик), поскольку их rf будет уменьшаться и уменьшаться
Для такого варианта нужно либо ждать поддержки ребалансинга в vmctl - https://github.com/VictoriaMetrics/vmctl/issues/18 , либо вручную переливать данные из старых нод в новые перед их плановым удалением. Например, вот вполне рабочая схема:
- убрать старую ноду из конфигов vminsert , чтобы они перестали туда записывать данные
- подготовить новую пустую vmstorage ноду
- скопировать все данные из старой ноды в новую ноду с помощью бэкапа с последующим восстановлением из бэкапа. См. https://github.com/VictoriaMetrics/VictoriaMetrics/blob/master/app/vmbackup/README.md .
- заменить старую ноду новой нодой в конфигах vmselect
- планово отключить старую ноду
- убрать старую ноду из конфигов vminsert , чтобы они перестали туда записывать данные
- подготовить новую пустую vmstorage ноду
- скопировать все данные из старой ноды в новую ноду с помощью бэкапа с последующим восстановлением из бэкапа. См. https://github.com/VictoriaMetrics/VictoriaMetrics/blob/master/app/vmbackup/README.md .
- заменить старую ноду новой нодой в конфигах vmselect
- планово отключить старую ноду
VS
а https://github.com/go-graphite/gorelka совсем мертвый?
ну я как из букинга ушел так и забросил, он в состоянии proof of concept, но у меня нет продакшена где я бы мог продолжить его делать, а тестовую среду под него сделать не так просто, так что он в стагнации
VS
букинговцы же какое-то свое поделие пилят на Го