Size: a a a

Церковь метрик

2020 August 11

AV

Aliaksandr Valialkin in Церковь метрик
Tonych
Всем привет. Есть с десяток "изолированных" окружений, на которых периодически на длительный срок может отваливаться внешний интернет. Хочется чтобы метрики собирались внутри окружения, а потом, когда интернет появился - можно было забрать их на какой-то центральный прометей, например. Реально ли это сделать федерацией прометеев, или исторические данные там не поддерживаются от слова совсем, и в центральный прометей данные будут поступать только когда прометеи-таргеты онлайн? Может делал кто-то что-то подобное уже?
для этого лучше поставить в каждом изолированном окружении vmagent, который будет собирать внутренние метрики и отправлять их на внешний сторедж по prometheus remote_write api при появлении соединения. См. https://victoriametrics.github.io/vmagent.html
источник

T

Tonych in Церковь метрик
Aliaksandr Valialkin
для этого лучше поставить в каждом изолированном окружении vmagent, который будет собирать внутренние метрики и отправлять их на внешний сторедж по prometheus remote_write api при появлении соединения. См. https://victoriametrics.github.io/vmagent.html
спасибо, почитаю про vmagent!
источник

KD

Kirill D in Церковь метрик
Ничего себе у вас тут антиспам 😂
источник

AV

Aliaksandr Valialkin in Церковь метрик
Максим Кнышов
Дело даже не в менталитете и 64 гектарах. Оно хорошо работало на 8 гектарах, а тут рррраз, и нужно в 8 раз больше. Единственная адекватная реакция на это - "WHAT???!"
наверное, кто-то добавил дополнительный лейбл в метрики, что увеличило количество временных рядов в 8 раз. См. https://www.robustperception.io/cardinality-is-key
источник

А

Андрей in Церковь метрик
Привет! Подскажите по victoriametrics. Схема следующая exporter => prometheus => victoriametrics
рестартовали exporter, появились провалы в серии в виктории
источник

А

Андрей in Церковь метрик
при этом то же самое в prometheus
источник

А

Андрей in Церковь метрик
проявляется только на одной единственной метрике
источник

А

Андрей in Церковь метрик
никаких изменений, кроме рестарта экспортера, не было
источник

AN

Artem Navoiev in Церковь метрик
-search.maxStalenessInterval

повысьте паратемер в VM
источник

А

Андрей in Церковь метрик
Artem Navoiev
-search.maxStalenessInterval

повысьте паратемер в VM
спасибо, попробую
источник

А

Андрей in Церковь метрик
Artem Navoiev
-search.maxStalenessInterval

повысьте паратемер в VM
не помогло, увеличивал до 90s
источник

AN

Artem Navoiev in Церковь метрик
кэш сбросьте
источник

А

Андрей in Церковь метрик
curl -v "http://localhost:8428/internal/resetRollupResultCache" делал, не помогло
источник

AN

Artem Navoiev in Церковь метрик
@valyala можешь подсказать как уборать промежутки?
источник

AN

Artem Navoiev in Церковь метрик
давай так попробуем :)
источник

А

Андрей in Церковь метрик
прямо к founder'у? 🙂
источник

AS

Aleksey Shirokikh in Церковь метрик
парни пока не так что бы суперентерпрайз. так что демократично до нельзя.
источник

AV

Aliaksandr Valialkin in Церковь метрик
Artem Navoiev
@valyala можешь подсказать как уборать промежутки?
нужно запустить вм с флагом -search.minStalenessInterval=60s . Тогда она "замажет" пропуски на графиках, если их длина не превышает 60 секунд
источник

AN

Artem Navoiev in Церковь метрик
Андрей
не помогло, увеличивал до 90s
уже сделали
источник

AN

Artem Navoiev in Церковь метрик
а я перепутал флаг min и max спасибо
источник