M
Size: a a a
2021 March 30
M
Dzien dobry.
ΙΤ
Dzien dobry.
KY
Доброе утро!
Подскажите кто-то настраивал сжатие старых данных influxDB, Prometheus (уменьшения плотности точек проведенных тестов, скажем, квартальной давности) для экономии места на диске? Инетересует какими инсрументами такое возможно добиться?
Подскажите кто-то настраивал сжатие старых данных influxDB, Prometheus (уменьшения плотности точек проведенных тестов, скажем, квартальной давности) для экономии места на диске? Инетересует какими инсрументами такое возможно добиться?
для инфлюкса нормальный вариант это делать continius query в котором будет group by time, который будет усреднять точки за интервал
KY
KY
Долгосрочное хранение метрик Prometheus (Алексей Палажченко, Percona) / Хабр
https://m.habr.com/ru/post/441136/
https://m.habr.com/ru/post/441136/
ВП
Спасибо! Изучу.
KY
а тут есть downsampling старых данных прометеуса, но я рекомендую использовать victoria metrics для долгосрочного хранения
GG
Или я чего-то не понимаю, или они предлагают даунсемплить минами, что как минимум странно.
KY
Gugo Groci
Или я чего-то не понимаю, или они предлагают даунсемплить минами, что как минимум странно.
ты про mean? а при группировке у тебя какой то другой концептуально подход используется?
GG
ты про mean? а при группировке у тебя какой то другой концептуально подход используется?
Я не про мой подход, а про способ в принципе. Так же убиваются все детали, пиков и впадин на графике просто не будет, зачем так делать? Есть же как минимум lttb, может ещё что-то есть. В виктории это точно есть в коде, но можно ли запросом использовать - не знаю.
KY
Gugo Groci
Я не про мой подход, а про способ в принципе. Так же убиваются все детали, пиков и впадин на графике просто не будет, зачем так делать? Есть же как минимум lttb, может ещё что-то есть. В виктории это точно есть в коде, но можно ли запросом использовать - не знаю.
ну смысл всего даунсемплинга - убить детали)
что такое lttb - понятия не имею, но проблемы точночти метрик обычно легко решаются даунсемплингом на персентилях
что такое lttb - понятия не имею, но проблемы точночти метрик обычно легко решаются даунсемплингом на персентилях
GG
ну смысл всего даунсемплинга - убить детали)
что такое lttb - понятия не имею, но проблемы точночти метрик обычно легко решаются даунсемплингом на персентилях
что такое lttb - понятия не имею, но проблемы точночти метрик обычно легко решаются даунсемплингом на персентилях
Неа, смысл даунсемплинга уменьшить объем данных, оставив максимум деталей. Не нужны тут персентили никак. Лттб гуглится. В виктории даунсемплинга нет, я посмотрел.
KY
Gugo Groci
Неа, смысл даунсемплинга уменьшить объем данных, оставив максимум деталей. Не нужны тут персентили никак. Лттб гуглится. В виктории даунсемплинга нет, я посмотрел.
кажется что уменьшить детали==уменьшить объемы данных. персентили чем не угодили? а лттб и правда гуглится - сразу понятно что оно решает все проблемы лучше чем mean
GG
Ну я не помню, как оно расшифровывается. Лттб даунсемплинг.
KY
Gugo Groci
Ну я не помню, как оно расшифровывается. Лттб даунсемплинг.
короче вещь в любом случае ценная, в инфлюксе, прометеусе и виктории ее правда нет. именуется largest triangle three bucket - можно при желании в инфлюксе сделать через те же continius queries
GG
Другое дело, что если в tsdb этого механизма нет - нужно как-то велосипедить, вряд ли в прод такое решение протащишь. Но для НТ можно.
KY
у метода есть ряд ограничений, особенно для не равномерно распределенных по времени данными будут дикие графики
НД
Коллеги, доброе утро! Можно как-нибудь проверить, через чарльз например, что отправляет JMeter? Проблема в следующем, после отправки большого кол-ва данных (2358 строк) получаю 400 ошибку с жалобами на неполные данные. Postman в свою очередь получает 201 (как должно быть) при таких же вводных. Жалуется не на токен или хедеры. Есть подозрение, что до сервера летит неполный Json