Привет) В свежих версиях прометея есть возможность определять критический размер диска, при подходе к которому старые данные будут подчищаться.

В старых версиях была подобная опция только для оперативы. можно было задать значение, при подходе к которому было сбрасывание данных из оперативы на диск. Но потом это убрали.

Общалась с разрабами на этот счет, типо, как так вышло и почему нужную вещь убрали. Они "аргументировали" тем, что типо прометей не будет отъедать больше оперативы, чем ему нужно. (то есть они предполагают, что теперь если хочешь чтоб у тебя оперативы отъедалось меньше - скрейпи только те метрики, которые тебе нужны, что типо следи за этим. идиотская идея, как по мне, потому что а что, если мне нужны все метрики, и у меня дохренища подов, с которых всё собирается? Мне инстанс с 64гб оперативы арендовать предлагаете? Ну ведь это безумие)

Вместе с этим они в прометее захардкодили переменную storage.tsdb.min-block-duration и некоторые другие, которые бы могли помочь уменьшить хотя бы время за которое формируются блоки, которые в итоге переезжают из оперативы на хард. То есть они предполагают, что всё будет храниться в оперативе, грубо говоря.

Я в расстройстве и негодовании. Кто как с этой хренью сжился/поборолся? Я совсем не хочу урезать метрики, которые скрейпить с подов (((

Не обновляйся

Полезные советы))

особенно секурные апдейты не стоит устанавливать. поиск работы это же так увлекательно

Ребят кто подскажет, как прометея ограничить в поедании памяти?

заменить его на vm - https://victoriametrics.github.io/#how-to-scrape-prometheus-exporters-such-as-node-exporter

а так можно было?

ага. Внутри вм есть скрейпер промовских метрик. Там только не хватает алертов и рекординг рулов - для этого нужно использовать отдельный vmalert

хз получится ли в моем кейсе так сделать, у меня пром стоит на каждом инстансе и соберает метрики на себя, раз в 30сек большой отдельный прометей ходит федерацией заберает метрики со всех инстансов. Сегодня немного пришел в шок когда из 13 гигов памяти на машине с ребитом 53процента сьедает пром

хз получится ли в моем кейсе так сделать, у меня пром стоит на каждом инстансе и соберает метрики на себя, раз в 30сек большой отдельный прометей ходит федерацией заберает метрики со всех инстансов. Сегодня немного пришел в шок когда из 13 гигов памяти на машине с ребитом 53процента сьедает пром

а какую проблему вы решили такой топологией?