у VM (victoria metrics) есть аналог promtool (prometheus) ? если какое-нибудь задание (job, scrape target) начнет отдавать в разы больше чем надо - чем это смотреть? например в prometheus есть promtool - и можно глянуть что там в WAL у нас с метриками и лейблами

https://t.me/VictoriaMetrics_ru1
тут спрашивали?

и пропадают точки (та дыра на графике) целыми батчами (в батче примерно 17к разных точек).  К примеру, было отправлено 10 батчей в момент когда vminsert не был доступен для vmagent, батчи ушли нормально (200 коды от него получены), ошибок с стороны vmagent не было, в логах только 503 ошибки от haproxy за которым vminset'ы сидят, после этого vmagent нормальным образом убивается, что было в памяти он сбрасывает в персистстор, вот только судя по всему сбрасывает он туда не 10 батчей, а почему-то первый батч, потом дыра в 3-4 батча, по разному бывает, и затем остатки батчей. После запуска он их и сбрасывает в vminsert. проверял по метрикам, сколько сбросил в байтах в стор столько и отправил. Куда делись 3-4 батча с точками по пути - не понятно...
Проблема воспроизводится только через остановку vmagent, если он продолжает работать, после восстановления vminsert'ов он нормально все батчи скидывает, без потерь.

у VM (victoria metrics) есть аналог promtool (prometheus) ? если какое-нибудь задание (job, scrape target) начнет отдавать в разы больше чем надо - чем это смотреть? например в prometheus есть promtool - и можно глянуть что там в WAL у нас с метриками и лейблами

Похоже на багу. Можете создать issue на гитхабе с описанием, как ее воспроизвести? https://github.com/VictoriaMetrics/VictoriaMetrics/issues

См. также /api/v1/status/tsdb - https://prometheus.io/docs/prometheus/latest/querying/api/#tsdb-stats . ВМ тоже отдает эту страничку. Еще она поддерживает дополнительные параметры topN и date - см. подробности вот тут - https://victoriametrics.github.io/#prometheus-querying-api-usage . Еще может быть полезны метрики scrape_samples_scraped и scrape_samples_added . См. https://www.robustperception.io/which-targets-have-the-most-samples .
@hagen1778 , думаю, можно написать статью по этому вопросу.

Подскажите верное направление, если надо мониторить 4-5 очень похожих кластеров, как лучше реализовать структуру: установить по прометею внутри кластера и вытягивать данные в вышестоящий прометей? Если да, то как это делается, через федерацию?

Танос легаси уже считай 😏

Вот это поворот! А что не легаси? 🙂

а кто юзает alerta.io ? как вам ? я ее пока смотрю, но чет коряво получается. Очень нужно поле кластер по которому тоже будет дедуплицироваться

а кто юзает alerta.io ? как вам ? я ее пока смотрю, но чет коряво получается. Очень нужно поле кластер по которому тоже будет дедуплицироваться

Как лучше всего реализовать запрос подсчета реквестов за временной промежуток, при $__range > 24h датасорс начинает выдавать Bad Gateway либо Service Unavailable
Считаю так: round(sum(increase(metric[$__range])))