ну я проверял наличие архивов в директории и через textfile уже отправлял в пром

но есть же ещё отчёты от бэкапера в почте

Слечу отвечал). Промазал)

а как ты в пром отправлял? вернее куда?

давайте тогда в более практическую область переведем

вот есть https://github.com/AlexAkulov/clickhouse-backup
у него есть встроенный /metrics endpoint

хочу мониторить наличие бекапов
длительность
хотелось бы размер, но такой метрики нет, но думаю смогу добавить через pull request

проблема в том что он нигде не хранит стейт
и после рестарта
не знает был ли последний бекап успешным или нет...

то есть я пробую вот так

       - alert: ClickHouseBackupFailed
         expr: (increase(clickhouse_backup_failed_backups[24h]) > 0 and clickhouse_backup_last_backup_success != 1) or (clickhouse_backup_last_backup_success = 0)


но что-то боюсь фигово это будет ловиться если будут частые рестарты пода с бекапилкой

ты еще скажи, что ты хочешь мониторить консистентность бекапов😎

к.м.к., лучше вопрос задавать в github issues для clickhouse

нет

=) ты имел ввиду issues для clickhouse-backup ?

ну я  с автором общаюсь

я пытаюсь подход выработать

проблемы которые обозначены сейчас
- restart clickhouse-backup приводит к потере состояния метрик (обнуление счетчиков и мы не знаем когда был сделан последний бекап и был ли он успешный

- есть предложение бекапы мониторить через push модель через какой нибудь healthchecks.io ... но мне кажется что в этом случае pull модель тоже может зайти

Хм, новая же версия умеет представляться "таблицей в кх"
Можно использовать clickhouse-datasource и мониторить эту виртуальную таблицу

=)) вы мне графаной предлагаете мониторить? ;)
ну, такое себе =)

ну новая версия умеет претворяться таблицей только потому что в ClickHouse есть URL table engine
https://clickhouse.tech/docs/en/engines/table-engines/special/url/

Мы используем для бекапа баз(не только КХ) bareos. У него есть статистика работы всех задач бекапирования с данными о времени выполнения, количеством байт, и статусом задачи. Все эти данные мы отправляем в Графит, и следим за коэффициентом отклонения в текущих значений от историческом медианы. Если находим подобное, отправляем Алерт команде бекапов.

У нас так же есть процесс проверки бекапов критичных баз, но это уже оффтоп.

ага, спасибо что-то подобное как раз и хочу сделать

я мониторю. exit code приложения создающего бекапы.
и раз в N времени ручная проверка бекапов.

ну соответственно exit code в pushgateway. хотя сейчас понимаю что это было так себе решение и надо было брать text-file collector

Если вдруг приложение не запустилось? Как такая ситуация обрабатывается?

таймером что метрики не получены более суток

У кого-то на примете есть статьи о производительности запросов в прометее? Хочу понять насколько плохо допустим, если запрос смотрит на месяц назад. И как это вообще оценивать.