D
нет не встречалось, думаю стоит полазить по их github issues
https://github.com/coreos/prometheus-operator/issues
и спросить там
https://github.com/coreos/prometheus-operator/issues
и спросить там
ок, спасибо
Size: a a a
2020 July 08
n
всем привет. пытаюсь сделать сбор метрик stolon через prometheus-operator. Создал сервис который стучит на нужный порт и видит метрики, создал сервис монитор для него. но в таргетах прометея пусто. в чем может быть проблема?
S
всем привет. пытаюсь сделать сбор метрик stolon через prometheus-operator. Создал сервис который стучит на нужный порт и видит метрики, создал сервис монитор для него. но в таргетах прометея пусто. в чем может быть проблема?
в ServiceMonitor
selector как выглядит, matchLabels задан правильно?
а namespaceSelector matchNames задан правильно?
selector как выглядит, matchLabels задан правильно?
а namespaceSelector matchNames задан правильно?
S
всем привет. пытаюсь сделать сбор метрик stolon через prometheus-operator. Создал сервис который стучит на нужный порт и видит метрики, создал сервис монитор для него. но в таргетах прометея пусто. в чем может быть проблема?
Возможно rbac нет доступа к namespace. Там был какой-то нюанс, что по умолчанию вроде ему приходится еще и роли добавлять
n
в ServiceMonitor
selector как выглядит, matchLabels задан правильно?
а namespaceSelector matchNames задан правильно?
selector как выглядит, matchLabels задан правильно?
а namespaceSelector matchNames задан правильно?
apiVersion: monitoring.coreos.com/v1
kind: ServiceMonitor
metadata:
name: monitoring-stolon
labels:
k8s-app: stolon-metrics
spec:
selector:
matchLabels:
k8s-app: stolon-metrics
endpoints:
- port: metricsport
path: /metrics
interval: 15s
namespaceSelector:
any: true
S
apiVersion: monitoring.coreos.com/v1
kind: ServiceMonitor
metadata:
name: monitoring-stolon
labels:
k8s-app: stolon-metrics
spec:
selector:
matchLabels:
k8s-app: stolon-metrics
endpoints:
- port: metricsport
path: /metrics
interval: 15s
namespaceSelector:
any: true
metricsport прописан в kind: Service у которого labels: k8s-app: stolon-metrics ?
в логах подов оператора ничего не говорится?
оператор какой версии?
в логах подов оператора ничего не говорится?
оператор какой версии?
n
metricsport прописан в kind: Service у которого labels: k8s-app: stolon-metrics ?
в логах подов оператора ничего не говорится?
оператор какой версии?
в логах подов оператора ничего не говорится?
оператор какой версии?
да прописал у сервиса и на всякий случай у подов. оператор последний версии поставил
S
в логи промметеуса тогда смотрите и в логи оператора
n
да смотрел. там ворнинги были типа service discovery old version. завтра посомтрю может быть дело реально в rbac
b
А не опасно ли открывать порт statsd для мира? Там аутентификации никакой нет, или может в bioyino возможности игнорить все метрики без правильного префикса?
TF
А не опасно ли открывать порт statsd для мира? Там аутентификации никакой нет, или может в bioyino возможности игнорить все метрики без правильного префикса?
потому у прома влепили сертификат ;)
G
VictoriaMetrics/VictoriaMetrics tagged: v1.38.0
Link: https://github.com/VictoriaMetrics/VictoriaMetrics/releases/tag/v1.38.0
Release notes:
Link: https://github.com/VictoriaMetrics/VictoriaMetrics/releases/tag/v1.38.0
Release notes:
### Changes since v1.37.4More
* FEATURE: add ability to apply relabeling to all the incoming metrics if `-relabelConfig` command-line arg points to a file with a list of `relabel_config` entries. See [https://victoriametrics.github.io/#relabeling](htt...
G
influxdata/kapacitor tagged: v1.5.6-rc0
Link: https://github.com/influxdata/kapacitor/releases/tag/v1.5.6-rc0
Release notes:
Link: https://github.com/influxdata/kapacitor/releases/tag/v1.5.6-rc0
Release notes:
cut v1.5.6-rc0
2020 July 09
IG
Привет! Такой вопрос, никто не сталкивался с проблемой, что пром, будто кеширует последнюю метрику (хотя она уже давно не отдается, т.к. удалена)? Схема такая, пром ходит в федерейт, ну и забирает все к себе. Сам основной источник реагирует сразу же на то, что метрика удалена и не отдает её. А вот "реплика", показывает так, будто он что-то получает, причем через Nое время, она все таки пропадает.
Очень странно. Обновление до последней версии прома не помогло
Очень странно. Обновление до последней версии прома не помогло
AS
Привет! Такой вопрос, никто не сталкивался с проблемой, что пром, будто кеширует последнюю метрику (хотя она уже давно не отдается, т.к. удалена)? Схема такая, пром ходит в федерейт, ну и забирает все к себе. Сам основной источник реагирует сразу же на то, что метрика удалена и не отдает её. А вот "реплика", показывает так, будто он что-то получает, причем через Nое время, она все таки пропадает.
Очень странно. Обновление до последней версии прома не помогло
Очень странно. Обновление до последней версии прома не помогло
Это известное поведение.
https://www.robustperception.io/staleness-and-promql
https://www.robustperception.io/staleness-and-promql
b
Ребят, а как правильно структурировать пути к метрикам? Вот у нас большая монорепо в основном на питоне, имеется множество разных кравлеров. Нормально ли отражать пути к сорцу который сгенерировал метрику, внутри пути к метрике? Например
Стек я таки собрал и настроил как вот тут https://github.com/kolobaev/graphite-clickhouse-tldr
src.org.scripts.facebook.crawl_profiles.py:persist. Что кроме точки имеет семантичкское значение в этих путях, где почитать?Стек я таки собрал и настроил как вот тут https://github.com/kolobaev/graphite-clickhouse-tldr
S
Ребят, а как правильно структурировать пути к метрикам? Вот у нас большая монорепо в основном на питоне, имеется множество разных кравлеров. Нормально ли отражать пути к сорцу который сгенерировал метрику, внутри пути к метрике? Например
Стек я таки собрал и настроил как вот тут https://github.com/kolobaev/graphite-clickhouse-tldr
src.org.scripts.facebook.crawl_profiles.py:persist. Что кроме точки имеет семантичкское значение в этих путях, где почитать?Стек я таки собрал и настроил как вот тут https://github.com/kolobaev/graphite-clickhouse-tldr
можно попробовать теги использовать
https://graphite.readthedocs.io/en/latest/tags.html
carbon-clickhouse и graphite-clickhouse вроде умеют в теги, но там вроде для случая когда много тегов или много значений у тега, тормоза были в graphite-clickhouse, надо в issues смотреть
https://graphite.readthedocs.io/en/latest/tags.html
carbon-clickhouse и graphite-clickhouse вроде умеют в теги, но там вроде для случая когда много тегов или много значений у тега, тормоза были в graphite-clickhouse, надо в issues смотреть
b
можно попробовать теги использовать
https://graphite.readthedocs.io/en/latest/tags.html
carbon-clickhouse и graphite-clickhouse вроде умеют в теги, но там вроде для случая когда много тегов или много значений у тега, тормоза были в graphite-clickhouse, надо в issues смотреть
https://graphite.readthedocs.io/en/latest/tags.html
carbon-clickhouse и graphite-clickhouse вроде умеют в теги, но там вроде для случая когда много тегов или много значений у тега, тормоза были в graphite-clickhouse, надо в issues смотреть
Это конечно прикольно, но нам пока такое не нужно. Выбрать бы для начала как в ванильном формате передавать эти всякие счетчики.
Например какую конвенцию нейминга использовать когда таймишь время работы функции.
Например какую конвенцию нейминга использовать когда таймишь время работы функции.
S
Это конечно прикольно, но нам пока такое не нужно. Выбрать бы для начала как в ванильном формате передавать эти всякие счетчики.
Например какую конвенцию нейминга использовать когда таймишь время работы функции.
Например какую конвенцию нейминга использовать когда таймишь время работы функции.
кроме точки нету ничего в качестве разделителя
собственно это не разделитель вовсе
имя метрики это просто набор символов из подмножества
там потом имя метрики при желании на regexp можно покрошить
а теги IMHO позволяют одну и туже метрику раскидывать на разные подмножества не грузясь конвенциями =)
ну и потом наверное из grafana в clickhouse через clickhouse-grafana можно ходить а не через graphite-clickhouse если припрет и делать SQL запросы
собственно это не разделитель вовсе
имя метрики это просто набор символов из подмножества
там потом имя метрики при желании на regexp можно покрошить
а теги IMHO позволяют одну и туже метрику раскидывать на разные подмножества не грузясь конвенциями =)
ну и потом наверное из grafana в clickhouse через clickhouse-grafana можно ходить а не через graphite-clickhouse если припрет и делать SQL запросы
S
вот кстати для statsd не знаю есть ли поддержка тегов