1) надо проверить, может что-то сломали
2) нет, только internal (внутри кубера). Мне все кто-то грозится сделать external access а мне некогда самом сделать. К тому же я оператор наш использую для демок, там это один коныиг

1) если я дефолтный кластер k8s в яндексе поднял и prometheus operator(он с grafana и пачкой дашбордов идет) было б круто обновить дашборд если в нем что то устарело. Ходить в control-center ну скажем не привычно.
2) Поставил openvpn в k8s , приконектиться к брокерам удается но так же нужно в hosts себе прописать пример 10.13.130.39 demo-kafka-cp-kafka-0.demo-kafka-cp-kafka-headless.demo для каждого брокера.
Правд conductor (gui клиент) при конекте в кластер уже просить купить его, чет не нашел я аналог нормальный.

Всем привет! А подскажите плиз, есть ли готовое решение для того, чтоб сгружать данные из кафки в монгу из конкретного топика?

Кафка Коннект

спасибо большое! гуглил, попадал на этот коннект, только что-то меня занесло не в ту степь, подумал, что не совсем то...

всем привет, сейчас в приложении есть один кафка листенер, добавил ещё 2, все читают из разных топиков, но используют одного юзера, при старте приложения оба новых листенера падают с ошибкой Authentication failed during authentication due to invalid credentials with SASL mechanism SCRAM-SHA-512. Есть идеи в чем может быть проблема?

SCRAM-SHA-512 поддержка есть?

да, с первым листенером всё окей

и он не падает

мб проблема в том, что один юзер для 3 листенеров?

нет, можно юзать 1 юзера на несколько инстансов

Всем привет!
У меня вопрос: как лучше сделать health check для consumer-a в кафке? Я хотел запускать consumer-a в кластере кубера.

Вопрос больше к куберологам. liveness probe сделать, чтобы кубер пинговал стейт, а в приложении куда-то хартбитить, если консюмер держит связь с брокером. Или если поток сообщений есть всегда и его отсутствие - подвод для паники, то лучше хартбитить, если есть сообщения. По-моему так.

У меня есть в бэклоге похожая задачка, только надо source перезапускать, если он перестал тянуть месседжи с SSE сервера.

Он подлым образом иногда втыкает безо всяких эксепшенов и сидит молча, притворяется живым

я вот из головы не могу ничего придумать кроме как руками писать. В Kafka streams можно state listener заюзать и expose его через rest

А куда в такой ситуации лучше хартбитить?

А в каком смысле руками писать?

Ну probe это обычноhttp какой-нибудь endpoint. Consumer не даёт такого из коробки