поэтому я бы насторожился.

@Lanayx ты Зукипер так же хорошо как Пульсар знаешь? может поможешь?

они умерли, да, но оффсет где то сохранился, при перезапуске эфемерные ноды начинают с последнего "умершего" znode, в статах оффсет = cversion*2 (N созданий + N удалений), но очень сомневаюсь, что он его именно так получает.

этого я уже не знаю. документация и стэковерфлоу в помощь, расскажешь потом.\

нет, к сожалению, не так хорошо(

Друзья может сталкивались, ситуация такая, к примеру у нас в кубере крутятся 3 инстанса одного приложения с одной консьюмер группой, которые забирают сообщения батчами с одного топика. Когда накатываем апдейт на приложение, кубер начинает поочереди тушить и поднимать новые инстансы. Так вот, когда первый инстанс потушен, запускается ребаланс партишенов в консьюмер группе и если два других инстанса в это время обработали батчи и пытаются закоммитить, вылетает CommitFailedException, эта ошибка говорит что коммитить уже бесполезно, надо заново получать батч. Что можно сделать в этой ситуации? Как правильно накатывать апдейты на приложения?

Увеличить время хертбита или руками ассайнить партиции.

увеличить timeout session

если мы увеличим хардбит, то у нас просто будет меньше харбитов
если мы увеличим session timeout, то мы увеличим кол-во харбитов, после которого начнется ребаланс

Таймаут сессии стоит минута и хартбит 30 секунд. Кажется все таки ребаланс происходит когда новый инстанс кубер запускает, кафка обнаруживает новый коннект и начинает ребалансить. Надо в деплойменте кубера для этого приложения покопаться чтобы тушил все инстансы сначала, а потом стартовал новые. Отпишусь потом. Спасибо

привет! а правильно понимаю, коннекторы которые здесь можно скачать и указать пусть в plugin.path в apache kafka и будет работать?
https://www.confluent.io/hub/

Они ж платные вроде как. Во всех их конфигах все начинается с конфлюэнтовского же имиджа. Подозреваю, что без него не заработает. Но если попробуете и потом расскажете - будет круто.

не вижу про платные

Они цену не об,являют, а просят написать им :) это стартап.

ребят, покидайте статьей про  архитектуру микросервисов с помозщью кафочки

А - вижу фри форевер для одного брокера. И облако с непонятными ценами.

Да, можно

спасибо!

https://devcenter.heroku.com/articles/event-driven-microservices-with-apache-kafka


А вообще такие вопросы/просьбы, как я считаю, не уместно задавать тут.
Есть гугл: запрос аля microservices Kafka best practices гуглится быстро
Обычно тут задают конкретный вопрос и ожидают конкретный ответ)
Может быть я и не прав)

а почему в группе про кафка неуместно задавать вопросы про кафка? и чем мой вопрос не конкретен?