Господа. а подскажите нубские вопросы сюда можно слать?

Можно

всем привет! может кто подскажет, как настроить зукипер, чтобы при рестарте кафки он не ругался что NodeExists? кафка и зукипер в docker-compose

роняю стек ctrl-c и потом делаю docker-compose up, и всё падает с ошибкой вида

kafka1_1                 | [2020-10-12 05:49:45,519] INFO Creating /brokers/ids/1 (is it secure? false) (kafka.zk.KafkaZkClient)
zoo1_1                   | 2020-10-12 05:49:45,527 [myid:] - INFO  [ProcessThread(sid:0 cport:2181)::PrepRequestProcessor@596] - Got user-level KeeperException when processing sessionid:0x1751b5b683d0001 type:multi cxid:0x18 zxid:0x102 txntype:-1 reqpath:n/a aborting remaining multi ops. Error Path:/brokers/ids/1 Error:KeeperErrorCode = NodeExists for /brokers/ids/1
kafka1_1                 | [2020-10-12 05:49:45,533] ERROR Error while creating ephemeral at /brokers/ids/1, node already exists and owner '105004683189288961' does not match current session '105020245717876737' (kafka.zk.KafkaZkClient$CheckedEphemeral)
kafka1

_1                 | [2020-10-12 05:49:45,537] ERROR [KafkaServer id=1] Fatal error during KafkaServer startup. Prepare to shutdown (kafka.server.KafkaServer)

kafka1_1                 | [2020-10-12 05:49:45,519] INFO Creating /brokers/ids/1 (is it secure? false) (kafka.zk.KafkaZkClient)
zoo1_1                   | 2020-10-12 05:49:45,527 [myid:] - INFO  [ProcessThread(sid:0 cport:2181)::PrepRequestProcessor@596] - Got user-level KeeperException when processing sessionid:0x1751b5b683d0001 type:multi cxid:0x18 zxid:0x102 txntype:-1 reqpath:n/a aborting remaining multi ops. Error Path:/brokers/ids/1 Error:KeeperErrorCode = NodeExists for /brokers/ids/1
kafka1_1                 | [2020-10-12 05:49:45,533] ERROR Error while creating ephemeral at /brokers/ids/1, node already exists and owner '105004683189288961' does not match current session '105020245717876737' (kafka.zk.KafkaZkClient$CheckedEphemeral)
kafka1

Волюмы у брокеров есть? Или только конфиги внутрь пробрасываешь?

Проверю. Если волюм проброшен тоже, проблем не должно быть?

Волюмы есть, проверил

Всем привет. Использую kafkajs, там есть функция eachMessage, которая последовательно обрабатывает сообщения из батча, резолвит офсет и шлет хартбит. В конце обработки всего батча офсет коммитается и начинается обработка нового батча.

Вопрос собственно в том, что будет, если мы начинаем обрабатывать батч, дошли до середины и в это время начинается ребаланс. Мы обработали батч, пытаемся закоммитать офсет, но ничего не получается, потому что REBALANCE_IN_PROGRESS. После ребаланса этот партишен асайнится на другого консюмера и он начинает заново обрабатывать этот же батч.

может ли heartbeat кинуть ошибку REBALANCE_IN_PROGRESS?

Ты какую проблему решить хочешь?

Я так предполагаю, что обрабатывать сообщение строго единожды?

да

У меня для тебя плохие новости.

There are two major problems in computer science: 1. Exactly once delivery. 2. Cache invalidation. 1. Exactly once delivery.

кайф

Рекомендую посмотреть в сторону идемпотентности, тогда это «перестанет быть проблемой» как в анекдоте.

с кеш инфалидацией это из другой оперы, а ваша цитата в оригинале

There are only two hard problems in distributed systems:  2. Exactly-once delivery 1. Guaranteed order of messages 2. Exactly-once delivery

про инфалидацию там с неймингом было =)

There are 2 hard problems in computer science: cache invalidation, naming things, and off-by-1 errors. -- Leon Bambrick

Да там вообще не важно что вторым пунктом. Шутка ж не поменяется.

как раз важно =)
ордеринг, который у кафки только в пределах партиции, но при попадании в разные вы уже ордерингом не управляете