на кафка самит лондо будет чувак из камунды рассказывать что-то

вангую что про zeebe и как круто с bpm дизайнить пайплайны поверх кафки

это цитата, если что, а не мое мнение)

bpm еще жив?

они про это при каждом удобном случае толкают

ну, все еще живее всех живых
свои функции делает

think that Zeebe is a pretty nice compliment to Kafka–we spoke about Zeebe and Kafka at Kafka Summit SF in 2018 and will do so again at Kafka Summit London in 2019

Если кому интересно, нашел эти записи
https://zeebe.io/blog/2018/10/zeebe-recordings-kafka-summit-camundacon-2018/

Добрый день! Подскажите, пожалуйста как заставить потребителя читать из нескольких партиций равномерно. У меня 24 партиции и 3 консьюмера. Периодически какие-то партиции начинают отставать. Потом лаг рассасывается, но довольно долго может быть большим. Тоесть чтение идёт примерно так 2000 сообщений из парт1, 1500 из парт 2, а до парт8 дело не доходит. max.partition.fetch.bytes довольно большой, т. к. желательно чтобы батчи были большими. Моя система потребления работает эффективно только с большими батчами...

чуваки, у кого нибудь была такая ошибка -
[Consumer clientId=…, groupId=…] Offset commit failed on partition … at offset 48793492: The coordinator is not aware of this member.

мы уже все доки перечитали, все перенастроили, все советы из стековерфло попробовали. есть кто шарящий че делать? похоже на лаги в сети, но девопсы утверждают что брокер доступен из пода приложения.
у нас приложение - джоинер из двух очередей, и он не выдерживает, когда в очереди идет постоянный продюс сообщений

кафка не в кластере, одна реплика, на виртуалке. приложения в кубере

Может быть, тогда и консюмеров запустить столько, сколько партиций?

Да, спасибо. Видимо так и придётся

Альтернатива - посмотреть в исходники клиента. Java код читать просто, librdkafka - вынос мозга.

Добрый день! Подскажите, мудрые люди, кто как читает (без самописных вариантов) сообщения из топика checkpoints.internal?
Вроде, должен быть форматтер CheckpointMessageFormatter, но не вижу его в 2.4.0 Кафке
Это из KIP-382, который Mirror Maker 2.0
Спасибо!

Подскажите пожалуйста, нужно ли в кафке 2.4 указывать listeners и advertised.listeners одновременно? Или advertised.listeners достаточно?

Коллеги, а как вы управляете kafka policy ?

Есть ли какой-то более-менее удобный менеджер?

Без StatefulSet?