На стороне брокера есть структура данных , куда регистрируются скажем так запросы требующие ответа, а если ответить можно сразу ,то соответственно отвечает брокер сразу. Apache Kafka has a data structure called the “request purgatory”. The purgatory holds any request that hasn’t yet met its criteria to succeed but also hasn’t yet resulted in an error. The problem is “How can we efficiently keep track of tens of thousands of requests that are being asynchronously satisfied by other activity in the cluster?”

Смысл в то, что ты сразу без таймаута полишь. Если есть данные, то работаешь с ними, если нет то увы) полишь дальше

Как раз пол на мои взгляд проще и как следствие лучше для латенси

век живи, век учись

Репликация в кафке работает так же. Реплика приходит на лидер с запросом - как только появится 1 байт. Присылай мне ответ. И если ничего нового нет ( а offset известно ) то ждёт в пургаторе. Там вроде есть тайм-аут и может он даже настраивается скорее всего , но вот на память это не помню. Надо проверить .

Ток цпу и траф расходует неслабо, надо иметь в виду

Ну да

Лучше 5-10 мс воткнуть хотя бы, по опыту

Потом как траф придет, проблем уже не будет этих

Ну тут ж разговор за латенси)

А как в Kafka с exectly once?

коммить оффсеты грамотно и норм

гарантированный exactly once — это миф

точно так же, как в JMS. Нужна СУБД с поддержкой транзакций.

Я к тому что в требованиях примера было требование дедупликации :)

Кто-нибудь проходил курс на otus по scala разработке?

Как вам он?

Вроде просто поллит как почтовый ящик. Лонг разве?

Коллеги кафкаспецы. Расскажите плиз про компакт топик. Откуда он знает что месседж уникален?

У тебя сообщения с ключем ж