ну технически да, вопрос реализации

мало ли чо)

оффсеты как-то менеджить нужно, они мутабельные

или оффсет логический записи в логе не меняется после компакшина?

после компакшена некоторых просто не будет, но ничто не мешает сдвинуться к следующей
(правда эту часть компакшена я не помню)

то что не будет это фигня, а вот если номера в логе мутабельны, то там или сложный менеджмент или skip случайный был бы) ну типа я уже оффсет 10 закоммитил, а у меня записей меньше стало.

точно не мутабельны, с чего бы им быть изменяемыми?

Привет всем, есть вопрос по java API продюсеров, насколько я могу видеть кафка продьюсеры в случае транзакций рассчитаны на то чтобы работать только с одним тредом, т.е. если несколько потоков будут юзать один и тот же инстанс продьюсера, то при открытии транзакции например двумя потоками одновременно произойдет ошибка. Верно ли тогда утверждение, что в случае с транзакциями нам необходимо использовать producer-instance-per-thread?

It's Apache kafka chat

ok, I know, thank you

Заметил интересный момент - при сборке кластера из докера, если у брокеров кафки, находящихся на разных машинах, указать один и тот же kafka.advertised.listeners, например, PLAINTEXT://localhost:29092, то у первого поднявшегося брокера всё будет в порядке, а у следующих вылезет ошибка о том, что другой брокер уже использует этот порт (разные айпишники!). Забавный баг, обошёл его назначением последующих портов для разных брокеров (29092, 29093, 29094) однако на следующем шаге, после поднятия schema registry на одном из нодов (на этом ноде кафка находится на порте 29092), она начинает пытаться получить доступ к брокеру, находящемуся на другом локалхосте (127.0.0.1:29093), закономерно получает ошибку об отсутствии брокера и падает.

Логично же, при этом тут кафка непричём)

localhost всегда будет резолвиться в 127.0.0.1

это опция для указания внешнего адреса, а не лупбек интерфейса

Ну да, не при чём, и что мне указывать в этом параметре, чтобы службы получали корректный адрес? Реальный айпишник устройства -  условные 10.10.4.15 вместо localhost, как написано во всех гайдах?

логично было предположить, что, получая от машины с ip =x.x.x.x параметр со значением localhost:29092, zk должен преобразовать его в параметр x.x.x.x:29092 для внешних систем

или не логично?

С чего бы?

Вы сейчас описали "без контрольное" поведение.

нет, все таки локалхост специфическая штука для специфических задач