Они могут храниться в сжатом виде
Либо как прислал продюсер,  либо пережать с параметрами для конкретного топика на самом брокере (доп работа)

Сжатие можно включить и на продюсере и на брокере

На брокере это какой конфиг?

Кстати, @gamussa, подскажи, плиз, почему отсутствие сжатия на продюсере это none, а на уровне топика это uncompressed ?:) всегда было интересно почему не сделали одинаковый нейминг

Добрый день.Можете подсказать с одной проблемой.

Имеется 3х нодный кластер кафки. В server.properties:

listeners=PLAINTEXT://0.0.0.0:9092
advertised.listeners=PLAINTEXT://192.168.1.1(/2/3):9092

Все отлично работает. Брокеры доступны, сообщени пишутся, сообщения читаются.

Но мне понадобилось организоваться внешний доступ к kafka (Из другой подсети).
Был организован доступ между сетями на одном брокере я поменял конфиги на:

listeners=INTERNAL://0.0.0.0:9092,EXTERNAL://0.0.0.0:9093
advertised.listeners=INTERNAL://192.168.1.1:9092,EXTERNAL://192.168.100.1:9093
inter.broker.listener.name=INTERNAL
listener.security.protocol.map=INTERNAL:PLAINTEXT,EXTERNAL:PLAINTEXT

однако когда стартуешь кафку с такими настройками в логах повторяющиеся ошибки:

WARN [Consumer clientId=consumer-1, groupId=console-consumer-29699] Error while fetching metadata with correlation id 171 : {topic=LEADER_NOT_AVAILABLE} (org.apache.kafka.clients.NetworkClient)

Если проверять состояние кластера через зукипер - ошибок не видно.
Можете подсказать что я делаю не так?

На всех надо менять

Нету возможности на всех поменять, указав один и тот же EXTERNAL endpoint. Иначе возникает ошибка:

failed: Configured end points 192.168.100.1:9093 in advertised listeners are already registered by broker 0

failed: Configured end points 192.168.100.1:9093 in advertised listeners are already registered by broker 0

А почему один адрес на всех, они у тебя за лб, что ли ?

Лб - load balancer

Именно.
Доступ между сетями организован через прокси-ноду и там лб до Кафки

Из того что я знаю - это кривая конфа (

с кафкой так нельзя

ну в смысле сделать то можно, но хорошего ничего не будет

Понял вас.

Я могу настроить второй и третий брокер на какой-нибудь левый EXTERNAL endpoint, на который никогда не будут приходить запросы и заработает?

Нет

Правильный сценарий - если ты хочешь две Кафки

И между ними штука, которая уметь ходить в обе и синхрить - либо миррор мейкер, либо что-то свое

Можешь поггулить - Кафка за лб это не очень поддерживаемый сценарий, Кафка сама балансирует запросы