ну в этом контексте лидер тоже является репликой?

Этот параметр не за это отвечает. Тебе нужен replication factor

да я понимаю что четное кол-во это не правильно - просто на Dev контуре напряг с ресурсами

тогда и не извращайся
в доке вроде прям строго написано, что использовать только нечетное кол-во, иначе тебе никто не обещает корректную работу

min.insync.replicas это о другом. как уже говорили выше. нужно настраивать количество реплик. вариантов множество. не забываем о ранжировании инстансов при указания хостов для партиций. есть сценарии "балансировщики" в дистрибутиве с кафкой

правильно ли я понимаю, что вот сейчас (добавил 3-ю реплику и изменил replication factor ) все должно быть хорошо, даже если я выключу node01?:

Topic:events        PartitionCount:1        ReplicationFactor:3     Configs:min.insync.replicas=2,flush.ms=50000,segment.bytes=1073741824,flush.messages=100000,max.message.bytes=1000000,index.interval.bytes=4096,segment.index.bytes=154624
        Topic: events       Partition: 0    Leader: 1       Replicas: 1,2,3 Isr: 1,3,2

min.insync.replicas=2 

Не будет работать и выдаст ошибку что то вроде Недостаточно реплик. Надо число реплики минус 1 для insynk

я же 3-ю добавил

min.insync.replicas=2

Вроде норм

для этого топика Replicas: 1,2,3 Isr: 1,3,2 - теперь норм , если 1-ю выключу? :)

Продюсер ещё acks=all

Поставь

да, так и установлен

Слушайте, а есть ли какое то компромисное значение min.insync.replicas при 5 репликах? Скажем так у лэйтенси больший приоритет чем у консистенси

2

Спс

Привет. У меня тут топик был размером 160 гигабайт (согласно jmx). Топик с компакшоном.
Я создал новый топик и смиррорил все из старого в новый. Т.е. по сути прочитал данные из первого и залил в новый.
Все данные на месте, но новый топик весит 30 гигабайт.

Если кто-то разбирается во внутренностях того как кафка хранит файлы на диске, то подскажите, пожалуйста, что тут происходит.

Есть подозрение что это как-то связано с тем что со временем компактящийся топик стал фрагментирован и с тем как кафка хранит на диске блоками и сжимает блоками.

привет, кто-нибудь использует кафка кластер между двумя датацентрами с hierarchical quorum в zookeeper'ах?
Интерестно, как это работает. Гоогл почему-то не много информации по этому вопросу выдает.

Посмотри доклад Jakub Korab с Kafka summit London 2019