Хммм 🤔 всетаки они добавили апи как альтерить директории

То есть можно двигать диски без стопа брокера

чем следить за воркерами консьюмеров?

чтобы они работали и перезапускать их?

systemd/supervisord ?!

а на винде???

эм… ну не знаю даже)

там вроде что-то типа служб было

А что надо то конкретно?

Есть такое http://engineering.linkedin.com/kafka/intra-cluster-replication-apache-kafka


https://wuciawe.github.io/kafka/2017/03/09/notes-on-kafka-replication.html

Тогда гуглить доклады Jason Gustafson с Kafka Summit

This

Есть стейтфул сервис. хочу написать свою репликацию. Вот это думаю как раз то что нужно.

а это нормально что  bin/kafka-consumer-groups.sh постоянно показывает LAG 1 (не ноль), хотя по логам я вижу что consumer комитнул последнее обработанное сообщение (offset=77 - это последнее в топике)?

TOPIC              PARTITION  CURRENT-OFFSET  LOG-END-OFFSET  LAG             CONSUMER-ID                                        CLIENT-ID
esl_requests_frame 3          77              78              1               consumer-3-ab5b5834-32dd-467f-ab46-4e6ccf836c83    consumer-3

Может не надо? Может просто через что-то написанное сделать?

Свою репликацию сложно самому с нуля написать

Рассматриваем все варианты

Согласен, но есть возможности поэтому изучаем сколько будет стоить

а почему не просто сделать консьюмера и заливать данные?

или вы в плане: посмотреть как сделано в кафке и сделать так же

Да, в таком плане. Ну и посмотреть ещё несколько реализаций