VG
Это все уже делается на выходе из нашей кафки. Здесь нужен простой и надежный коннектор, потому что работает в закрытом контуре. А что можно сказать о надежности ММ и репликатора ?
Replicator жи
Size: a a a
2020 March 12
2020 March 13
EG
java. «купите».
ЮБ
если есть деньги - купите Skyrim Confluent replicator
Чем mirror maker плох?
ЮБ
Вроде задача — лить один к одному из одной кафки в другую. Это же как раз его задача.
VG
Вроде задача — лить один к одному из одной кафки в другую. Это же как раз его задача.
Ну там много но
Он не про репликацию а про именно зеркалирование
Он не про репликацию а про именно зеркалирование
ЮБ
А разве не про зеркалирование речь?
AP
В общем, да. Надо просто отзеркалить несколько топиков.
D
В общем, да. Надо просто отзеркалить несколько топиков.
в новой версии переработали mirror maker. попробуйте его)
AP
Да, после двух дней чтения сейчас собираюсь локально потестить мейкер2 и уберовский репликатор на отказоустойчивость и выбрать из них
A
в новой версии переработали mirror maker. попробуйте его)
Его не переработали, а новый написали
A
Чем mirror maker плох?
Ребаланс, например
Если у вас довольно много партиций в кластере, то любой ребаланс мм (например, упала одна нода) может минут на 15 и больше остановить репликацию
Если у вас довольно много партиций в кластере, то любой ребаланс мм (например, упала одна нода) может минут на 15 и больше остановить репликацию
A
Нет защиты от кольцевой репликации между двумя кластерами
A
Метаданные не передаются нормально, поэтому чтобы переключить консьюмеров на другой кластер, надо писать отдельный инструмент (если нужно сохранить положение офсетов)
A
И тд
AP
Нет защиты от кольцевой репликации между двумя кластерами
Вот это в новом ММ должно быть исправлено. По крайней мере так сказано в доках
AP
С уберРепликатором так:
поднял два кафка кластера по 3 ноды. Между ними засунул этот репликатор. В сурс кластере запустил генерацию сообщений.
И они потекли в дест-кластер.
Дальше роняю 1 или 2 ноды на сурсе. Все ок. Поднимаю обратно — тоже.
поднял два кафка кластера по 3 ноды. Между ними засунул этот репликатор. В сурс кластере запустил генерацию сообщений.
И они потекли в дест-кластер.
Дальше роняю 1 или 2 ноды на сурсе. Все ок. Поднимаю обратно — тоже.
AP
Надо еще внимательней посмотреть конечно. Но пока вот так
A
Вот это в новом ММ должно быть исправлено. По крайней мере так сказано в доках
Мы пока с ним не до конца разобрались
Не очень понятно есть ли уже сейчас поддержка консьюмер групп на несколько кластеров (в планах было такое сделать, но как это работает не разобрались с ходу)
Не очень понятно есть ли уже сейчас поддержка консьюмер групп на несколько кластеров (в планах было такое сделать, но как это работает не разобрались с ходу)