Телеграмм чат группы proKafka страница 1138

Приветствую! В кафке дуб дубом только начал разбираться. Подскажите пожалуйста какой бест практис разнесения кафки на 2 дата-центра? именно ровно 2 ни больше не меньше. Как лучше делать федерацию чтобы при отказе любого dc все продолжало работать? Спасибо.

источник

15:44пожаловаться #6

George Gaál in pro.kafka

делаешь ДВА кластера кафки + синхронизация (mirror-maker)

источник

15:48пожаловаться #7

Alex in pro.kafka

лучший бестпрактис - не иметь распределенной между дц кафки =)

источник

15:48пожаловаться #8

bykva in pro.kafka

George Gaál

делаешь ДВА кластера кафки + синхронизация (mirror-maker)

на какой из кластеров отправлять данные? с какого забирать? как переключать клиентов между кластерами если один откажет?

источник

15:49пожаловаться #9

George Gaál in pro.kafka

bykva

правильные вопросы задаешь ) а это уже зависит от специфики твоего приложения

источник

15:49пожаловаться #10

Alex in pro.kafka

всегда пишешь в мастер партицию,
следовательно чтобы иметь мультидс и не ходить в соседний датацентр нужно гарантировать что в каждом дц ты пишешь в нужную локальную партицию

следовательно кастомный партишинер и тд

источник

15:50пожаловаться #11

Alex in pro.kafka

https://circuitwall.com/articles/kafka-multi-dc/

источник

15:50пожаловаться #12

Alex in pro.kafka

то есть есть вот такие приседания, но по мне все они “попахивают”

источник

15:51пожаловаться #13

ИТ

Иван Темерёв in pro.kafka

Задача то вообще какая? Отказоутойчивость, или отмасштабироваться на прием?

источник

15:51пожаловаться #14

bykva in pro.kafka

отказоустойчивость. есть 2 площадки, на которых можем разворачиваться. было бы 3, наверное можно было бы просто сделать 1 кластер на 3 площадки, но унас 2.

источник

15:52пожаловаться #15

bykva in pro.kafka

или я чего-то не понимаю? =)

источник

15:52пожаловаться #16

George Gaál in pro.kafka

не надо 1 кластер на 3 площадки

источник

15:53пожаловаться #17

George Gaál in pro.kafka

там летенси в космос, скорость сети никто не гарантирует. И у тебя будет не быстрый кластер, а инвалид о трех ногах