Size: a a a

2019 December 17

A

Alex in pro.kafka
источник

A

Alex in pro.kafka
думаю начать знакомство стоит с этого, если нету знаний
источник

b

bykva in pro.kafka
значит решения всего 2 -
1) 2 площадки, по 1 кластеру и между ними реплика
2) 1 площадка с 1 кластером и все, вторая площадка не задействована
источник

b

bykva in pro.kafka
Alex
думаю начать знакомство стоит с этого, если нету знаний
спасибо
источник

A

Alex in pro.kafka
поймете что значит isr, зачем он нужен, и как это повлияет на скорость работы в вашем случае
а дальше решите действительно ли вам нужен кросдц кластер
источник

b

bykva in pro.kafka
Alex
поймете что значит isr, зачем он нужен, и как это повлияет на скорость работы в вашем случае
а дальше решите действительно ли вам нужен кросдц кластер
окей, пойду изучать теорию. спасибо
источник

GM

Gleb Mekhrenin in pro.kafka
George Gaál
там летенси в космос, скорость сети никто не гарантирует. И у тебя будет не быстрый кластер, а инвалид о трех ногах
этого в задаче кстати не было, может дц в нескольких км друг от друга и вообще все напрямую соединено, понятно же что никому не придет в голову делать такое за сотни и тысячи км
источник

GG

George Gaál in pro.kafka
ну, я на всякий случай
источник

GG

George Gaál in pro.kafka
)
источник

GG

George Gaál in pro.kafka
если это отдельные AZ (домены отказа) с понятной bandwidth/latency между ними.. ну. ок... можно попробовать )
источник

A

Alex in pro.kafka
Gleb Mekhrenin
этого в задаче кстати не было, может дц в нескольких км друг от друга и вообще все напрямую соединено, понятно же что никому не придет в голову делать такое за сотни и тысячи км
вы недооцениваете некоторых архитекторов и их идеи
источник

GG

George Gaál in pro.kafka
Alex
вы недооцениваете некоторых архитекторов и их идеи
+
источник

GM

Gleb Mekhrenin in pro.kafka
вообще интересно что возник вопрос про кафку кросдц после того как решили кросдц с остальными компонентами
источник

A

Alex in pro.kafka
что меня смущает в кроссдц кафке:
1) нужно сразу принять истину что будет или быстро (не ждем isr с удалённого дц) или отказоустойчиво (ждем isr со второго дц)
2) кастомный партишинер для записи (мы должны гарантировать что пишем локально)
3) кастомные настройки для чтения (мы должны как-то сказать под какие партиции мы подписываемся чтобы случайно не подписаться на удаленную, читать ведь ожидаем локальные)
4) топик с комитами всё равно надо размазывать по обоим дц, иначе будет боль
5) я до сих пор не видел что в этому случае делать с zookeeper (он то требует кворум для выбора мастера, следовательно как собрать 50%+1 голос при выпадении одного датацентра я вот так с ходу и не скажу)
источник

A

Alex in pro.kafka
причем пятый пункт никак не решается отказом от зукипера на свой велосипед
так как если нету кворума, то получаем сплит-брейн
источник

GG

George Gaál in pro.kafka
касательно п.5 - делаем кафку с ЗК в 3 ДЦ и офигеваем.
источник

GG

George Gaál in pro.kafka
(в плохом смысле)
источник

A

Alex in pro.kafka
ну тут было про 2 =) с тремя каждый может
источник

AZ

Anton Zadorozhniy in pro.kafka
третий нужен только чтобы один процесс ЗК запустить, подойдет что угодно
источник

AK

Alexander Kovalev in pro.kafka
если вы хотите читать только в локальную кафку и писать только в локальную кафку, может быть сделать не общий кластер, а реплику между отдельными кластерами?
источник