N
Т.е на одно сообщение для синхронного продюсера уйдет не меньше 20 мс
Size: a a a
2020 February 03
GG
Nikolay
Это аргумент скорее к тому ,что нужно проверять пропускную способность и смотреть , какая вас устраивает . Устраивать может и 10мс, а может даже и больше. На основе лэтэнси почти невозможно вычислить пропускную способность , которую вам выдаст кафэка потому ,что тот же продюсер может пакетировать запросы. Вот если вы используете синхронного продюсера ,то ещё что -то можно посчитать.
+
GG
Но помимо Кафки у нас ещё есть ЗК. Который критичен к летенси
N
Как то я смотрел , что продюсер обращается к ЗК , но потом кеширует . Вот если бы кто рассказал как точно происходит процесс посылки( и считывания) сообщения и как в нем участвует ЗК.
GG
Зк не участвует в посылке сообщения, как я понимаю, пока сама топология Кафки не поменялась. Я имею в виду - ввод/вывод узлов, создание новых топиков и партиций и события лидер элекшена самой кафки
N
Если открыть kafkaproducer , то там есть вызов ЗК и потом кеширует полученной инфы от него в переменной класса
N
Продюсеру нужно знать метадату по топику . Она в ЗК
N
Продюсер должен вычислить лидера для партиции . Лидеры прописаны в ЗК
GG
Nikolay
Продюсеру нужно знать метадату по топику . Она в ЗК
Есть же конфа, когда метадата по топику в Кафка?
GG
Nikolay
Продюсер должен вычислить лидера для партиции . Лидеры прописаны в ЗК
Ну, эм, да. Но нет.
N
Метадату и ЗК и контроллер хранит. Контролелер живёт на одном из брокеров , а информация о нем в /controller ноде ЗК
N
Кафка у себя на постоянной основе хранит только офсеты. Все остальное в ЗК , но в кафке есть кэш этих данных, но не на всех брокерах
A
10 мс это не "маленькие латенси" уже, а несколько тысяч км. Если речь идёт о любого рода метро-клкстерах то 100 км между дц то еще варианты есть, но надо понимать как вы будете обрабатывать сплитбрейн и прочие состояния подобные при том что у вас будет по одной ноде зк и кафки на дц. То что сам датацентр может сколько угодно стабильным быть никак не защитит от того что может происходить с сетью, даже при условии что это один сервис провайдер и сети между дц якобы тоже его.
Опять же у меня сразу простой вопрос возникает, а у вас "обычных" бд нет? ну как бы кафку защитили, а остальное вообще не решаемо или невероятно сложно решаемо по факту за пределами одного дата центра.
Опять же у меня сразу простой вопрос возникает, а у вас "обычных" бд нет? ну как бы кафку защитили, а остальное вообще не решаемо или невероятно сложно решаемо по факту за пределами одного дата центра.
Решаемо :)
Мы все свои базы (монги, постгресы, тарантулы, кликхаусы и тд) и кафку в 3 дц сетапим )
Мы все свои базы (монги, постгресы, тарантулы, кликхаусы и тд) и кафку в 3 дц сетапим )
AU
свое волокно?
GG
Решаемо :)
Мы все свои базы (монги, постгресы, тарантулы, кликхаусы и тд) и кафку в 3 дц сетапим )
Мы все свои базы (монги, постгресы, тарантулы, кликхаусы и тд) и кафку в 3 дц сетапим )
Рассказывай
N
Решаемо :)
Мы все свои базы (монги, постгресы, тарантулы, кликхаусы и тд) и кафку в 3 дц сетапим )
Мы все свои базы (монги, постгресы, тарантулы, кликхаусы и тд) и кафку в 3 дц сетапим )
На записи ждете ответа большинства или готовы терять данные при падении?
N
Если дата центы рядом , то можно ждать и мажорити кворум.
N
У нас КХ работает даже ,если ЗК лидер за океаном