всем привет,
может можете поделиться впечатлением/опытом если используете кафка класетер на нескольких датацентрах. Конкретно интересует как ведет себя кафка, если латенси между двумя/всеми ДЦ вырастает не на долго? И как боретесь с этим? Может какие-нибудь конкретные рекомендации?

Для начала, Смотрим доклад Jakub Korab на kafka summit London 2019

да конечно, его уже посмотрел. Мне интерестно, кто использует мульти ДЦ архитектуру, как она показывает себя на практике. Все работает без проблем, или приходится сталкиваться с какими-нибудь проблемами, которых небыло в одном датацентре.

очевидно, что в мультидц есть проблемы, которых нет в одном дц

+

а вообще при прочих равных - я бы не делал растянутый кластер. а делал кластер per ДЦ и настраивал между ними миррормейкер + по возможности подумал об шардировании данных

а почему?

потому что 2 ДЦ с растянутым кластером по очевидным соображениям - неотказоустойчиво

тебе минимум нужно 3. Дальше ты думаешь про летенси между ДЦ. И что будет если оно будет скакать. Каналы связи не в твоей епархии и никто не гарантирует QoS

единственный шанс - если у тебя своя оптика или это не разные ДЦ, а разные AZ одного ДЦ или одного провайдера

понятно, спасибо. Да, летенси сейчас и беспокоят меня. В пронципе между 3 ДЦ у нас латенси маленкие < 10мс, но бывает моментами вырастают

и непонятно как кафка будет себя вести в таких условиях

10 мс это не "маленькие латенси" уже, а несколько тысяч км. Если речь идёт о любого рода метро-клкстерах то 100 км между дц то еще варианты есть, но надо понимать как вы будете обрабатывать сплитбрейн и прочие состояния подобные при том что у вас будет по одной ноде зк и кафки на дц. То что сам датацентр может сколько угодно стабильным быть никак не защитит от того что может происходить с сетью, даже при условии что это один сервис провайдер и сети между дц якобы тоже его.
Опять же у меня сразу простой вопрос возникает, а у вас "обычных" бд нет? ну как бы кафку защитили, а остальное вообще не решаемо или невероятно сложно решаемо по факту за пределами одного дата центра.

Нету там сплит брейна 🤦‍♂ там больше вопрос в том, что 2 ДЦ недостаточно для обеспечения отказоустойчивости

Касательно "остального" хороший вопрос

там же решение о приеме сообщение принимается не кворумом, или я опять пропустил всё?

Спроси у Глеба (с)

10мс - это не очень большое лэтэнси. Диски жёсткие обычно по 8 мс.

Не аргумент от слова совсем

Это аргумент скорее к тому ,что нужно проверять пропускную способность и смотреть , какая вас устраивает . Устраивать может и 10мс, а может даже и больше. На основе лэтэнси почти невозможно вычислить пропускную способность , которую вам выдаст кафэка потому ,что тот же продюсер может пакетировать запросы. Вот если вы используете синхронного продюсера ,то ещё что -то можно посчитать.