Э
Size: a a a
2020 December 11
A
Если кратко, причины исторические, для упрощения разработки (не повторять функционал зукипера).
А теперь кафка взросла и самостоятельна и цена деплоя и поддержки двух компонентов стала дороже чем цена встраивания синхронизации метаданных в инфраструктуру самой кафки.
А теперь кафка взросла и самостоятельна и цена деплоя и поддержки двух компонентов стала дороже чем цена встраивания синхронизации метаданных в инфраструктуру самой кафки.
удалили ноды зоокипера и ….
поэтому ввели новые типы нод для самой кафки =) которые будут отвечать за метаданные
поэтому ввели новые типы нод для самой кафки =) которые будут отвечать за метаданные
ks
Добрый день/вечер.
Прошу помощи, т.к. не понятно какие подходы/методы организации работы нескольких кластеров кафки можно использовать (
К примеру, имеем 2 территориально-удаленных ЦОДа(500-1000 км друг от друга), в каждом ЦОДе работают свои региональные пользователи и приложения.
В каждом ЦОДе используется свой внутренний кластер Кафка.
Как можно организовать/построить работу с Кафкой так, чтобы можно было относительно легко производить переключения пользовательских приложений (продюсеров, консумеров) с одного одного кластера Кафка (один ЦОД) на
другой кластер Кафка (другой ЦОД) в случаях внештатных ситуаций? В идеале, чтобы содержимое топиков кластеров было синхронизировано, офсеты совпадали. В таком случае переключения работы могут быть незаметными для пользовательских приложений.
Это что-то вроде кластера кластеров получается? Подскажите, с какой стороны подойти можно к этому вопросу. Какими инструментами можно воспользоваться?
Заранее спасибо.
Прошу помощи, т.к. не понятно какие подходы/методы организации работы нескольких кластеров кафки можно использовать (
К примеру, имеем 2 территориально-удаленных ЦОДа(500-1000 км друг от друга), в каждом ЦОДе работают свои региональные пользователи и приложения.
В каждом ЦОДе используется свой внутренний кластер Кафка.
Как можно организовать/построить работу с Кафкой так, чтобы можно было относительно легко производить переключения пользовательских приложений (продюсеров, консумеров) с одного одного кластера Кафка (один ЦОД) на
другой кластер Кафка (другой ЦОД) в случаях внештатных ситуаций? В идеале, чтобы содержимое топиков кластеров было синхронизировано, офсеты совпадали. В таком случае переключения работы могут быть незаметными для пользовательских приложений.
Это что-то вроде кластера кластеров получается? Подскажите, с какой стороны подойти можно к этому вопросу. Какими инструментами можно воспользоваться?
Заранее спасибо.
AU
Погугли Confluent platform reference architecture. Там были рекомендации по типам инстансов в major Cloud providers
Спасибо
VG
kolek_nn s
Добрый день/вечер.
Прошу помощи, т.к. не понятно какие подходы/методы организации работы нескольких кластеров кафки можно использовать (
К примеру, имеем 2 территориально-удаленных ЦОДа(500-1000 км друг от друга), в каждом ЦОДе работают свои региональные пользователи и приложения.
В каждом ЦОДе используется свой внутренний кластер Кафка.
Как можно организовать/построить работу с Кафкой так, чтобы можно было относительно легко производить переключения пользовательских приложений (продюсеров, консумеров) с одного одного кластера Кафка (один ЦОД) на
другой кластер Кафка (другой ЦОД) в случаях внештатных ситуаций? В идеале, чтобы содержимое топиков кластеров было синхронизировано, офсеты совпадали. В таком случае переключения работы могут быть незаметными для пользовательских приложений.
Это что-то вроде кластера кластеров получается? Подскажите, с какой стороны подойти можно к этому вопросу. Какими инструментами можно воспользоваться?
Заранее спасибо.
Прошу помощи, т.к. не понятно какие подходы/методы организации работы нескольких кластеров кафки можно использовать (
К примеру, имеем 2 территориально-удаленных ЦОДа(500-1000 км друг от друга), в каждом ЦОДе работают свои региональные пользователи и приложения.
В каждом ЦОДе используется свой внутренний кластер Кафка.
Как можно организовать/построить работу с Кафкой так, чтобы можно было относительно легко производить переключения пользовательских приложений (продюсеров, консумеров) с одного одного кластера Кафка (один ЦОД) на
другой кластер Кафка (другой ЦОД) в случаях внештатных ситуаций? В идеале, чтобы содержимое топиков кластеров было синхронизировано, офсеты совпадали. В таком случае переключения работы могут быть незаметными для пользовательских приложений.
Это что-то вроде кластера кластеров получается? Подскажите, с какой стороны подойти можно к этому вопросу. Какими инструментами можно воспользоваться?
Заранее спасибо.
Начни с моего доклада https://youtu.be/nQd209e9eCY
IH
Насчёт писателя Кафки. Сегодня был в минском книжном (Книжный дворик). Гена утверждает, что Кафка-писатель нынче очень популярен у читателей
t
Всем привет
Подскажите, плз, а как настроить
Рекомендуют сетить вот так spring.cloud.
max.partition.fetch.bytes = 1048576
Подскажите, плз, а как настроить
max.partition.fetch.bytes для spring cloud stream? Рекомендуют сетить вот так spring.cloud.
stream.kafka.bindings.my_binding_name.consumer.configuration.max.partition.fetch.bytes. Но, судя по логам, не вышло засетить, так как пишет, что max.partition.fetch.bytes = 1048576
2020 December 12
VG
terancet
Всем привет
Подскажите, плз, а как настроить
Рекомендуют сетить вот так spring.cloud.
max.partition.fetch.bytes = 1048576
Подскажите, плз, а как настроить
max.partition.fetch.bytes для spring cloud stream? Рекомендуют сетить вот так spring.cloud.
stream.kafka.bindings.my_binding_name.consumer.configuration.max.partition.fetch.bytes. Но, судя по логам, не вышло засетить, так как пишет, что max.partition.fetch.bytes = 1048576
spring.cloud.stream.kafka.binder.consumer-properties