Size: a a a

2019 November 18

VG

Vik Gamov in pro.kafka
Nikolay
Спасибо. У меня 2 дата центра. Стоит задача выбрать конфигурацию. Это или 2 брокера или 4 брокерами. Вот проверяю резные варианты.
Я просто оставлю это здесь


https://www.confluent.io/blog/multi-region-data-replication
источник

A

Alex in pro.kafka
источник

A

Alex in pro.kafka
ох тыж ёжик, чудо свершилось
источник

N

Nikolay in pro.kafka
Нам вроде 2 брокера хватало. Но тут я посмотрел видимо с HL.и там был случай описан. Что если у нас живой сейчас 1 брокер и происходит коррапшен этого брокера и он падает, то когда поднимитесь второй - он станет лидером и мы все потеряем ,что было в первом. Но тут выяснилось , что скорее я не правильно понял и такое возможно только если unclear.leader.election.enable = true. Вот и встал вопрос. Может на все же хватит 2 брокера
источник

A

Alex in pro.kafka
да, при unclear такое возможно
источник

A

Alex in pro.kafka
ну или при unclear.leader.election.enable = true НО настройках ask=1
источник

A

Alex in pro.kafka
так как запись прошла в первый брокер, а до второго ещё не доехала и он про неё не знает
источник

N

Nikolay in pro.kafka
Но если оставить unclear в false
. Может хватит 2 брокера ?
источник

A

Alex in pro.kafka
не уверен =)

ждем @gamussa
источник

VG

Vik Gamov in pro.kafka
Alex
не уверен =)

ждем @gamussa
Из того что я прочитал мельком (сорян, я тут в декрете, одного мелкого отвозил в садик пока другой спит) ты вроде все правильно говорил
источник

VG

Vik Gamov in pro.kafka
Nikolay
Но если оставить unclear в false
. Может хватит 2 брокера ?
Можно executive summary плиз
источник

N

Nikolay in pro.kafka
Vik Gamov
Можно executive summary плиз
А что такое executive summary?
источник

VG

Vik Gamov in pro.kafka
Nikolay
А что такое executive summary?
источник

VG

Vik Gamov in pro.kafka
Ну это когда к начальнику приходишь а он такой "к черту детали, дай мне картинку мира"
источник

VG

Vik Gamov in pro.kafka
Vik Gamov
Ну это когда к начальнику приходишь а он такой "к черту детали, дай мне картинку мира"
Это executive summary на executive summary
источник

VG

Vik Gamov in pro.kafka
Yaroslav Paramonov
Привет всем!

Подскажите, как сделать подобное преобразование с помощью plain Java + Kafka Streams


CREATE STREAM TESTDATA_CSV (ID INT, ARTIST VARCHAR, SONG VARCHAR) \
WITH (KAFKA_TOPIC='testdata-csv', VALUE_FORMAT='DELIMITED') -
источник

VG

Vik Gamov in pro.kafka
Ну и там же serializer
источник

N

Nikolay in pro.kafka
Vik Gamov
Ну это когда к начальнику приходишь а он такой "к черту детали, дай мне картинку мира"
ок. понял. Вопрос такой. чем архитектура 2 брокера по 1 в каждом из двух датацентрах хуже архитектуры в каждом датацентре по 2 брокера ( всего четеры). Вроде как видится, что по одному в каждом достаточно
источник

AC

Anton Churkin in pro.kafka
Nikolay
ок. понял. Вопрос такой. чем архитектура 2 брокера по 1 в каждом из двух датацентрах хуже архитектуры в каждом датацентре по 2 брокера ( всего четеры). Вроде как видится, что по одному в каждом достаточно
Ну если ты уверен, что один брокер выдержит нагрузку, став лидером для всего и вся(будем считать, что мы в идеальном мире и 100% времени он находится в статусе isr) , когда схлопнется второй и сможет жить достаточно долго до того, как второй вернется в строй, то почему бы и нет)
источник

N

Nikolay in pro.kafka
Anton Churkin
Ну если ты уверен, что один брокер выдержит нагрузку, став лидером для всего и вся(будем считать, что мы в идеальном мире и 100% времени он находится в статусе isr) , когда схлопнется второй и сможет жить достаточно долго до того, как второй вернется в строй, то почему бы и нет)
А как узнать какую нагрузку он может не выдержать ?
источник