Size: a a a

2020 January 20

A

Anatoly Soldatov in pro.kafka
Vitalij
но он будет работать без какого либо ручного вмешательства, или надо его руками из группы кворумов выкинуть?
Нет, надо будет его из иерархического кворума в обычный будет перевести чтобы он заработал, на сколько я понял
источник

A

Anatoly Soldatov in pro.kafka
Если бы он сам себя мог перевести, то был бы возможен сплит брейн и в двух ДЦ оба кворума стали бы считать себя главным кворумом
источник

V

Vitalij in pro.kafka
Anatoly Soldatov
Нет, надо будет его из иерархического кворума в обычный будет перевести чтобы он заработал, на сколько я понял
ок, понял, спасибо
источник
2020 January 21

ὦan in pro.kafka
Когда у стрима вызывается метод .start, стрим обрабатывает сообщения до тех пор, пока программа (в которой работает стрим) не закончит свое выполнение?
Это я к чему - достаточно 1 раз вызвать метод .start, чтобы стрим работал в background-e?
источник

λ

λλ in pro.kafka
ὦan
Когда у стрима вызывается метод .start, стрим обрабатывает сообщения до тех пор, пока программа (в которой работает стрим) не закончит свое выполнение?
Это я к чему - достаточно 1 раз вызвать метод .start, чтобы стрим работал в background-e?
Ты про какое апи друг, фс2 кафка? Кскуель, кстрим, сырой кафка консумер джавовый, альпака
источник

ὦan in pro.kafka
λλ
Ты про какое апи друг, фс2 кафка? Кскуель, кстрим, сырой кафка консумер джавовый, альпака
Ой, извиняюсь
Джавовые стримы кафки, KStream (kafka-streams-0.11)
источник

s

step.kh in pro.kafka
step.kh
Забыл добавить в файл саму команду: bin/sasl-kafka-topics.sh --create --bootstrap-server localhost:9094 --replication-factor 1 --partitions 1 --topic my-topic
Кажется, что этот sh не воспринимает jvm option. Kafka-console-producer.sh и kafka-console-consumer.sh с указанием опций --producer.config и --consumer.config соответственно цепляются к kafka без ошибок.
источник

N

Nazar in pro.kafka
Anatoly Soldatov
Stretched кластер
По 3 ноды на дц
не ясно, как себя поведет кафка, когда связи не будет с одним ДЦ, по идеи в отвалившемся ДЦ все равно будет кворум.
источник

NR

Nikita Ryanov in pro.kafka
ὦan
Когда у стрима вызывается метод .start, стрим обрабатывает сообщения до тех пор, пока программа (в которой работает стрим) не закончит свое выполнение?
Это я к чему - достаточно 1 раз вызвать метод .start, чтобы стрим работал в background-e?
Дважды там и не получится вызвать :)  https://kafka.apache.org/20/javadoc/org/apache/kafka/streams/KafkaStreams.html#start--
источник

A

Anatoly Soldatov in pro.kafka
Nazar
не ясно, как себя поведет кафка, когда связи не будет с одним ДЦ, по идеи в отвалившемся ДЦ все равно будет кворум.
Нету никакой разницы с обычным сетапом
Считайте, что один дц это один сервер в обычном сетапе кафки на 3 сервера
И ведёт она себя также, как если бы между двумя серверами в сетапе из 3 серверов пропала связь
источник

N

Nazar in pro.kafka
Хм. в целом да.
источник

N

Nazar in pro.kafka
источник

N

Nazar in pro.kafka
я еще вот что нашел на эту тему
источник

A

Anatoly Soldatov in pro.kafka
Спасибо, интересно :)
источник

A

Anatoly Soldatov in pro.kafka
У нас, кстати, пока единственный неприятный кейс с разрывом сети был когда зукиперы видели весь кластер кафки, а все ноды кафки стали изолированны от внешнего мира
В итоге кластер думал, что он здоров и все ок, а все клиенты сломались и не могли продолжать работать
источник

AK

Alexander Kovalev in pro.kafka
Anatoly Soldatov
У нас, кстати, пока единственный неприятный кейс с разрывом сети был когда зукиперы видели весь кластер кафки, а все ноды кафки стали изолированны от внешнего мира
В итоге кластер думал, что он здоров и все ок, а все клиенты сломались и не могли продолжать работать
клиенты в смысле клиенты кафки, или ноды кафки(клиенты зукипера)?
источник

A

Anatoly Soldatov in pro.kafka
Ноды кафки перестали видеть внешний мир (друг друга и зукиперов)
источник

A

Anatoly Soldatov in pro.kafka
Но извне их было видно
источник

ὦan in pro.kafka
Есть что-то почитать про системы/как правильно делать на event sourcing?
источник

DM

Daniel Matveev in pro.kafka
ὦan
Есть что-то почитать про системы/как правильно делать на event sourcing?
источник