Size: a a a

2020 August 22

DL

Denis Larionov in pro.kafka
Можете подсказать, где почитать/посмотреть про оптимальный путь kafka stream и хранение данных?
источник

GM

Gleb Mekhrenin in pro.kafka
Alexandr Smirnov
А как насчёт Кафки на го?
Гг, только хотел предложить к списку добавить
источник

V

Vadim in pro.kafka
коллеги как брокеры и партиции оптимально по 2м цодам разбить?
источник

Y

Yuriy in pro.kafka
Vadim
коллеги как брокеры и партиции оптимально по 2м цодам разбить?
Broker rack
источник

V

Vadim in pro.kafka
допустим а как лучше распределить? 3 партиции если, то 2 в одном цоде окажутся,  если будет сбой то 1 останется, она может продолжить работать?
источник

Y

Yuriy in pro.kafka
Vadim
допустим а как лучше распределить? 3 партиции если, то 2 в одном цоде окажутся,  если будет сбой то 1 останется, она может продолжить работать?
Broker rack гарантирует, что фолловерские партиции не будут находиться в одной стойке=цод с лидерскими
Если например у тебя 2 брокера
Один в одном, другой во втором цоде
3 партиции, с фактором реплик = 2, то при падении 1 ЦОДа, все будет работать
источник

V

Vadim in pro.kafka
ой да, реплик фактор имел ввиду
источник

V

Vadim in pro.kafka
просто вроде сделал
default.replication.factor=3

min.insync.replicas=2
источник

V

Vadim in pro.kafka
чтобы проблем с выбором лидера не было 3 реплики
источник

V

Vadim in pro.kafka
но тогда 2 отвалятся и не будет работать
источник

V

Vadim in pro.kafka
придется на 2 реплики переходить, а в таком случае не будет проблем с выбором лидера
источник

Y

Yuriy in pro.kafka
Vadim
просто вроде сделал
default.replication.factor=3

min.insync.replicas=2
Ну если упадёт 2 из 3-х
То продюсер (при acks=all) получит исключение
источник

V

Vadim in pro.kafka
как в итоге лучше настроить? сделать
default.replication.factor=2

min.insync.replicas=1
источник

V

Vadim in pro.kafka
охото чтобы все продолжало работать
источник

Y

Yuriy in pro.kafka
У вас продюсер acks какое значение имеет?
источник

I

Ivan in pro.kafka
Выглядит заброшенным
источник

V

Vadim in pro.kafka
required.acks=-1     типа all дефолт
источник

Y

Yuriy in pro.kafka
Слушай, ну у тебя 3 брокера в 2-х цодах?
это не рационально, как по мне
источник

A

Artjom Kalita in pro.kafka
As an example, Splunk recently shared that one of the reasons they choose Pulsar over Kafka is that Pulsar is 1.5x - 2x lower in CAPEX cost with 5x - 50x improvement in latency and 2x - 3x lower in OPEX due to layered architecture (from slide 34). They found this was due to Pulsar being better able to utilize disk IO with lower CPU utilization and better control over memory.

https://www.slideshare.net/streamnative/why-splunk-chose-pulsarkarthik-ramasamy
отсюда
Было бы интересно их замеры посмотреть
источник

VG

Vik Gamov in pro.kafka
Это проект был для "поступления" в конфлуент
источник