Телеграмм чат группы proKafka страница 1563

./mirror_maker_consumer.cfg

bootstrap.servers=source_addr1:9092,source_addr2:9092,source_addr3:9092
exclude.internal.topics=true
group.id=mirror-maker
auto.commit.enabled=false

-- --

./mirror_maker_producer.cfg

bootstrap.servers=dest_addr1:9092,dest_addr1:9092,dest_addr1:9092
acks=-1
batch.size=1
client.id=mirror_maker_producer
retries=2147483647
max.in.flight.requests.per.connection=1

источник

12:11пожаловаться #6

Zellox in pro.kafka

процесс запускаю, но сообщения не реплицируются между площадками

источник

12:11пожаловаться #7

matt in pro.kafka

в mm2 ведь больше не нужно использовать producer/consumer схему https://cwiki.apache.org/confluence/display/KAFKA/KIP-382%3A+MirrorMaker+2.0#KIP382:MirrorMaker2.0-RunningadedicatedMirrorMakercluster

источник

13:35пожаловаться #8

2020 November 10

НК

Николай Крупий... in pro.kafka

https://t.me/data_events/502

Data online events & Moscow meetups

📅 12 НОЯБРЯ, ЧТ

✅Kafka Streams: Data everywhere! | 18:00 - 20:00 | Онлайн

💵 Беcплатно

Погрузитесь в мир распределенной обработки потоков данных в реальном времени с помощью Apache Kafka и Kafka Streams API. Как все это вписывается в новый мир облачных микросервисов? ⛅🖇️

💡 Присоединяйтесь к Anamarija и Irena, чтобы узнать, как разрабатывать и внедрять готовые к эксплуатации сервисы потоковой обработки, включая практические примеры, а также проблемы, с которыми вы можете столкнуться, и способы их решения. ⚙️🔩

Внимание: язык мероприятия - английский.

🔗 Ссылка на мероприятие:
https://bit.ly/2UcNCPy

источник

11:16пожаловаться #9

Artjom Kalita in pro.kafka

Тут новые замеры пульсар вс кафка подьехали -
теперь от пульсара
https://streamnative.io/blog/tech/2020-11-09-benchmark-pulsar-kafka-performance

StreamNative

Benchmarking Pulsar and Kafka - A More Accurate Perspective on Pulsar’s Performance.

This post presents StreamNative’s response to Confluent’s recent article “Benchmarking Apache Kafka, Apache Pulsar, and RabbitMQ: Which is the Fastest?”.

источник

12:56пожаловаться #10

Denis Larionov in pro.kafka

Добрый день.
Подскажите, пожалуйста.
Есть топик вида x.y.z, его слушают тысячи слушателей, можно ли сделать так, что бы не создавать тысячи
spring.cloud:
stream:
bindings:
chanleName:
destination: x.y.z.${id}

источник

13:37пожаловаться #11

N in pro.kafka

Привет, подскажите плиз есть ли у спринга контекст евент который сигнализирует о том что кафка продюсеры наконфигурены и можно пушить в кафку уже ?

источник

14:53пожаловаться #12

Sergey Bezrukov in pro.kafka

Denis Larionov

А где вы их создаёте "тысячи" и зачем?

источник

14:54пожаловаться #13

Denis Larionov in pro.kafka

Sergey Bezrukov

А где вы их создаёте "тысячи" и зачем?

к чему вопрос? Зачем мы это делаем? -> бизнес задача.

источник

14:56пожаловаться #14

Sergey Bezrukov in pro.kafka

Не "зачем" а "где"

источник

15:00пожаловаться #15

Sergey Bezrukov in pro.kafka

Если в конфиге спринга - тогда уже вопрос "зачем".

источник

15:01пожаловаться #16

Denis Larionov in pro.kafka

нет, тысячи создаются на топик x.y.z
я хочу их разделить, но как пока не знаю

источник

15:08пожаловаться #17

Sergey Bezrukov in pro.kafka

А group.id у них разные? Если одинаковые - то делать их больше, чем партиций в топике бессмысленно, если разные - то что значит "разделить"? Если у вас кластер, то по узлам читатели теоретически сами должны распределиться, без дополнительных действий с вашей стороны.

источник

15:15пожаловаться #18

Denis Larionov in pro.kafka

У слушателей разные.

источник

15:25пожаловаться #19

Denis Larionov in pro.kafka

Пока мне приходится определять нужно сообщение, разбирая его. А хочется сразу из топика

источник

15:26пожаловаться #20