Телеграмм чат группы proKafka страница 1512

2020 September 25

N

Nikolay in pro.kafka

мне только сомнительно почему нет какого-то интервала. почему они не дидосят лидера

источник

11:55пожаловаться #1

I

IV in pro.kafka

Vik Gamov

Там есть методы с ключем или с value. Если методы с ключем repartition крайне возможен. KIP про оптимизации сходу не нашел - уточню в команде

Co-partition и re-partition это одно и тоже?
https://medium.com/xebia-france/kafka-streams-co-partitioning-requirements-illustrated-2033f686b19c

Medium

Kafka Streams, co-partitioning requirements illustrated

Kafka Streams is the stream processing library included with Apache Kafka. It enables continuous transformation on events at very low…

источник

12:46пожаловаться #2

VG

Vik Gamov in pro.kafka

IV

Co-partition и re-partition это одно и тоже?
https://medium.com/xebia-france/kafka-streams-co-partitioning-requirements-illustrated-2033f686b19c

Medium

Kafka Streams, co-partitioning requirements illustrated

Kafka Streams is the stream processing library included with Apache Kafka. It enables continuous transformation on events at very low…

Нет

источник

15:39пожаловаться #3

I

IV in pro.kafka

Vik Gamov

Нет

Тогда что есть что и где почитать про механизмы? 🤔 Так понимаб твой ответ был как раз про co-partition

источник

15:41пожаловаться #4

VG

Vik Gamov in pro.kafka

Ко-партишенд это свойство. Ре-партишенинг - это процесс чтобы привести к ко-партишенд стримама

источник

15:45пожаловаться #5

I

IV in pro.kafka

Vik Gamov

Ко-партишенд это свойство. Ре-партишенинг - это процесс чтобы привести к ко-партишенд стримама

не нашёл явного описания процессов к сожалению, говорили сможете у коллег уточнить, не нашлось ссылки?)

источник

15:46пожаловаться #6

V

VladMl in pro.kafka

IV

Тогда что есть что и где почитать про механизмы? 🤔 Так понимаб твой ответ был как раз про co-partition

всегда когда меняется key будет re-partition. Например selectKey, и это "тяжелая" операция в кафке

источник

15:56пожаловаться #7

I

IV in pro.kafka

VladMl

всегда когда меняется key будет re-partition. Например selectKey, и это "тяжелая" операция в кафке

хотелось бы понять как этот процесс происходит и какое влияние на диск по месту даст

источник

15:57пожаловаться #8

V

VladMl in pro.kafka

данные отправляются на брокер с другим ключем и консюмятся заново. Как минимум дублирование данных

источник

15:59пожаловаться #9

I

IV in pro.kafka

VladMl

данные отправляются на брокер с другим ключем и консюмятся заново. Как минимум дублирование данных

вот не нашёл достойной доки

источник

16:26пожаловаться #10

V

VladMl in pro.kafka

ну в инете все есть :) вот https://www.confluent.io/blog/optimizing-kafka-streams-applications/#:~:text=The%20Kafka%20Streams%20DSL%20defines,same%20as%20the%20operation%20key. и вот https://stackoverflow.com/questions/55052283/what-exactly-happens-when-a-repartition-occurs-in-a-kafka-stream

Confluent

Optimizing Kafka Streams Applications | Confluent

With the release of Apache Kafka® 2.1.0, Kafka Streams introduced the processor topology optimization framework at the Kafka Streams DSL layer. This framework opens the door for various optimization techniques from the existing data stream management system (DSMS) and data stream processing literature.

источник

16:30пожаловаться #11

I

IV in pro.kafka

VladMl

ну в инете все есть :) вот https://www.confluent.io/blog/optimizing-kafka-streams-applications/#:~:text=The%20Kafka%20Streams%20DSL%20defines,same%20as%20the%20operation%20key. и вот https://stackoverflow.com/questions/55052283/what-exactly-happens-when-a-repartition-occurs-in-a-kafka-stream

Confluent

Optimizing Kafka Streams Applications | Confluent

With the release of Apache Kafka® 2.1.0, Kafka Streams introduced the processor topology optimization framework at the Kafka Streams DSL layer. This framework opens the door for various optimization techniques from the existing data stream management system (DSMS) and data stream processing literature.

а кстати, если выбирать между апаче кафкой и бесплатной версией конфлюет, есть смысл последнюю смотреть?

источник

16:35пожаловаться #12

Y

Yuriy in pro.kafka

IV

а кстати, если выбирать между апаче кафкой и бесплатной версией конфлюет, есть смысл последнюю смотреть?

Все зависит от потребностей
Если вам хватает ванильной, используете ванильную
Если вам нужно доп плюшки, то конфл

источник

16:49пожаловаться #13

I

IV in pro.kafka

Yuriy

Все зависит от потребностей
Если вам хватает ванильной, используете ванильную
Если вам нужно доп плюшки, то конфл

так понял, доп плюшки, которые интересны они уже за деньги

источник

16:49пожаловаться #14

Y

Yuriy in pro.kafka

Например?

источник

16:49пожаловаться #15

I

IV in pro.kafka

Yuriy

Например?

репликация, планирую несколько цодов и мирорить кластера

источник

16:50пожаловаться #16

Y

Yuriy in pro.kafka

Replicator от confl да, платный
Но есть другие решения)
Но не используйте mirror maker 1)

источник

16:50пожаловаться #17

I

IV in pro.kafka

в апачевской смотрел, там имрор мейкер 1й и 2й, так понимаю 2й предпочтительней, но там логику приложения менять

источник

16:51пожаловаться #18

Y

Yuriy in pro.kafka

ureplicator смотрели?

источник

16:51пожаловаться #19

Y

Yuriy in pro.kafka

От uber

источник

16:51пожаловаться #20