Телеграмм чат группы proKafka страница 1234

Подскажите, пожалуйста, есть ли возможность "сбросить" привязку обработчика стримов к партициям топиков? Есть обработчик, работающий на трёх узлах, который очень неравномерно распределил разделы между узлами, например из 6 партиций на двух узлах обрабатывается по одной, на третьем - четыре. Распределить бы равномерно...

источник

10:40пожаловаться #6

РН

Роман Новожилов in pro.kafka

Рестарт обработчиков не помогает, как сказать координатору сбросить конфигурацию? Версия kafka 2.3

источник

10:41пожаловаться #7

N

Nikolay in pro.kafka

Если рестарт ее помогает , то значит , что он всегда использует один и тот же алгоритм

источник

10:43пожаловаться #8

РН

Роман Новожилов in pro.kafka

Nikolay

Если рестарт ее помогает , то значит , что он всегда использует один и тот же алгоритм

Если остановить, сделать ребаланс лидеров и запустить - выравнивается. При смене лидера снова расползается.

источник

10:46пожаловаться #9

HK

Huan Karlos in pro.kafka

привет всем. подскажите плз как заставить mirror-maker 2.0 миррорить конфигурацию топиков?

источник

11:06пожаловаться #10

И

Игорь in pro.kafka

Роман Новожилов

Подскажите, пожалуйста, есть ли возможность "сбросить" привязку обработчика стримов к партициям топиков? Есть обработчик, работающий на трёх узлах, который очень неравномерно распределил разделы между узлами, например из 6 партиций на двух узлах обрабатывается по одной, на третьем - четыре. Распределить бы равномерно...

https://medium.com/streamthoughts/understanding-kafka-partition-assignment-strategies-and-how-to-write-your-own-custom-assignor-ebeda1fc06f3 это?

Medium

Understanding Kafka partition assignment strategies and how to write your own custom assignor

Kafka Clients allows you to implement your own partition assignment strategies for consumers. This can be very useful to adapt to specific

источник

12:33пожаловаться #11

РН

Роман Новожилов in pro.kafka

Игорь

https://medium.com/streamthoughts/understanding-kafka-partition-assignment-strategies-and-how-to-write-your-own-custom-assignor-ebeda1fc06f3 это?

Medium

Understanding Kafka partition assignment strategies and how to write your own custom assignor

Kafka Clients allows you to implement your own partition assignment strategies for consumers. This can be very useful to adapt to specific

Спасибо. Читал в changelog по 2.4 про кастомные подписки, покопаю ы эту сторону.

источник

12:37пожаловаться #12

Y

Yuriy in pro.kafka

Nikolay

А Кафка рест?

Мне кажется нет, но есть confluent community edition

источник

13:40пожаловаться #13

Э

Эльмир in pro.kafka

Yuriy

Уже 5.4 доступна (2.4 original)
Почему бы ее не использовать, а 4.0.2 больше года, если не 2-х

Просто взял девелопмент версию - а в ней 4.2. Сейчас попробую поднять продакшн.

источник

13:49пожаловаться #14

VG

Vik Gamov in pro.kafka

Nikolay

А Кафка рест?

Это есть Confluent community

источник

16:57пожаловаться #15

VG

Vik Gamov in pro.kafka

Эльмир

Просто взял девелопмент версию - а в ней 4.2. Сейчас попробую поднять продакшн.

Не бери 4.х

источник

16:57пожаловаться #16

A

Alexey in pro.kafka

Часто всплывает вопрос о отсылке файлов через кафку. Почитал чат и понял что это зло. Вопрос сильно ли это нагружает брокер? Есть не критичный к скорости топик с файлами. Можно переделать на reference store, но для этого надо обосновать что другие топики страдают (если это так).

источник

17:58пожаловаться #17

Y

Yuriy in pro.kafka

Alexey

Часто всплывает вопрос о отсылке файлов через кафку. Почитал чат и понял что это зло. Вопрос сильно ли это нагружает брокер? Есть не критичный к скорости топик с файлами. Можно переделать на reference store, но для этого надо обосновать что другие топики страдают (если это так).

Да а смысл вообще кидать файлы?
Не лучше загружать в какое-либо хранилище (FileNet как пример) и перекидывать метаинфу?

источник

18:13пожаловаться #18

N

Nikolay in pro.kafka

Так это паттерн для многих брокеров / очередей. Файл где -то на файловой системе распределенной , а в топик кладём ссылку

источник

18:16пожаловаться #19

A

Alexey in pro.kafka

Я согласен что отдельное хранилище лучше. Но решение на Кафке уже в продакшене. Плюс файлы там специфические, обычно меньше 1 Мб но редко бывают и 20 Мб. И нужны только чтобы обработать и в бд положить.

источник

18:23пожаловаться #20