АБ
Новые сообщения пойдут во все включая новые патриции, но для реблансировки старых нужен скрипт
их же не обязательно ребалансироать?
Size: a a a
2019 October 28
АБ
Мне главное чтобы консьюмеры обнаружили новые партиции
АБ
тоесть кафка ребалансировала консьюмеры
KS
В этом плане все будет ок
АБ
а то что в первых 4х партициях 100500 а в новых всего 10 - я думаю не страшно
АБ
надеюсь
2019 October 29
SB
а то что в первых 4х партициях 100500 а в новых всего 10 - я думаю не страшно
А это зависит от того, насколько критична последовательность глобально. Ведь новые сообщения с тем же ключём совсем не обязательно попадут в ту же партицию, что и старые.
АБ
А это зависит от того, насколько критична последовательность глобально. Ведь новые сообщения с тем же ключём совсем не обязательно попадут в ту же партицию, что и старые.
В конкретном случае вообще не важна последовательность. Ну. Не сильно типа.
AU
А при компакшне выживает сообщение с одинаковым ключом с максимальным оффсетом, или таймстампом или это конфигурируется?
То есть если например шла репликация через ММ или аналогичное. Произошёл фейл, сообщения были перенесены дважды.
Например скопировал данные но не смог закоммитить офсет. И потом ещё раз скопировал.
И физически вышло что более новые данные легли поверх более старых. И прошёл компакшн.
То есть если например шла репликация через ММ или аналогичное. Произошёл фейл, сообщения были перенесены дважды.
Например скопировал данные но не смог закоммитить офсет. И потом ещё раз скопировал.
И физически вышло что более новые данные легли поверх более старых. И прошёл компакшн.
AM
Кто-то сталкивался с ситуацией, что при создании контейнера с кафкой, в нём уже существуюет тема _schemas? Я понимаю, что нормальным решением будет просто переименовать топик для хранения схем у схема-регистри, но с чем связано само наличие этой темы, да ещё и с неверными конфигами изначально?
AM
Ну и следом вопрос - добавляю
-e SCHEMA_KAFKASTORE_TOPIC=test
в run скрипт контейнера, но параметр kafkastore.topic не меняется, оставаясь _schemas
-e SCHEMA_KAFKASTORE_TOPIC=test
в run скрипт контейнера, но параметр kafkastore.topic не меняется, оставаясь _schemas
Н
Ребяь посоветуйте хорошие курмы на udemy
https://www.udemy.com/user/stephane-maarek/ этого автора многие рекомендуют
IR
Николай
https://www.udemy.com/user/stephane-maarek/ этого автора многие рекомендуют
Спасибо тебе!
YP
Всем привет!
Вопрос - если мне в Kafka нужно разделить стрим по значению поля в json, при этом конечный набор значений этого поля мне неизвестен
Есть вариант это сделать?
Вопрос - если мне в Kafka нужно разделить стрим по значению поля в json, при этом конечный набор значений этого поля мне неизвестен
Есть вариант это сделать?
AM
Всем привет!
Вопрос - если мне в Kafka нужно разделить стрим по значению поля в json, при этом конечный набор значений этого поля мне неизвестен
Есть вариант это сделать?
Вопрос - если мне в Kafka нужно разделить стрим по значению поля в json, при этом конечный набор значений этого поля мне неизвестен
Есть вариант это сделать?
Если набор неизвестен, то по какому принципу будет разделение? Или подразумевается для каждого нового значения поля создавать новый стрим?
YP
Да, для каждого нового значения - новый стрим
AM
Да, для каждого нового значения - новый стрим
Я не знаток, но мне видится только вариант с приложением-консумером, которое мониторит топик в который пишет стрим, который нужно разделить и ведёт словарь. При появлении нового значения генерируется KSQL-предложение create stream с условием на новое значение и по rest api кидается в ksql-server.
Но выглядит как костыль, может, знатоки подскажут решение получше
Но выглядит как костыль, может, знатоки подскажут решение получше