Size: a a a

2020 April 06

VG

Vik Gamov in pro.kafka
Sander 🕶
тут можно по сути так же сделать, но может есть еще какие-нибудь варианты, просто хотелось бы все услышать или хотя бы парочку.
опять мудришь?
Народ все правильно говорит
источник

VG

Vik Gamov in pro.kafka
про Protobuf/json schema support в Schema Registry
источник

S🕶

Sander 🕶 in pro.kafka
Vik Gamov
опять мудришь?
Народ все правильно говорит
я для общего развития тоже спрашиваю
источник

DM

Daniel Matveev in pro.kafka
Vik Gamov
про Protobuf/json schema support в Schema Registry
очень удобно потом искать инфу по кругляшам
источник

VG

Vik Gamov in pro.kafka
Daniel Matveev
очень удобно потом искать инфу по кругляшам
ну сорян
источник

S🕶

Sander 🕶 in pro.kafka
крутой ответ, с видео )
1) вы сказали что на других языках не надо шарить pojos, что достаточно держать все в schema registiry и от туда он как-то будет вытягивать schemas,
можно по подробней как он будет вытягиват, куда класть, как взаимодействовать и почему с java это не работает?

2) то что надо скомпилить и шарить jar, вроде с этим все понятно,
немного не понял со схемами и schema registiry, как мне мои файлы ".avsc" класть в schema registiry,
просто допустим если я захочу сменить хостера серверов azure -> aws, чтоб я мог развернуть сервера без всяких проблем.
источник

S🕶

Sander 🕶 in pro.kafka
видосик наверное раз 5 посмотрел, каждый раз что-то новое узнаю.
источник

VG

Vik Gamov in pro.kafka
Sander 🕶
крутой ответ, с видео )
1) вы сказали что на других языках не надо шарить pojos, что достаточно держать все в schema registiry и от туда он как-то будет вытягивать schemas,
можно по подробней как он будет вытягиват, куда класть, как взаимодействовать и почему с java это не работает?

2) то что надо скомпилить и шарить jar, вроде с этим все понятно,
немного не понял со схемами и schema registiry, как мне мои файлы ".avsc" класть в schema registiry,
просто допустим если я захочу сменить хостера серверов azure -> aws, чтоб я мог развернуть сервера без всяких проблем.
в других языках классов может не быть. Да и Java strictly speaking pojo не нужны. Можно и в рантайме схему парсить. Иметь классы просто удобнее
источник

VG

Vik Gamov in pro.kafka
Sander 🕶
крутой ответ, с видео )
1) вы сказали что на других языках не надо шарить pojos, что достаточно держать все в schema registiry и от туда он как-то будет вытягивать schemas,
можно по подробней как он будет вытягиват, куда класть, как взаимодействовать и почему с java это не работает?

2) то что надо скомпилить и шарить jar, вроде с этим все понятно,
немного не понял со схемами и schema registiry, как мне мои файлы ".avsc" класть в schema registiry,
просто допустим если я захочу сменить хостера серверов azure -> aws, чтоб я мог развернуть сервера без всяких проблем.
Не понятно причем тут aws или azure
источник

VG

Vik Gamov in pro.kafka
SpecificAvroSerde И GenericAvroSerde умеют работать с schema registry и сами регистрируют. Можно руками класть, есть Java client для SR (который обёртка поверх rest API)
источник

М

Михаил in pro.kafka
Всем привет. Задался тут вопросом про кафку и многоподовую архитекутуру. Есть один кластер с одним топиком, в котором три (условно) партишна. Есть микросервис, в котором я запускаю одного консьюмера.

Кажется, что в случае двух подов (инстансов) моего приложения я получаю два консьюмера в одной консьюмер-группе. Не получится ли, что я дважды прочитаю одно и то же сообщение?
источник

М

Михаил in pro.kafka
Хотя если кафка гарантирует, что два консьюмера из одной консьюмер-группы не могут читать один и тот же партишен, то в случае, когда кол-во подов = кол-ву партишенов, то проблем не будет?
источник

A

Alex in pro.kafka
Да, количество консьюмер не может быть больше партиций
источник

A

Alex in pro.kafka
Один консьюмер читает от 0 до N партиций
источник

A

Alex in pro.kafka
0 это когда их больше партиций и кто-то курит в сторонке
источник
2020 April 07

М

Михаил in pro.kafka
Alex
Да, количество консьюмер не может быть больше партиций
А если консьмеров меньше, то всё равно не будет проблем с задублированными сообщениями?
источник

A

Alex in pro.kafka
Нет
источник

A

Alex in pro.kafka
У партиции может быть только 1 читатель из одной консьюмер группы
источник

A

Alex in pro.kafka
В вашем случае сразу один консьюмер читать будет все 3 партиции

Потом один будет читать 2 а второй 1 партиций
источник

A

Alex in pro.kafka
Запустите 4 инстанса и один будет ждать свободного места
источник