VB
ну колхоз что поделать, пока не поменять. Пришел на проект, такая кухня пока надо с этим жить какое то время
Size: a a a
2020 March 28
VB
в 1 топик сливаются данные по проектам компании Х (это другая команда делает), во 2 топик льются ассайменты людей на проекты, пока парни ручками делали (залить проекты в монгу, а поверх заливали ассайменты пользователей на проекты)
IR
Vladimir Bystrov
Привет, есть вопрос по консьюмингу из 2-х топиков, сперва надо чтобы консьюмер запроцессил все из топика1, пока не догонит продьюсера (lag=0), а потом стартануть процессинг консьюмер котрый читает из топика2. Если какой идиоматически правильный подход, как это автоматизировать? Пока статуем руками и смотрим через cli lag и потом ручками стартуем второго консьюмера
В kafka streams есть join, это то что нужно думаю
VB
спасибо, гляну
GG
эм... странно
GG
не логично ли было иметь одну шину сообщений в виде единого топика и оттуда выгребать нужные события, но фиг знает
GG
вариантов заимплементить дофига
GG
у всех будут какие-то ограничения
2020 March 29
DC
А kafka работает если консьюмер далеко от брокера? через океан? 250 мс. пинги? Хочется много консьмеров (10) (разные группы) -- в разных концах планеты.
VG
А kafka работает если консьюмер далеко от брокера? через океан? 250 мс. пинги? Хочется много консьмеров (10) (разные группы) -- в разных концах планеты.
лучше не надо
DC
хмм, а какой другой стриминг умеет такое? Скажем продьюсер в хецнере, а читать надо в 10 местах по всей планете?
_
хмм, а какой другой стриминг умеет такое? Скажем продьюсер в хецнере, а читать надо в 10 местах по всей планете?
в Pulsar из коробки http://pulsar.apache.org/docs/en/administration-geo/
N
А в чем именно будут проблемы для консьюмеров, если лэтэнси на чтение 250 МС. Он же читает батчами .
N
В итоге будет считать больше 4 сообщений в секунду . На сколько больше непонятно , но может этого хватит.
N
Vladimir Bystrov
в 1 топик сливаются данные по проектам компании Х (это другая команда делает), во 2 топик льются ассайменты людей на проекты, пока парни ручками делали (залить проекты в монгу, а поверх заливали ассайменты пользователей на проекты)
Проектов же наврятли много, да и людей тоже. Зачем все так сделано.
GG
Nikolay
А в чем именно будут проблемы для консьюмеров, если лэтэнси на чтение 250 МС. Он же читает батчами .
А если ребаланс кластера ?
N
У них консьюмеры далеко от брокеров. А сами брокеры рядом друг с другом
VB
Nikolay
Проектов же наврятли много, да и людей тоже. Зачем все так сделано.
сие науке неизвестно
2020 March 30
МИ
Можно ли как-то добиться schema validation у коммьюнити версии confluent platform? Если нет, то тогда зачем там доступна schema registry? Какие у нее юзкейсы без schema validation на брокерах?
VG
Можно ли как-то добиться schema validation у коммьюнити версии confluent platform? Если нет, то тогда зачем там доступна schema registry? Какие у нее юзкейсы без schema validation на брокерах?
Client-side schema validation