NC
Делать рандомные consumer groups?
Size: a a a
2021 January 20
ДН
Подскажите как скрестить консьюмера кафки и роллинг апдейт в кубере: один консьюмер подключается к одному партишену. При обновлении новая версия не может подключится к кафке из-за одинаковой consumer-group
Всиысле вы прям консумеру топик партиции указываете?
ДН
Через subscribe можно просто подписаться на топик консумерами, кафка сама вам сообщения раздавать будет.
Если консумеров в одной группе больше чем партиций , сообщения просто получать не будете и все.
Если консумеров в одной группе больше чем партиций , сообщения просто получать не будете и все.
NC
Всиысле вы прям консумеру топик партиции указываете?
Сабскрайбимся, но т.к партиция одна - нужно иметь разные группы консумеров для роллинг апдейт
NC
Иначе под с такой же group id отваливается во время инициализации
ЧП
А партиция одна потому что так надо?
Если разные группы то может дублирование пойти же
Если разные группы то может дублирование пойти же
AS
коллеги, в чистой кафке (без confluent) есть такая опция .value.schema.validation ?
SB
в чистой кафке нет схем
НИ
в чистой кафке нет схем
https://cwiki.apache.org/confluence/display/KAFKA/KIP-686%3A+API+to+ensure+Records+policy+on+the+broker - хотелось бы добавить, но коммитеры пока не хотят)
SB
да, было бы классно
VG
Oleg Gavrilov
@gamussa я правильно понял, что я могу использовать ksql и schema registry в продукте, который делаю за деньги и который приносит деньги, если суть продукта не является предоставление kafka как услуги (т.е. я не конкурирую с confluent cloud)?
В общем и целом все так
NC
Чёрный Плащ
А партиция одна потому что так надо?
Если разные группы то может дублирование пойти же
Если разные группы то может дублирование пойти же
Да, такие требования
2021 January 21
AB
Это имеет значение?
имеет конечно
mongo source connector поддерживает только один таск. Порядок гарантируется. Коннектор работает поверх https://docs.mongodb.com/manual/changeStreams/
mongo source connector поддерживает только один таск. Порядок гарантируется. Коннектор работает поверх https://docs.mongodb.com/manual/changeStreams/
OG
https://cwiki.apache.org/confluence/display/KAFKA/KIP-686%3A+API+to+ensure+Records+policy+on+the+broker - хотелось бы добавить, но коммитеры пока не хотят)
а где предлагается схему хранить? в кипе не нашёл об этом
НИ
Oleg Gavrilov
а где предлагается схему хранить? в кипе не нашёл об этом
Каждый пользователь сам решит.
KIP про то, что бы появился стандартный API для проверки данных на стороне брокера, которые в топик записываются.
KIP про то, что бы появился стандартный API для проверки данных на стороне брокера, которые в топик записываются.
OG
Ясно
НИ
На это нужно накрутить реализацию, которая будет схемы подгружать и по ним проверять
НИ
В своей приватной сборке я такое реализовал и все работает
DL
кто нибудь может кинуть ссылку на kafka connector r2dbc?
YK
имеет конечно
mongo source connector поддерживает только один таск. Порядок гарантируется. Коннектор работает поверх https://docs.mongodb.com/manual/changeStreams/
mongo source connector поддерживает только один таск. Порядок гарантируется. Коннектор работает поверх https://docs.mongodb.com/manual/changeStreams/
Где я могу прочитать о том что моего коннектор не поддерживает больше одной таски? Я пытался найти, но не смог