Size: a a a

2020 September 15

VG

Vik Gamov in pro.kafka
Phil Delgyado
Я бы смотрел где лучше кодогенерация для используемых стеков.
А если стек один, то вообще описывал бы контракт в рамках основного языка
Одно другому не мешает.
источник

PD

Phil Delgyado in pro.kafka
Vik Gamov
Одно другому не мешает.
Что и чему?
источник

S

Slava in pro.kafka
Phil Delgyado
А смысл? Если новому консьюмеру нужно это поле, он должен уметь обрабатывать и старый вариант и новый. И у него в датаклассе уже есть новое поле .
Тут в описании группы сказано просто кафка, но я так понял у многих кафка это только джава + кафка коннект и некий набор паттернов разработки из 90-х. Так вот, это не совсем так. У меня вполне проекты по многу лет в проде работают без вкомпилированных насмерть классов и не скажу, что медленно.
источник

PD

Phil Delgyado in pro.kafka
Slava
Тут в описании группы сказано просто кафка, но я так понял у многих кафка это только джава + кафка коннект и некий набор паттернов разработки из 90-х. Так вот, это не совсем так. У меня вполне проекты по многу лет в проде работают без вкомпилированных насмерть классов и не скажу, что медленно.
Ну, кафка может по разному работать - но все равно не понятно, а как консьюмеры и продьюсеры работали непонятно с чем.
Нельзя просто добавить новое поле, все равно оно должно откуда-то возникать и как-то обрабатываться.
источник

S

Slava in pro.kafka
Phil Delgyado
Ну, кафка может по разному работать - но все равно не понятно, а как консьюмеры и продьюсеры работали непонятно с чем.
Нельзя просто добавить новое поле, все равно оно должно откуда-то возникать и как-то обрабатываться.
Иногда продьюсер и косьюмер очень тупые на самом деле. Это даже изначально так, как раз сейчас происходит попытка их сделать умными.
источник

PD

Phil Delgyado in pro.kafka
В смысле "изначально". И что значит "тупые"?
источник

VG

Vik Gamov in pro.kafka
Phil Delgyado
Что и чему?
Схемы кодогенерации не мешают
источник

S

Slava in pro.kafka
У меня есть такой паттерн, продьюсеры пишут сообщения разных типов: девайс, юзер, лицензия. Каждый в свой топик, но у каждого одинаковый составной ключ. Консьюмеры это дело чуть трансформируют и пихают по ключу в Кассандру, в одну таблицу и получается полный профиль клиента, который апдейтится. Потом это идёт опять в кафку и в S3, где уже происходит анализ данных. Т.к. происходит только эволюция схемы, то синхронный апгрейд версии схемы ни к чему не обязывает и всё продолжает работать.
источник

S

Slava in pro.kafka
С точки зрения кейс-классов, простите, дата-классов, это сложноватый юзкейс конечно, но какой есть ;)
источник

S

Slava in pro.kafka
Phil Delgyado
В смысле "изначально". И что значит "тупые"?
Изначально, это значит до появления умных фреймворков и попыток риалтайм анализа и использования кафки как бд. Тупые значит с минимальным набором логики и трансформаций. Дамп по сути.
источник

PD

Phil Delgyado in pro.kafka
Если работает синхронный апгрейд схемы, то схема вообще не нужна.
Зачем тебе в этом паттерне нужна схема?
И что в ней сложного?
источник

О

Олег in pro.kafka
Slava
Любой в целом, наверное это даже не коннектор, а сама платформа только. Потребность выросла из желания использовать debezium для стриминга cdc из кассандры в кафку, а он жёстко завязан на коннект.
Расскажите, удалось опробовать дибезиум в проде? Я тоже думал заюзать, но версия 0.1 настораживает и думаю по старинке - триггеры навесить на таблицы...
источник

S

Slava in pro.kafka
Phil Delgyado
Если работает синхронный апгрейд схемы, то схема вообще не нужна.
Зачем тебе в этом паттерне нужна схема?
И что в ней сложного?
Схема нужна для людей в том числе. Два отдела договариваются о схеме, опять же нельзя ей не следовать в таком случае.
источник

VG

Vik Gamov in pro.kafka
Олег
Расскажите, удалось опробовать дибезиум в проде? Я тоже думал заюзать, но версия 0.1 настораживает и думаю по старинке - триггеры навесить на таблицы...
Ну у нас в confluent cloud много дебезиумных коннекторов в продет (ну ли почти)
источник

VG

Vik Gamov in pro.kafka
источник

S

Slava in pro.kafka
Олег
Расскажите, удалось опробовать дибезиум в проде? Я тоже думал заюзать, но версия 0.1 настораживает и думаю по старинке - триггеры навесить на таблицы...
Я до конца Q3 пока поставил задачу, так что пока нет ;) Могу по результатам отписать. Но с Кассандрой не сахар пока, даже думаю опробовать ScyllaDB взамен, но там дебезиум пока не пашет ;(
источник

О

Олег in pro.kafka
Vik Gamov
Ну у нас в confluent cloud много дебезиумных коннекторов в продет (ну ли почти)
А на каких базах? У меня mysql 5.7
источник

VG

Vik Gamov in pro.kafka
Олег
Расскажите, удалось опробовать дибезиум в проде? Я тоже думал заюзать, но версия 0.1 настораживает и думаю по старинке - триггеры навесить на таблицы...
Debezium 1.2 жи текущая. Или речь про конкретный коннектор?
источник

VG

Vik Gamov in pro.kafka
Олег
А на каких базах? У меня mysql 5.7
источник

N

Nikolay in pro.kafka
подскажиет . Sender посылает пачку всегда на лидера?
источник