Коннект - Apache v2 лицензия. Нет проблем. Платформы две версии - community и enterprise. Community можно бесплатно использовать для всего но только не для своего Кафка облака. Enterprise - надо лицуху покупать

Не для облака, то есть, если я не буду составлять конкуренцию самому же коннекту, ака продавать решение на базе коннекта, так? Просто у меня кафка в облаке, но она только как бэкенд используется.

Как то так, да

Короче если написано community можно смело брать в прод если ты не AWS или Яндекс.облако

Я так и подумал ;) Спасибо!

📣Сегодня три митапа и один стрим

https://twitter.com/ale_amurray/status/1304537544781168640?s=21

https://youtu.be/6mBY_GL_D5g

Всем привет. Сейчас погружаюсь немного в структурированость сообщений в кафке и обеспечение контрактов между продюсерами и консюмерами. Я так понимаю, на сегодняшний момент существует 3 способа описание схем для месседжей - avro, protobuf and json schema. В данном случае интересует avro vs protobuf. После прочтения нескольких статей, я так понял между ними плюс минус никакой концептуальной разницы. Оба хороши, чтобы описывать модели данных. Но возможно существуют какие-то подводные камни и например Avro более оптимизированна для кафки и сообщения лучше сжимаются и быстрее передаются?

Также интересует как на всю эту историю ложится Schema Registry? Честно говоря вообще не понял зачем он, если тот же протобаф можно положить в монорепу и таким образом у тебя также из коробки получается single source of truth и версионированность. Есть какие-то явные плюсы в использовании Schema Registry?

avro это больше стандарт де-факто для сериализации в кафке, сейчас вроде бы поддерживается и протобуф много где, но я бы выбрал авро.

Я бы смотрел где лучше кодогенерация для используемых стеков.
А если стек один, то вообще описывал бы контракт в рамках основного языка

Окей, а что с Schema Registry? От него есть какие-то явные плюсы?

Ну например возможность синхронно менять схему во всех зависимых клиентах + версионность.

Схема регистри это только в конфлюент или это отдельный продукт?

Я концов найти не могу что то

отдельный, но тесно интегрированный

А зачем? Какие сценарии? Версионность - это функция получателя в первую очередь, а не внешней системы.  Там же нет правил преобразования форматов по версиям?

При апгрейде например? Захотел ты добавить одно поле и на консьюмере и на продьюсере. Чтобы ничего не останавливать, не передеплоить, не олдскулить.

Слава, не кинете в меня ссылкой?

Реально ни коннект, ни схему найти не могу

А смысл? Если новому консьюмеру нужно это поле, он должен уметь обрабатывать и старый вариант и новый. И у него в датаклассе уже есть новое поле .

Можешь с обычной Кафкой использовать.