https://github.com/apache/kafka/blob/trunk/generator/src/main/java/org/apache/kafka/message/MessageDataGenerator.java при сборке генерирует классы из json файлов типа такого -

https://github.com/apache/kafka/blob/trunk/clients/src/test/resources/common/message/SimpleExampleMessage.json

всем привет. может кто то сталкивался с тем, что kafka-connect округляет таймстемпы при работе с postgresql (а возможно и не только с ним), до милисекунд, это поведение можно как то победить?

шта?

понял

А какой именно коннектор?

jdbc sink

Я похоже сегодня побью рекорд по глупым вопросам
Но как сделать несколько настроек в yml для разных теплейтов?
Вот в одном у меня ключ Long, в другом у меня String
А конфиг yml один :)

через енвайромент вариейблы

кафка то тут причем

Потому что я как понимаю это кафка-спринг и оно как-то магическим образом подсасывается

Spring profiles?

spring может межить несколько конфигов

Всем привет! Может быть кто-то сталкивался с похожим поведением - часто зависает перенос партиций между брокерами через reassign-partitions. Какое-то время миграция идёт нормально, но потом просто застревает на одном месте и оставляет  in progress партиции с уже увеличенным числом реплик. Дальше процесс миграции висит бесконечно до того момента пока его не прибить и не запустить повторно на оставшихся партициях.

В чем причина такого поведения? Как-то можно избежать периодического подвисания?

Повторялось и на Kafka 2.1 и на 2.4

Дамы и господа, а кто живет на ванильной кафке, вы хортоновским регистром пользуетесь? есть в нем какой-то смысл вообще, по сравнению с confluent?

если я правильно помню, он умел не только в авро
но с ним были и проблемы (давно)

он еще и базу хочет, не в кафке хранит схемы

может с Amazon MSK кто-то использует, там внутри нет никакого регистра же (и с базой это кажется удобнее)