Это не отменяет моего высказывания про написать руками быстрее чем 1 консумер на партицию все равно не получиься а все остальное пишется не сложно

спасибо, я добавил в классификацию "свое приложение", интересно у кого что еще

Есть ещё flume с синками и сорцами кастомными не знаю на сколько оно живое

тоже давно не видел, но там точно нет масштабируемости и батчевой семантики: когда останавливать джоб после запуска

Всем привет,
небольшой вопрос по kafka + spring ...

можно ли как-то послать сообщение/message, только после того когда транзакция завершится и запись будет добавлена в базу данных.

я то я делаю send message, данные попадают на другой service - однако запись в базу еще не была произведена,
поэтому у меня падает запрос с exception, так как в базе еще нет такой записи,
сообщение улетает раньше - чем завершится сама транзакция в базу.

Ребята, подскажите пожалуйста по InteractiveQuery. Мы собираем агрегаты (счетчики) они пишутся в changelog и мы хотим иметь возможность кверить KeyValueStore но без запросов на другие инстансы. Пытаюсь прочитать changelog в GlobalKTable и использовать interactive query но получаю такую ошибку  The state store, some-store may have migrated to another instance.

Пример кода:
  val store = StreamsBuilder().globalTable("store-changelog", Materialized.as<String, MutableMap<String, Any>, KeyValueStore<Bytes, ByteArray>>("global-$storeName"))
               .queryableStoreName()

       streams.store(store, QueryableStoreTypes.keyValueStore())

🤔

Может кто нибудь подскажет, агрегат пишет в changelog и оттуда же пытаюсь прочитать сhangelog в GlobalKTable и получаю спам логов ] Unsubscribed all topics or patterns and assigned partitions. Это ожидаемое поведение? И почему так происходит?

Видел в Кафка топик Юи можно офсет откатить. То либо посмотреть как консольными методом откатить оффсет на желаемый и все снова перечитается

нет, не делай так. я против.
в принципе, ты можешь написать все что угодно, но я лично против. Читай про Single Writer Principle (в книжке Бена Стопфорда, ссылка на бесплатную версию есть гдето в канале)

мне предложили outbox pattern, но это снова новые инструменты настраивать, на что уже времени нет

ну извините 🤷‍♂️

я других вариантов не знаю, во всяком случаи не подсказали, но этот способ outbox паттерн я уже знал из книжки microservices pattern

если будут еще предложения буду рад услышат

в спринге на сколько мне известно не Transaction manager который бы и поддерживал кафкафские транзакции (как для JMS) например.

надо писать самому

но у меня по этому поводу принципиальная позиция

Спс

Вот эта? ;-)
https://www.confluent.io/designing-event-driven-systems/