Всем привет!
Недавно начал осваивать Kafka и возник такой вопрос: существует ли какая то встроенная поддержка сценария, когда интересует не непрерывная обработка каких либо событий/данных, а когда нужно передать ограниченный набор данных, обработать его,  сохранить в БД и лишь после того,  как consumers отработат всю переданную пачку - сделать какое-либо действие?
К примеру,  каждый день в определенный момент времени приходит data set размером n записей.
Успешно кладем это в очередь,  успешно обрабатываем consumer(ами)...И дальше непонятно - как consumer может узнать что n(ое) сообщение последнее и выполнить какой-либо action, т.к только producer знает  сколько их было всего.
Пока в голову приходит  следующая реализация: обеспечить чтение в той же последовательности как запись и последним в очередь добавлять специальный объект-маркер,  обрабатывая который сервис поймет что это последний объект в цепочке.

На каждый проект свою Кафку

This

Тебе надо определиться что для тебя source of Truth и оттуда читать. Если в ktable нет - значит считать что ее нет

А для прода?

Можно сделать свой state store (хазелкастом какими-нибудь) и чтобы он удалял записи поttl

It depends

Топики разные у стендов сообщения не нужно читать

Только в рамкпх сервисов своего нецмспецса

Нагрузка небольшая

Multi Tenancy делать самом - это тот ещё квест

Смотри в сторону ручного коммита сообщений, как раз твой сценарий

Спасибо за ответ!  Но не очень понял: как ручной комит может помочь в определении того,  какой получаемый из очереди объект является последним...

Никак. Ты сам должен контролировать кол-во сообщений в батче и комитить соответственно

это возможно, но это надо обеспечивать на стороне продьюсера (например флаг в заголовке).  и в этом случае, таки да, ручной комит будет не лишним .

Ну и тогда свой партишинер ещё

Иначе как гарантировать что ваш флаг прочитал нужный консьюмер

ну да, есть ньюансы, но это уже детали рализации )

и я согласен, без этого всего можно жить

еще на разу не встречал кейса когда нельзя