В общем. Похоже, что полностью корректное решение этой задачи, с окнами и стрианием старых записей по retention, описано здесь: https://kafka-tutorials.confluent.io/finding-distinct-events/kstreams.html
Я сегодня изучал вопрос и проводил эксперименты. Не согласен, что там используется Transformer вместо ValueTransformer (это может привести к лишнему репартиционрированию дальше по конвейеру), но в целом  корректно

А вообще, в KStreamsAPI явно нужен метод distinct(TimeWindows, EventIdExctractor)

я на самом деле просто подсмотрел, как используется JSonSerde у меня... если есть способ элегантнее, с удовольствием заиспользую сам

Дамы и господа, а кто-то поддерживает у себя пакетный тулинг для выгрузки из Кафки куда-нибудь в BigQuery или оракл наприме? я пытаюсь систематизировать подходы, видел у клиентов connect коннекторы со специальными настройками для батча, тулинг на спарке и флинке, может кто-то еще что-то использует, или видел открытые тулы для этого?

Руками пишу делов на день

на спарке каком-нибудь?

Fs2 + скала,  но можно на чем угодно

ну это просто библиотека, как делаете масштабируемость, супервижен?

Что подразумевается по этим всем?

ну как запускаете на пачке серверов, как следите чтобы упавшие процессы поднимались заново?

Вы не разработчик?

Каждый партишен в отдельном потоке, чекпоинтинг со сторингом офсета и ретраями не достаточно?

ну то есть у вас просто стендэлоун приложение на скале, правильно я понял?

Да, цель просто перегнать данные и устоять перед фейлами консумера, парсинга и сделать делупликацию и тд