Это митап ? ))

Лол

Оч хороший ответ

https://stackoverflow.com/questions/49757709/kafka-streams-and-rpc-is-calling-rest-service-in-map-operator-considered-an-a

Спасибо, эти все ограничения подхода я понимаю.
В этом плане, я специально ушел от map к Transformer,
чтоб хотя бы соединение с внешним источником устанавливать один раз, а не на каждое событие.
И иметь возможность прикрутить кеширование ответов от внешней системы.
Хотелось бы еще, сделать батчевый запрос к внешней системе, но я не нашел аналога Transformer,
который на обработку принимал бы сразу пачку событий. Плохо искал?

Ну раз ты так усилено советуешь мне полностью начать жить в экосистеме кафки.
Задам вопрос и по ней:
Есть у меня поток данных, который надо обогатить информацией, допустим из 10 справочников.
Правильно ли я понимаю, что мне надо будет сделать 10 раз:
 streams.selectKey(<ключ справочника>)
На сколько это влияет на производительность?  
И второй вопрос selectKey все также не позволяет  указать новый Serde ключа?
https://issues.apache.org/jira/browse/KAFKA-4612
И мне все ключи справочников надо приводить к одному типу?

А как часто справочники меняются?

Есть которые редко меняются, но есть и те которые часто меняются.

Редко/часто у всех разные, лучше всё-таки хоть чуть-чуть конкретики. А то для кого-то раз в минуту может быть редко, а для кого-то часто. :)

а че велики в ход не пошли?

Скажу так, есть справочники изменения в которых желательно бы обнаружить менее чем за минуту.
Т.е. готовы мериться со временем, которое уходит пока CDC отловит эти изменения и ока они долетят до кафки и в кафке долетят до KTable.

Мне писали что это Нидерланды и я тоже удивился что велики не бросали. Но наверное велики это святое

Всем привет!
Есть способ доставки сообщений exactly-once от кафка?
При остановке консьюмера и последующем запуске могут формироваться дубли из-за временного лага коммита.

Дедубликация с помощью windowStore?

нету, https://amplitude.engineering/dedupe-events-at-scale-f9e416e46ca9

механизмами кафки вроде как нет, нужно крутить спец логику на консумере с сохранением результата обработки, прихранивать в какойнить БД

или может в мире чтото за 3 года изменилось?

Спасибо, т.е. дедубликация делается уже другим инструментом следующим шагом?

есть разные варианты сделать дедупликацию, выставляя всякие рестраи в кафке акновледжмент трекая специальный айдишник идемпотентный с кликстримов UI и тд, Но сама кафка тебе не дает никакой екзактли ванс обычно ето другими средствами должно достигаться, в кафка стримах есть параметр екзактли ванс но там видимо под капотом просто окно определенной длины в рокс бд где отсеиваются дубликаты через блум фильтр тот же

Понял, спасибо большое)