Еду на Kafka Summit London, кто ещё?? 🤘

Касательно тестирования стримов, @gamussa ! Я тут на днях обнаружил кейс, когда в TestDriver всё хорошо проходит, а в настоящем кластере не работает.
Оказывается, TestDriver не одинаково с настоящим кластером прописывает headers, и десериализатор, который учитывает headers, может отлично тебе показать зелёные тесты в TestDriver, но абсолютно дико повести себя в настоящем кластере. Если нужно, дарю тебе этот пример для доклада, все подробности могу рассказать

Вопрос по стримам — допустим, у меня компактед топик. И я хочу сделать из него KTable. По-умолчанию создастся дополнительный changelog топик, который будет полной копией начального топика. Если же я укажу в материалайзере withLoggingDisabled, то changelog топика не будет. Но будет ли при этом нормально восстанавливаться состояние приложения при рестарте?

Оптимизация у меня включена all, но когда я делаю describe на топологии я всё равно вижу, что ченжлог топик создаётся, если не сделать явного withLoggingDisabled

Подписываюсь под вопросом - тоже интересует ответ, чет не смог наглулить

чем вам фс2 не угодил

Спасибо за дельный ответ по существу! Люблю такое!

будет

даже есть оптимизация которая как раз отключает создание changelog топика если source топик является так же и sink топиком

т е source топик = changelog топик

при этом он может и не быть вполне себе compacted

То есть при рестарте он топик будет с начального оффсета читать?

да

Ну вот у меня включена полная оптимизация, и почему-то такого не происходит. Пока я явно логирование не выключу, ченжлог создаётся

А как кафка стримы прочухивают это? Ведь по-умолчанию, оффсеты чтения сорса для ktable должны комитится, и при рестарте состояние вычитывается из ченжлога, а потом продолжается с закомиченных оффсетов из сорс топика. Получается, когда я выключаю логирование, это влияет на коммиты оффсетов сорс топика?

на старте делается перемещение в начало топика и зачитывается с нуля

последний оффсет берется из метаинформации консюмера на старте

то есть, стримы всегда с начала топика читают? (могу читать жопой)

немного не так

ktable на старте восстанавливает состояние из source топика