реплика базы в кафку никак не связаны с бизнес логикой

синк по бизнес логике только руками писать

в обоих случаях поверз кафки с той стороны уже должна быть логика по обработке дублей
ибо at least once

я б даже так сказал, бизнес эвент на основе апдейта полей в таблице определить в общем случае невозможно

Мы про разное говорим, кажется

возможно
если сбор данных - скидывание снапшотов, см коннекторы, кмк
если сбор данных - откидывание бизнес-эвентов,  только код
если есть что-то третье, я бы послушал

А кто то тренериюет модели из данных Кафки?

Включил exactly_once в kafka-streams. Оно работало пару дней. Потом стало выдавать вот такое:

task [0_0] Timeout exception caught when initializing transactions for task 0_0. This might happen if the broker is slow to respond, if the network connection to the broker was interrupted, or if similar circumstances arise. You can increase producer parameter max.block.ms to increase this timeout.

Параметр max.block.ms увеличиваю в 2 раза - не помогает. Включаю обратно at_least_once - работает.
Версия kafka-streams 2.3.0.

Кто что может посоветовать?

Стоит ли на проде выставлять
unclean.leader.election.enable = false ?

обязательно

а потом как жить?

Выставить по надобности?

Не понял? Вы хотите разрешить брокеру, который не в синке, становится лидером?

вообще нет. Но если брокер с лидером умер навсегда

а реплики ансинк

то они никтогда не станут синк

Тут ничего не посоветую

Кажется, этот вопрос должен сам решиться исходя из ваших требований к системе
Мб их сперва надо определить?
Готовы к потере данных и не готовы к даунтайму- включайте
Не готовы терять данные - не включайте

Юбилейное количество пользователей