Прочитал, но понимание так и не пришло. Для меня как раз нужен тот самый unfair pattern, чтобы отстающая партиция нагнала ту, которая  up-to-date. Выглядит так, что он пытается равномерно читать с каждой партиции и поэтому остающая не догоняет ту, что вовремя обрабатывается.

можешь в консьюмер группе поднять еще один консюмер и награнать лаг, если это разовое действие

это будет работать, если у меня каждому консьюмеру по 1 партиции будет выделяться. У меня всего 32 партиции, 16 нод, чтобы такое сработало, мне надо около 16 нод добавить будет, я этого не хочу.

но там еще кроссылка была на KIP, где объясняется важность установки правильных параметров консьюмера (аля max.poll.records) + consumer greedy approach

может быть max.poll.records = -1 поможет

но там еще надо понимать как у тебя все пишется в партиции (может у тебя распределение вообще не нормальное, а консьюмеров в консьюмер группе мало).

распределение равномерное

ну тут уж как говорится lurkmore в КиПы и пробовать подобрать приемлемую конфигурацию консьюмеров в группе / латенси по лагу между партишенами

увеличение max.poll.records улучшило ситуацию

Всем добра! Подскажите по кейсу с Kafka Streams (v2.6.0). Реализован процессор, в котором в init() методе запущен Punctuator (WALL_TYPE), в котором происходит итерация по state store каждые ХХ сек., и при определенных факторах, допустим, записи пишутся в sink-топик + удаляются из хранилища. В этому же процессоре в методе process() происходит пополнение state store из source-топика. Предположим, что у меня адовая нагрузка. Как будут себя вести методы process() и punctuate()? Ведь они в одном потоке.

Что значит адовая нагрузка? На кафку?

Например, в этот топик источник падает достаточно много сообщений

Не совсем понятно как это отразится на Kafka streams приложении

Я просто до конца не понимаю такой момент: если идёт постоянное чтение из топика источника, данные складываются в стор. Тут же этот стор регулярно опрашивается. Когда выполняется пунктуатор, получается, метод process() остановит работу? Пунктуатор регулярно его будет останавливать на время своего выполнения? Сорян, если вопрос нубский )

А скинь код примерно

Завтра кину, не за компом сейчас.

Только сегодня читал отчёт что всё плохо -  https://owenrh.me.uk/blog/2019/10/14/
В mailing list ответили что профиль нагрузки нехарактерен для хорошо спроектированного приложения.
https://lists.apache.org/thread.html/0e5dbf1fd573ab55e1d462496ba94a39c3dce5ba449b19e48e73b625@%3Cuser.flink.apache.org%3E

Спасибо, почитаю!

Всем привет! релиз 2.7 появился на гитхабе, а на сайте об этом ни слова, кто-нибудь в курсе? вроде должны были плюшки по mm2 закатить