Там указываются сервера зукиперов, а не брокеров

А ну да, точно

Завтра протестирую, спасибо

Это если в зукипер ансамбль ноды добавляешь

Cliff данный обработчик сейчас покрывает только исключения продюсера. по идее, он же должен и обрабатывать сериалицию в стор. проблема в том что сериализатор должен вернуть какое-то значение которое будет записано в стор - там других вариантов нет (
если вам это подходит (по логике приложения) - то это (перехватывать исключение сериализатора и возвращать failback значение), в принципе, рабочий костыль.
надо только что бы стор был log-backed, тогда вызовется обработчик ProductionExceptionHandler уже на попытке отправить это сообщение в changlog топик, и это сфейлит сообщение.
а вообще надо окрывать баг  @gamussa было бы здорово как-то подсветить это core team, если можно .

https://github.com/cliffdurden/avro-state-store-exception

синтетический пример, где воспроизводится это поведение.

Спасибо за ответ, решение буду пробовать реализовать.

Парни, сорян за вопрос сразу. https://docs.confluent.io/current/kafka/deployment.html
Описан метод тюнинга лимитов.
Может есть опыт у кого, кто как тюнит? может еще стоит на какие параметры обратить внимание?

Коллеги. Куда копать?
Пытаюсь удалять топики, а они остаются. Параметр в конфиге в enable.
Даже в zookeper удалял данные, все равно топики живы
2.4.0

Может кто-то из пересоздает если стоит autocreate

Вариант. Спс

Кафка не сразу бывает удаляет топики
Если нагрузка идёт, она может отложить это действие.
Помогает смена контроллера

Уже и месяц прошел и рестартовал. Только еще каталоги не удалял

Так то можно get через zk shell глянуть, когда создалась знода топика

И понять, пересоздает ее кто или нет

Ну или по дир партициям на сервере)

Доброго времени суток!
Подкиньте теоритической инфы, пожалуйста.

На топике retention.ms=1час и 2 консьюм-группы. У одной группы lag=0, у другой 2.5млн. Партиции топика растут в размерах и ощущение что ротации не происходит. Может ротацию топика держать консью-группа с lag=2.5млн?

скажите пожалуйста, а кафка логирует работу с консьюмерами?
Ну, коммиты оффсетов там

Нет. 1 час не значит, что кафка будет каждый час всё чистить, там куча параметров, по сути от заполненности логов зависит. Группы отношения к этому не имеют, конечно же.

всем привет. А есть ли какая-то разница в работе методов джавового консьюмера commitSync и commitAsync кроме собственно разной работы с блокировкой потоков?

Всем привет, задача реплицировать все топики с одной кафки в другую, что лучше mirrormaker или mirus? помнится какой-то косяк был в mirrormaker