А при вызове метода пол никакие таймеры на таймаут ставить нельзя?
Как обычно когда web-request формируешь, можно указать время ожидания.
Если оно истекло, то можно получить exception и с ним работать.

Там API по умолчанию принимает duration:
https://kafka.apache.org/26/javadoc/org/apache/kafka/clients/consumer/KafkaConsumer.html#poll-java.time.Duration-
но, когда ответ получен, я не знаю как отличить кейс с недоступным брокером, от кейса с пустым ответом. В списке исключений нет ничего похожего, да он его и не бросает, я бы сразу это поймал.

если duration превышен, должен быть экзепшн по таймауту.
Но то есть у тебя соединение оборвалось без подтверждения

Это предположение, или где-то в документации такое есть? У меня как раз вызов poll() обернут в try/catch и нет исключения. С точки зрения проектирования API, действительно, это было бы ожидаемо, если оно бы было.

Это только предположение

Надо гуру призывать

Приветствую!
Разбираюсь с schema registry и avro serde. Не понимаю как правильно отправлять сообщение продьюсером с указанием какая схема используется. Сейчас у меня работает следующий подход:
1. Создаю serde для key и value на основе .avsc файлов
2. Создаю продьюсер и передаю туда созданные serde
3. Отправляю сообщение в указанный топик
Но этот способ для меня не работает, так как этот продьюсер должен отправлять сообщение в разные топики, а схему я ему передал одну.
В моем понимании должно быть что-то:
1. Отправить схему в Schema Registry
2. Инициализировать продьюсер
3. Отправить сообщение указав название и версию схемы

Важно что бы не пересылать саму схему каждый раз при отправки сообщения.

Если вы сегодня на #jokerconf то обязательно зайдите послушать доклад про подводные камни тестирования Kafka Streams.
Будет интересно!

https://jokerconf.com/2020/talks/mfm8ytezwk2ei5uxcjynm/

ждём запись😞

В принципе так как  @ivan_ponomarev докладчик, он может попросить организаторов ссылку на доклад. Если дадут, то должен поделиться 😅

Подскажите правильное поведение.
У меня один Producer в приложении. Я шлю много сообщений. Нужно ли мне закрывать Producer каждый раз когда я отправляю сообщение и открывать отправкой?
Или я могу создать Producer при старте приложения и закрыть когда приложение завершает свою работу?

выглядит так что я должен закрывать соединение когда приложение закрывается

Конечно не нужно открывать /закрывать постоянно

Это дополнительная нагрузка на всех участников и большое замедление

А в связи с чем такая идея?

Добрый день. Очередной глупый вопрос: насколько рационально вообще менять параметр linger.ms ? Базовое значение 0, это получается , что batchsize в таком случае не работает ? И опять же, я как понял, linger.ms это какое-то эмпирическое значение , и под каждый тип сообщения нужно подбирать его самостоятельно .

И ещё один: сейчас пользуюсь kafdrop-ui, но он значительно по функциональности уступает confluent-center. Но опять же, в девелоперской лицензии доступен только один брокер, дальше идёт триал 30 дней. Могли бы посоветовать аналоги центра ?

linger.ms вроде как принудительно вызывает отправку данных в кафку по истечению таймера, что бы данные долго не агрегировались на продюсере.
Для отправки выполняется условие либо достигнуто время linger.ms , либо если батч заполнен,  то происходит мгновенная запись в кафку. Linger.ms можно ставить 10 например и будет норм

Рекомендую посмотреть/послушать

Подскажите как включить jmx для Connect. Пытался в properties писать порт и прочее но данные параметры оттуда игнорируются.

Помог export JMX_PORT