ADD во все поля

Всем привет! Подскажите, пожалуйста, как можно провалидировать схемы avro. Может есть какой-нибудь готовый качественный инструмент. Ситуация в том, что валится hdfs-sink коннектор с ошибками invalid default value и др. Авро консольный консумер при этом чувствует себя хорошо.

У плагина грэдла есть вроде такая команда
Но если у вас генерируется схема то все с ней ок

Добрый день! Подскажите пожалуйста что можно почитать про  kafka authentication/authorization

Смотря что именно
Можно офф книгу, много статей в инете

Спасибо огромное!

Всем привет
есть приложение на KafkaStreams, которое умеет на рантайме подключаться и читать сообщения из топиков. Также есть возможность отписки - по сути просто закрытие стрима методом KafkaStreams.close()+cleanup().
так вот наткнутились на проблему что такие стримы не собираются GC что приводит к падению по OOM. Судя по хипдампу на эти стримы продолжают ссылаются объекты метрик в MBeanServer.
может кто-то сталкивался с подобным и знает как удалить все метрики стрима программно?

Reflect
 .on(ManagementFactory.class)
 .set("platformMBeanServer", mock(MBeanServer.class));

можно замокать

platformMBeanServer

чтобы он ничего не сохранял

насколько понимаю тогда все метрики приложения пропадут, этого не хотелось бы

Подскажите, как высчитать объем опертавки для ноды кафки?
от чего отталкиваться и что влияет на потребление памяти?

1/4

Xmx/Ram

а что такое Xmx? Не силен в в этих штуках пока :(

у нас сейчас 1 Гб Ram на машине - 90% ее юзает кафка. Думаем, надо увеличить, а вто на сколкьо

Xmx - максимально доступная память для jvm. В идеале обычной доступной памяти должно быть в 4 раза больше этого показателя. Так рекомендует документашка. Но можно делать и 1к2, если нагрузки не большие

Сколько у вас сообщений в минуту, сколько консюмеров и каков объем топиков?

пока 3 консюмер группы пл 60-70 консюмеров,
3 продюсера
рейт 50-60 месседжей в сек. Но бывают короткие всплески до 300-500 (кроны)
топики. 60 топиков:
2 топика 100+ Гб
5 топиков ~20 Гб
штук 10 по 1-5 Гб
Остальные мелкие

Думаю для jvm xmx 2гб, для тачки 4гб будет приемлемо. Как выставить xmx гугли "kafka java opts"