👍

От landoop schema-registry-ui можно попробовать

🙏

Самим запилить просмотрщик? Мысль интересная, но надо сначала глянуть готовые бесплатные. За идею в любом случае спасибо. :)

Для одной кафка-ноды можно control center поднять. Там есть просмотрщих схем

Удобная вещь

Но ее нет в комьюнити вроде?

Народ, вопрос на счет Java Kafka client.
Есть подозрение, что где-то внутри он пытается создать топик при чтении, если такого топика еще нет.
Но никак не могу не подтвердить, не опровергнуть это предположение.
Может кто-нть тут знает как оно там работает?

Нет

Если в настройках брокера стоит auto.creater.topic=true то будет создаваться автоматически при запросе consumer или producer

Я правильно понимаю, что это Java клиент (consumer) инициирует создание топика, а не Kafka broker внутри себя? Или нет?

Просто у нас сча странная ситуация...
В логах брокера есть такое

INFO Principal = User:ANONYMOUS is Denied Operation = Create from host = 10.10.22.19 on resource = Topic:LITERAL:%topic_name% (kafka.authorizer.logger)

Про %topic_name% знают два приложения producer и consumer
У producer указаны права через SSL что он имеет право на создание топиков
У consumer таких прав нет. И SSL тоже.

Методом исключения получается, что эти логи генерятся при запросах от consumer

Но не понятно, что надо сделать, чтобы это перестало происходить 🤔

Коллеги, доброй ночи!
Никто не натыкался на странную историю - такое чувство, что брокер в какой-то момент внезапно ресетит офсет коньсюмер группы.
Объясню почему так думаю:
Есть топик(с 1 партицией) в который раз в час заливается 400к записей, и есть коньсюмер группа с 1м коньсюмером, которая процессит этот топик. Процессинг идет со скоростью 3-5к сообщений в секунду. При этом внезапно в какой-то момент времени лаг становится 0, процессмнг прерывается
Вот скрин с графаны, который показывает, что вычитаных байт с топика гораздо меньше чем записано, что как мне кажется подтверждает мою теорию.

блин скрин не получилось приложить(

вообщем если кто-то сталкивался с похожей симптоматикой просьба поделиться

А какой retention стоит на топике с офсетам?

ВОт измененная конфигурация
retention.bytes 107374182400
segment.bytes 1073741824

Остальное по умолчанию

Приветствую!
Я думаю, могу ли применить Streams и Connect Sink для моего кейса.
Мне нужно в ElasticSearch создать индекс invoices_by_customers_report с их статистикой, например:

customer_full_name | invoice_date |  invoice_name, | payments_total

Все вроде легко, я могу создать топики для customers, invoices и payments. Cоздать стрим INVOICES_BY_CUSTOMERS, слушать это типики и результат отправлять через connect sink в ES.
Но я вижу следующую проблему:
Допустим, один кастомер (крупная компания) имеет десятки тысяч инвойсов. Правильно я понимаю что при изменении имени кастомера стрим должен сгенерировать десятки тысяч ивентов для всех этих инвойсов (поле customer_full_name изменено), что соответственно сгенерирует десятки тысяч запросов к ES. Хотя, лучше было бы сделать один _update_by_query запрос к ES?
PS. мне нужно хранить имя кастомера в ES, так как мне нужен поиск по имени и сортировка, например, по payments_total.

хотя под капотом будет ES _bulk и такое поведение в целом нормально