Всем привет. Хотел бы поинтересоваться, кто пользуется Кафкой совместно со спрингом в Java? Непосредственно с ConcurrentKafkaListenerContainerFactory

Ребят, кто-то сталкивался с проблемой: Executing consumer group command failed due to Not authorized to access topics?
Права на топик раздали, но ошибка не ушла

У меня такое было, когда с одной группой цеплялись разные консьюмеры, которым были разданы  разные права на чтение /запись в топики.  
Сделали уникальные группы. Ошибки ушли

А что с ним?

Спасибо)

Уже разобрался, спасибо.  Хотел услышать кто как пользуется им, какое кол-во concurrency лучше установить,  для трёх брокеров.  commitAsync может кто пробовал. И стоит ли пользоваться реализацией от Spring или стоит ограничиться голой либой.

А что ты вообще хотел сделать?

Spring норм. Я использую все фишки spring-kafka по минимуму - в основном автоконфигурицию

Да тут на самом деле уже все сделал и запустил. Работает очень хорошо.  Так, домашний проект свой так сказать.  Свободное от основной работы время практикую все то что получил в теории на udemy.  

Установил 5 штук concurrency. По commitSync и commitAsync решил не заморачиваться, доверив это Spring’у.  Поток consumer’a не блочится, что очень классно. Значит Spring справляется, как я понял.  Все работает вообще классно пока.  Все сообщения пришедшие от пользователей телеграмма, в ТГ ботах,  кладу в Кафку.  И уже три реплики consumer‘ов,  у каждого по 5 трэдов слушателей - забирают сообщения и обрабатывают.  Как только отрабатывают они, обратно кидают в Кафку и уже другой сервис,  так же с 5 трэдами у каждой из трёх реплик отдаёт все серверам телеграмма.  Ну в целом хотел прояснить ситуацию про 5 потоков и 3 брокера.  500-1000 одновременно написавших пользователей в моих ботах,  сообщение каждого обработалось без какой-либо задержки и очень быстро.

Что делать с закорапченными записями в топике офсетов ? Вот у меня есть 2 партиции. Где рекорды закораптится. Это uat, если что. Все закорапченные на одном брокере

Рекорды закорапиились и из за этого для тех партий isr = только тому брокеру т.е там всего 1.

видео заснял кому если интересно

опубликуй плз где-нибудь и ссылку кинь, посмотрим :)

Коллеги, подскажите, пожалуйста, простейший докер аймадж чтобы локально в компоузе кафку поднять с минимумом усилий для тестов?

А что сложного, бери от confl

Там есть в неск конфигурациях

Вот скажите. Если падает брокер , который является лидером , а вот он записал рекорд на диск только частично. Получается не валидная рекорд в логе. Реплики ее не успели к себе скачать. И все - партиции не работает.

Не доктор но посмотреть смогу ©️

This.

Ну а для кого мы тут Kafka tutorials делаем?