Телеграмм чат группы proKafka страница 1498

Консюмер групп. Я в Кафке видел только одно место, где консюмер группа смотрится, и это счётчик лагов между текущим оффсетом и лагом группы. Это если рассматривать классический вариант.
Если через консольного консюмера каждый раз вычитывать всю очередь сначала, то конечно любой вариант сойдёт

источник

17:37пожаловаться #6

IS

Ivan Shirokov in pro.kafka

Всем привет. Возникла ошибка при транзакционнной отправке в кафку. Invalid transition attempted from state IN_TRANSACTION to state IN_TRANSACTION. Кто-нибудь знает что могло это вызвать?)

источник

17:37пожаловаться #7

IS

Ivan Shirokov in pro.kafka

Упало на строчке producer.beginTransaction()

источник

17:39пожаловаться #8

Y

Yuriy in pro.kafka

Юра Ходырев

Консюмер групп. Я в Кафке видел только одно место, где консюмер группа смотрится, и это счётчик лагов между текущим оффсетом и лагом группы. Это если рассматривать классический вариант.
Если через консольного консюмера каждый раз вычитывать всю очередь сначала, то конечно любой вариант сойдёт

https://www.oreilly.com/library/view/kafka-the-definitive/9781491936153/assets/ktdg_04in04.png

Другого быть не может

источник

17:58пожаловаться #9

Y

Yuriy in pro.kafka

Иначе будет шанс, что 2 консьюмера прочитают парт одновременно

источник

17:59пожаловаться #10

IS

Ivan Shirokov in pro.kafka

Ivan Shirokov

Всем привет. Возникла ошибка при транзакционнной отправке в кафку. Invalid transition attempted from state IN_TRANSACTION to state IN_TRANSACTION. Кто-нибудь знает что могло это вызвать?)

Оказалось что если поток не успел закрыть транзакцию и следующий начинает ее, то вылетает это исключение. Получается beginTransaction() не thread safe чтоли и надо синхронизировать метод?

источник

18:00пожаловаться #11

V

Vadim in pro.kafka

я не пойму, если autocreation topic включено и топик создается автоматом num.partitions=10 выставленное в брокере будет работать?

источник

18:00пожаловаться #12

Y

Yuriy in pro.kafka

Vadim

я не пойму, если autocreation topic включено и топик создается автоматом num.partitions=10 выставленное в брокере будет работать?

При первом обращении клиента Будет создан топик, если его нет

источник

18:01пожаловаться #13

Y

Yuriy in pro.kafka

Yuriy

При первом обращении клиента Будет создан топик, если его нет

Но это опасно)

источник

18:01пожаловаться #14

λ

λλ in pro.kafka

Ivan Shirokov

Оказалось что если поток не успел закрыть транзакцию и следующий начинает ее, то вылетает это исключение. Получается beginTransaction() не thread safe чтоли и надо синхронизировать метод?

Сингл продюсер паттерн вродь должно быть не? Или это на уровне лидера рулица?

источник

18:01пожаловаться #15

V

Vadim in pro.kafka

Yuriy

При первом обращении клиента Будет создан топик, если его нет

так вопрос настройки брокера num.partitions будет срабатывать?

источник

18:01пожаловаться #16

V

Vadim in pro.kafka