Телеграмм чат группы proKafka страница 1307

Коллеги, cтолкнулся с таким траблом: есть топик, в котором есть пара десятков разделов. К топику цепляется несколько консьюмеров. В определенный момент чтение из топика прекратилось, несмотря на то что в топике ещё остались неисчерпанные разделы с сообщениями. При перезапуске консьюмеров происходит ребаланс после которого ничего не происходит: сообщения не читаются из топика. Может кто-то сталкивался с таким?

up

источник

16:09пожаловаться #5

x

x in pro.kafka

Petr Antonov

up

lag смотрели в kafka-consumer-groups.sh?

источник

16:26пожаловаться #6

BK

Bohdan Korinnyi in pro.kafka

Есть схема с compatibility type FORWARD_TRANSITIVE, Avro.
Написано что можно удалять Optiоnal поля, а как в схеме указать что поле Optional?

источник

16:44пожаловаться #7

x

x in pro.kafka

Bohdan Korinnyi

Есть схема с compatibility type FORWARD_TRANSITIVE, Avro.
Написано что можно удалять Optiоnal поля, а как в схеме указать что поле Optional?

union null

источник

16:47пожаловаться #8

VG

Vik Gamov in pro.kafka

Bohdan Korinnyi

Есть схема с compatibility type FORWARD_TRANSITIVE, Avro.
Написано что можно удалять Optiоnal поля, а как в схеме указать что поле Optional?

С Optional сложно как-то было. Вроде можно указать тип как null и ещё что-то.

источник

16:47пожаловаться #9

PA

Petr Antonov in pro.kafka

x

lag смотрели в kafka-consumer-groups.sh?

лаг там достатоно большой, по некоторым партициям нулевой, т.к. там не осталось сообщений

источник

16:47пожаловаться #10

x

x in pro.kafka

Bohdan Korinnyi

Есть схема с compatibility type FORWARD_TRANSITIVE, Avro.
Написано что можно удалять Optiоnal поля, а как в схеме указать что поле Optional?

https://avro.apache.org/docs/current/spec.html#Unions

источник

16:47пожаловаться #11

BK

Bohdan Korinnyi in pro.kafka

Спасибо, смотрю

источник

16:48пожаловаться #12

x

x in pro.kafka

Petr Antonov

лаг там достатоно большой, по некоторым партициям нулевой, т.к. там не осталось сообщений

Ну без какой-либо инфы о брокерах и консюмерах можно только пальцем в небо
Можно включить дебаг логи и посмотреть на фетч реквесты

источник

16:50пожаловаться #13

SD

Serg D. in pro.kafka

Vik Gamov

Sounds очень legit

Я неверно причину описал?

источник

17:29пожаловаться #14

VG

Vik Gamov in pro.kafka

Serg D.

Я неверно причину описал?

не, я согласился с тобой. Вполне логично

источник

17:36пожаловаться #15

SD

Serg D. in pro.kafka

а я чет подумал что сарказм))) извини)

источник

17:37пожаловаться #16

VG

Vik Gamov in pro.kafka

Serg D.

а я чет подумал что сарказм))) извини)

На Urban dictionary глядел 😜?

источник

17:38пожаловаться #17

SD

Serg D. in pro.kafka

Ахххах... )))

источник

17:38пожаловаться #18

SD

Serg D. in pro.kafka

Да :(

источник

17:38пожаловаться #19

C

Coffee in pro.kafka

Я пыталась найти обоснование проблемы в доках, но это не увенчалось успехом
Просто вообще... это фэил же для продукта, не прочекать случай с автосозданием топиков и давать возможность автоматом создавать топики
ну да ладно)

источник

17:52пожаловаться #20