И для каждой партиции получения будет храниться свой офсет. Есть какое то апи, которое позволит из питона скинуть офсет для конкретной партиции?

Если я правильно понял суть вопроса

Коллеги, привет 👋
Сразу оговорюсь, что я в кафке новичок.
Возникла задача в которой надо находить записи с определённым хешом каждый раз, как захочет пользователь.
Но если пользователь устанет ждать, то может стопнуть процесс и вернуться к нему позже :)
Планируется выгружать каждую запись из топика, проверять ее в джаве и сохранять смещение, чтобы можно было с него продолжить в случае чего.

Может есть какие-то советы или более правильные решения?

https://docs.confluent.io/current/clients/confluent-kafka-python/index.html#kafka-client-configuration

conf = {'bootstrap.servers': 'mybroker.com',
        'group.id': 'mygroup',
        'session.timeout.ms': 6000,
        'on_commit': my_commit_callback,
        'auto.offset.reset': 'earliest'}
consumer = confluent_kafka.Consumer(conf)

https://docs.confluent.io/current/clients/consumer.html#id1

'auto.offset.reset': 'earliest' будет читать с начала

они в одной группе или нет?

Разобрался спасибо за наводку, разобрался, за ребалансинг отвечают параметры request_timeout_ms,   max_poll_interval_ms,  session_timeout_ms, heartbeat_interval_ms дефоты для меня были большие.

User didn't pass the validation and was banned.

Скачать?

не надо

Никто не сталкивался с тем, что в kafka connect не создаются таски в коннекторе? без ошибок в логе. Просто нет тасок

Запускаю kafka connect, он запускается и сразу падает,  пишет connect is [DOWN]  , по логам confluent local log connect одни безобидные info . Куда копать ?

в интернетах посылают напрямую к разрабам в slack 😅

а если логи в дебаг переключить?

тоже пусто, нашел проблему. оперативка + свап настолько истощаются что даже видно java outmemory не может записать 😅

хы)

А подскажите пожалуйста.

Консюмер через librdkafka (c++). Консюмит в консюмер группе.

Координатором группы сообщение о ребалансировке обрабатывается в том же треде?

То есть грубо говоря может ли быть такое что координатор группы обрабатывает очень толстое и сложное сообщение 2 минуты и вся группа в эти 2 минуты не может перебалансироваться?

гайз, понятие лидера в кафк кластера относительное же? то есть на текущий момент вот эта особь через пару мин уже другая может, это корректно?

на разных топиках, на разных партициях - разные брокеры являются лидерами

но брокер лидер это же не статик, допустим он отваливается, там уже другой, коррект?

если репликация не включена (1 реплика), то отвалится брокер - топик потерян
если репликация 2+, то клиент подключится к соседнему брокеру