Сорри, не так понял

а вроде как нужно что бы он начал новый лог файл что бы этим воспользоваться. То есть пока пока каждый партишн не превысит log.segment.bytes оно затераться не будет. Или я что то путаю?

Добрый день! А можно ли в кафке прочитанные сообщение пометить как не прочитанные чтобы скрипт обработал их еще один раз?

Не комиттить оффсет и читать с самого начала?

Можно текущий оффсет у консюмер группы сместить на то значение, которое вам необходимо и вычитать еще раз

мы случайно из одного топика пометили много сообщений как прочитанные и теперь у нас inconsistency и мы думаем как это откатить

спасибо, сейчас будем пробовать

И для понимания устройство Кафки: Кафка работает по принципу append-only, т.е. существующие данные не меняются. Если какие-то данные нужно обратать по-особому, то либо их нужно переложить в отдельный топик, либо, как уже предложили выше, указать консьюмеру соответствующий оффсет.

а у консьюмера должно быть другое имя группы, нет? Иначе он продолжит с закомиченного офсета в любом случае

Если использовать ту же консьюмер группу, то можно сбросить оффсет для неё.

Либо создать новую группу и для неё выставить нужный оффсет.

Добрый день.
Подскажите кто в курсе пожалуйста.
Есть такой параметр у консьюмера как group.instance.id (static membership).
Если он разный в рамках групы, то может ли он повторяться для консьюмеров из разных груп? Групы читают каждая из своего топика.

в данном случае я так понимаю это скинет офсеты всем клиентам в этой группе. Думаю человек хотел что бы существующие клиенты продолжали читать дальше, а какой то сторонний скрипт вычитал с определённого офсета и наверное остановился на каком то офсете.

Добрый день подскажите пожалуйста, есть ли способ чтобы при создании consumer group  в неё сразу закоммитились значения соответствующие самым последним сообщениям?

там есть такая настройка, initial = Newest
Не знаю на каком языке у вас приложение написано, у меня в го это выглядит так
Initial = OffsetNewest

Это кстати дефолтное поведение

в java обзывается latest (я могу ошибаться, мы обычно крутим наоборот в самое начало oldest)

https://pasteboard.co/JFuQbSIm.png Прохожу курс по Кафке. Сенсей говорит, что можно создать такую систему, что в топике show_position можно хранить сообщения, в которых будет метка времени (на какой минуте какого видео пользователь остановил просмотр видео). Я понимаю, что producer будет писать сообщения с id=user_id, так что каждое сообщение для юзера будет сохранено в определённой партиции. Но не понимаю, как consumer сможет понять, с какой партиции нужно читать сообщения, чтоб они были ассоциированы с определённым юзером

наверное имелось ввиду применение kafka-streams и ktables

Идея не совсем в этом. Я знаю, что есть такие опции, но вот в чем беда. Допустим простую ситуацию у нас один консьюмер и одна партиция на топик. Он коннектится, создается консьюмер группа и, как я понял, пока этот консьюмер не закомиттит смещение в этой партиции то консьюмер группа будет пустая так скажем и если консьюмер впоследствии реконнектится то он уже начнем с нового latest смещения, которое будет больше чем то, когда он коннектился ранее. И такое поведение до первого коммита. Как только первый коммит сделан, то смещение в рамках группы зафиксировано