Коллеги привет, есть ситуация - мы передаём данные из Кафки в другую систему. Бывают случае когда она недоступна, и мы накапливаем данные во внутреннем буфере. И чтобы буфера не распухали, в какой то момент надо остановить полл из кафки. Но при этом хочется чтобы координатор понимал, что мы не полим специально, и нас не надо в список мертвых относить. Вопрос следующий - можно ли посылать какие ниб хертбиты из консьюмера , чтобы брокер знал что мы живые., просто намеренно не забираем данные. Или может быть есть какое то другое решение такой проблемы. Спасибо

Можно же забирать но не коммитить

без батчинга высокого рейта не будет. 300КБ это норм. Надо тестить на каком размере батча лучший рейт

Можно , мы так и делаем. Память то не бесконечная, в какой то момент может кончится)

А крашиться до восстановления удаленной системы не вариант?

Я так и не понял, зачем в принципе накапливать данные во внутреннем буфере консумера, когда есть кафка? Почему продюсеру нужен буфер - понятно, но тут как-то не очень. Потенциально правильный сценарий такой: внешняя система недоступна - продолжаем консумить но отключаем коммиты, все сообщения уходят в /dev/null и память не занимают; система доступна - начинаем коммитить, лаг по партициям уменьшается.

В теории можно и в эту сторону подумать

там же есть даже suspend операция на партиции

ну и последние же кафки вроде как хертбит отдельно шлют

Консьюмер то свой локальный офсет имеет, и если мы так будем делать то куча сообщений вылетит в трубу, в какой то момент скажем коммит и окончательно их потеряем

Вместе с poll

public void pause(Collection<TopicPartition> partitions)

Suspend fetching from the requested partitions. Future calls to poll(long) will not return any records from these partitions until they have been resumed using resume(Collection). Note that this method does not affect partition subscription. In particular, it does not cause a group rebalance when automatic assignment is used.

Вот тоже что нашёл - похоже так и придётся

В зависимости от того когда делается коммит, после успешной записи в удаленную систему, либо после того как вы получили сообщение в своем приложении. От этого зависит delivery semantics. Согласен с вариантом не коммитить

раньше только с poll
сейчас вроде как нет

https://stackoverflow.com/questions/39730126/difference-between-session-timeout-ms-and-max-poll-interval-ms-for-kafka-0-10-0

от он макс пул интервала только паузой рулить

то есть сейчас можно смело ставить настройки вида

session.timeout.ms: 10s
max.poll.interval.ms: 5min
max.poll.records: 500

и это будет работать

вот доп описание

Ага, все ясно. Но мою проблему вроде все равно не решает. Так как после того как выгорит max.poll.interval.ms консьюмер будет считаться мертвым - верно?