есть проблема консьюмер пропадает из топика, сервис запущен но сообщения не получает, смотрю в кафку, на топик никто не подписан, как разобраться, куда смотреть? это в основном клиент виноват? есть на кафке какие-то параметры которые влияют на это?

Таймауты всякие

heartbeat.interval.ms: The interval of the heartbeats. For example, if the heartbeat interval is set to 3 seconds, the consumer sends a short heartbeat message to the broker every 3 seconds to indicate that it is alive.
   session.timeout.ms: The consumer tells this timeout to the coordinator. This is used to control the heartbeats and remove the dead consumers. If it’s set to 10 seconds, the consumer can miss sending 2 heartbeats, assuming the previous heartbeat setting. If we increase the timeout, the consumer has more room for delays but the broker notices lagging consumers later.
   max.poll.interval.ms: It is a very important detail: the consumers must maintain polling and should never do long-running processing. If a consumer is taking too much time between two polls, it will be detached from the consumer group. We can tune this configuration according to our needs. Note that if a consumer is stuck in processing, it will be noticed later if the value is increased.
   request.timeout.ms: Generally every request has a timeout. This is an upper bound that the client waits for the server’s response. If this timeout elapses, then retries might happen if the number of retries are not exhausted.

на консьюмере все настройки

какие ставить лучше?

а на кафке самой что-то ничего нет

А напомните пожалуйста, мне помнится был какой то benchmarking framework для бенчмаркинка ? open что то там?

openmessaging

👍🏼

а один консьюмер может из нескольких топиков читать?

да

допустим консьюмер обрабтывает сообщение дольше чем 5 минут дефолт max.poll.interval.ms, тогда он по таймауту отвалится, этот консьюмер вообще сдохнет? со всех топиков будет выкинут?

Не думаю, хардбиты другим потом шлют

но с одного топика сообщение которого он дольше чем  max.poll.interval.ms обрабатывал он будет выкинут? или тоже нет

у меня проблема консьюмер пропадает из топика

сервис потребитель сам работает продолжает, но на топик не подписан становится

может, кто сталкивался. Стартую в поде (connect-mirror-maker mm2.properties) Mirror Maker 2.0, его rest-интерфейс должен быть доступен, судя по логам, на порту 8083
однако изнутри пода

curl localhost:8083 - Connection refused

*UPD*: https://github.com/strimzi/strimzi-kafka-operator/issues/2285 - нашел вот тут упоминание о том, что dedicated MM2 cluster не имеет REST API -(

на версии 2.3, сталкивался с похожим, когда консьюмеры постоянно вываливались из группы и сами возвращались, к тому же, что с определённого момента число таких вылетов начинало расти, спустя неделю, когда за сутки реконектов стало больше 160к уже прям напрягало
смотрели разные настройки, ничего не менялось за месяц, но проблемы была
в итоге, ничего не помогало, решили переименованием консьюмер группу и с новым именем перечитать топик, а дубликаты уже на прилаге отсеять -  это на случай если проблему не найдёшь, как вариант можно попробовать
пока проблема больше не воспроизводилась, но причину того феномена так и не нашли

у меня 1 раз отваливается и все. не реконектится

такое встречал когда на брокерах прошел ребаланс и лидер уехал на другой брокер, а приложение не умело обрабатывать мета-дату с новыми данными о партициях и лидерах, но думаю это не твой вариант