Вот я не могу найти это в доке

Нашел.
https://kafka.apache.org/documentation/#impl_offsettracking

Kafka в составе cp-all-in-one падает с ошибкой ERROR [KafkaServer id=1] Fatal error during KafkaServer startup. Prepare to shutdown (kafka.server.KafkaServer)
java.lang.IllegalStateException: Kafka HTTP server failed to start up.
       at kafka.server.KafkaServer.startup(KafkaServer.scala:603)
       at kafka.server.KafkaServerStartable.startup(KafkaServerStartable.scala:44)
       at kafka.Kafka$.main(Kafka.scala:82)
       at kafka.Kafka.main(Kafka.scala).
Что бы это могло значить? Вчера все работало.

Порт нужный занят?

проверил - все свободны

Гляньте полный лог, там скорее всего что-то ещё есть, может имена какие-то не резолвятся

Или зоокипер какой-нибудь помер

java.net.UnknownHostException: broker. Но как это могло вчера работать а сегодня тот же yml уже не работает?

Пути сети неисповедимы

Мало информации

Я знаю. Но в логах больше ничего подозрительного нет. Unknown host exception: broker идет уже после того как кафка упала.

А Кафка почему упала?

В логе кафки единственная ошибка - ERROR [KafkaServer id=1] Fatal error during KafkaServer startup. Prepare to shutdown (kafka.server.KafkaServer)
java.lang.IllegalStateException: Kafka HTTP server failed to start up.
       at kafka.server.KafkaServer.startup(KafkaServer.scala:603)
       at kafka.server.KafkaServerStartable.startup(KafkaServerStartable.scala:44)
       at kafka.Kafka$.main(Kafka.scala:82)
       at kafka.Kafka.main(Kafka.scala).

Ребята, а чайников тут бьют или можно вопросами закидать? 😊

Можно задавать продуманные и хорошо сформулированные вопросы

Мне нужно создать очередь по отправки писем
Источником данных будет Postgres, продьюсером будет сервис слушающий нотификации из Pg
Пока что-то не упало - все счастливы!)
Но вот если упал продьюсер при поднятии его могу ли я в кафке узнать id последнего помещенного в очередь сообщения чтобы вычитать из Pg все новые которые появились во время падения продьюсера?

После перезапуска вот еще что попалось:
ERROR Error while creating ephemeral at /brokers/ids/1, node already exists and owner '72067588561567745' does not match current session '72057599798345729' (kafka.zk.KafkaZkClient$CheckedEphemeral)
ERROR [KafkaServer id=1] Fatal error during KafkaServer startup. Prepare to shutdown (kafka.server.KafkaServer)
org.apache.zookeeper.KeeperException$NodeExistsException: KeeperErrorCode = NodeExists
at org.apache.zookeeper.KeeperException.create(KeeperException.java:126)
at kafka.zk.KafkaZkClient$CheckedEphemeral.getAfterNodeExists(KafkaZkClient.scala:2057)
at kafka.zk.KafkaZkClient$CheckedEphemeral.create(KafkaZkClient.scala:1995)
at kafka.zk.KafkaZkClient.checkedEphemeralCreate(KafkaZkClient.scala:1962)
at kafka.zk.KafkaZkClient.registerBroker(KafkaZkClient.scala:98)
at kafka.server.KafkaServer.startup(KafkaServer.scala:470)
at kafka.server.KafkaServerStartable.startup(KafkaServerStartable.scala:44)
at kafka.Kafka$.main(Kafka.scala:82)
at kafka.Kafka.main(Kafka.scala)

а сколько у тебя нод? может сплит брэйн какой

попробуй прибить все контейнеры

нода 1 я так понимаю в этом cp-all-in-one. После docker-compose down список контейнеров, даже с опцией -a пустой. Как я могу их в таком случае прибить?