почисти еще волумы если не нужна история

This

Не помогло, та же самая
ERROR [KafkaServer id=1] Fatal error during KafkaServer startup. Prepare to shutdown (kafka.server.KafkaServer)
java.lang.IllegalStateException: Kafka HTTP server failed to start up.
at kafka.server.KafkaServer.startup(KafkaServer.scala:603)
at kafka.server.KafkaServerStartable.startup(KafkaServerStartable.scala:44)
at kafka.Kafka$.main(Kafka.scala:82)
at kafka.Kafka.main(Kafka.scala)
опять

Хочу переехать с кафко на одной номе на кафку в кубере, вопрос можно ли как то перенести(синхронизировать) топики?

ага, надо задампить стейт зукипера и задампить все данные кафки

вроде там подводных камней нет

Для инфо - помог как ни странно docker-compose restart, хотя до этого down и up ничего не давали

Если overall lag  у консюмеров ноль, может не париться с переносом. Погасить всех продюсеров, убедиться что консумеры все прочитали (overall lag  ноль) и смело гасить старый ,поднять новый и пустить всех дружно на новый?

Посмотри на Kafka Connect. Там такое можно реализовать.

спасибо!

Привет. Проблема с сохранением/получением данных из топика, не могу понять что именно не так.
Dockerfile отсюда: https://github.com/wurstmeister/kafka-docker/blob/master/Dockerfile
docker-compose: https://dpaste.org/f4q5
Код: https://dpaste.org/xLTz (python + kafka-python)
В логах всё чисто (в плане, без ошибок)

Можно с помощью kafka-console-consumer проверить, есть ли сообщения в очереди

bin/kafka-console-consumer.sh --topic responses --from-beginning --bootstrap-server localhost:9092

Если ничего нет - смотреть в сторону продюсера, например, добавить хендлинг результата отправки. Если есть - параметры консьюмера

Скажите, а какие вы docker image'ы используете например что бы поднять schema registry? У меня следующий usecase, есть aws ECS работающий через Fargate (амазоновский аналог docker swarm, главное приемущество - не нужен control plane). Хочу запустить там сервис с двумя schema registry. Есть ли готовый docker image для этого? Я куда не зайду, там какие то комбайны которые вместе с этим ещё все остальные плюшки от confluent запихнули. Или лучше свой собрать и не париться?

А вот этот чем то отличается? https://hub.docker.com/r/confluent/schema-registry

Ха, понял )

А какие минимальные требования для такого сервиса как schema registry? Просто в Fargate есть вкусные варианты с четвертинкой CPU и пол гига памяти за инстанс, в итоге около $2.5 в месяц машинка выйдет если через спот инстансы делать.

1 GB heap size