для команд(запросов) http или кафка это просто транспорт, и если использовать кафку как транспорт то нужно понимать какой профит (именно) для команд мы получаем изобретая велосипед, в то время как RPC на http готовить умеют все
мы например профита от команд на кафке почти не получили, потому что все равно чаще всего репроцессинг команд невозможен(так как команды привязаны ко времени)
да и по эвентам всегда можно понять что происходило, и анализировать команды почти не приходится(например чтобы разобрать какой-нибудь инцидент)

кафка поднята на одной ВМке

Добрый день коллеги. Несколько дней уже мучаюсь с проблемой блин. Кафка на ВМке в гугле. Есть приватный айпи и публичный. По приватному все работает. По публичному зукипер работает. Но скрипт consumer уперся в хлам
./kafka-consumer-groups.sh --list --bootstrap-server public_ip:9092

Error: Executing consumer group command failed due to org.apache.kafka.common.KafkaException: Failed to find brokers to send ListGroups
java.util.concurrent.ExecutionException: org.apache.kafka.common.KafkaException: Failed to find brokers to send ListGroups
        at org.apache.kafka.common.internals.KafkaFutureImpl.wrapAndThrow(KafkaFutureImpl.java:45)
        at org.apache.kafka.common.internals.KafkaFutureImpl.access$000(KafkaFutureImpl.java:32)
        at org.apache.kafka.common.internals.KafkaFutureImpl$SingleWaiter.await(KafkaFutureImpl.java:89)
        at org.apache.kafka.common.internals.KafkaFutureImpl.get(KafkaFutureImpl.java:260)
        at kafka.admin.ConsumerGroupCommand$ConsumerGroupService.listConsumerGroups(ConsumerGroupCommand.scala:216)
        at kafka.admin.ConsumerGroupCommand$ConsumerGroupService.listGroups(ConsumerGroupCommand.scala:211)
        at kafka.admin.ConsumerGroupCommand$.run(ConsumerGroupCommand.scala:72)
        at kafka.admin.ConsumerGroupCommand$.main(ConsumerGroupCommand.scala:61)
        at kafka.admin.ConsumerGroupCommand.main(ConsumerGroupCommand.scala)
Caused by: org.apache.kafka.common.KafkaException: Failed to find brokers to send ListGroups
        at org.apache.kafka.clients.admin.KafkaAdminClient$25.handleFailure(KafkaAdminClient.java:3154)
        at org.apache.kafka.clients.admin.KafkaAdminClient$Call.failWithTimeout(KafkaAdminClient.java:777)
        at org.apache.kafka.clients.admin.KafkaAdminClient$Call.fail(KafkaAdminClient.java:748)
        at org.apache.kafka.clients.admin.KafkaAdminClient$TimeoutProcessor.handleTimeouts(KafkaAdminClient.java:871)
        at org.apache.kafka.clients.admin.KafkaAdminClient$AdminClientRunnable.timeoutCallsToSend(KafkaAdminClient.java:952)
        at org.apache.kafka.clients.admin.KafkaAdminClient$AdminClientRunnable.processRequests(KafkaAdminClient.java:1261)
        at org.apache.kafka.clients.admin.KafkaAdminClient$AdminClientRunnable.run(KafkaAdminClient.java:1224)
        at java.base/java.lang.Thread.run(Thread.java:834)
Caused by: org.apache.kafka.common.errors.TimeoutException: Call(callName=findAllBrokers, deadlineMs=1598445322445, tries=1, nextAllowedTryMs=1598445322552) timed out at 1598445322452 after 1 attempt(s)
Caused by: org.apache.kafka.common.errors.TimeoutException: Timed out waiting to send the call.

В server.properties прописал
listeners=PLAINTEXT://0.0.0.0:9092
advertised.listeners=PLAINTEXT=://private_ip:9092
Публичный прописывал тоже, не работает (даже в приватной сети)
Куда копать, что подскажете?

Добрый день коллеги. Несколько дней уже мучаюсь с проблемой блин. Кафка на ВМке в гугле. Есть приватный айпи и публичный. По приватному все работает. По публичному зукипер работает. Но скрипт consumer уперся в хлам
./kafka-consumer-groups.sh --list --bootstrap-server public_ip:9092

Error: Executing consumer group command failed due to org.apache.kafka.common.KafkaException: Failed to find brokers to send ListGroups
java.util.concurrent.ExecutionException: org.apache.kafka.common.KafkaException: Failed to find brokers to send ListGroups
        at org.apache.kafka.common.internals.KafkaFutureImpl.wrapAndThrow(KafkaFutureImpl.java:45)
        at org.apache.kafka.common.internals.KafkaFutureImpl.access$000(KafkaFutureImpl.java:32)
        at org.apache.kafka.common.internals.KafkaFutureImpl$SingleWaiter.await(KafkaFutureImpl.java:89)
        at org.apache.kafka.common.internals.KafkaFutureImpl.get(KafkaFutureImpl.java:260)
        at kafka.admin.ConsumerGroupCommand$ConsumerGroupService.listConsumerGroups(ConsumerGroupCommand.scala:216)
        at kafka.admin.ConsumerGroupCommand$ConsumerGroupService.listGroups(ConsumerGroupCommand.scala:211)
        at kafka.admin.ConsumerGroupCommand$.run(ConsumerGroupCommand.scala:72)
        at kafka.admin.ConsumerGroupCommand$.main(ConsumerGroupCommand.scala:61)
        at kafka.admin.ConsumerGroupCommand.main(ConsumerGroupCommand.scala)
Caused by: org.apache.kafka.common.KafkaException: Failed to find brokers to send ListGroups
        at org.apache.kafka.clients.admin.KafkaAdminClient$25.handleFailure(KafkaAdminClient.java:3154)
        at org.apache.kafka.clients.admin.KafkaAdminClient$Call.failWithTimeout(KafkaAdminClient.java:777)
        at org.apache.kafka.clients.admin.KafkaAdminClient$Call.fail(KafkaAdminClient.java:748)
        at org.apache.kafka.clients.admin.KafkaAdminClient$TimeoutProcessor.handleTimeouts(KafkaAdminClient.java:871)
        at org.apache.kafka.clients.admin.KafkaAdminClient$AdminClientRunnable.timeoutCallsToSend(KafkaAdminClient.java:952)
        at org.apache.kafka.clients.admin.KafkaAdminClient$AdminClientRunnable.processRequests(KafkaAdminClient.java:1261)
        at org.apache.kafka.clients.admin.KafkaAdminClient$AdminClientRunnable.run(KafkaAdminClient.java:1224)
        at java.base/java.lang.Thread.run(Thread.java:834)
Caused by: org.apache.kafka.common.errors.TimeoutException: Call(callName=findAllBrokers, deadlineMs=1598445322445, tries=1, nextAllowedTryMs=1598445322552) timed out at 1598445322452 after 1 attempt(s)
Caused by: org.apache.kafka.common.errors.TimeoutException: Timed out waiting to send the call.

В server.properties прописал
listeners=PLAINTEXT://0.0.0.0:9092
advertised.listeners=PLAINTEXT=://private_ip:9092
Публичный прописывал тоже, не работает (даже в приватной сети)
Куда копать, что подскажете?

Вот — https://github.com/vostok/hercules, правда там публичной документации пока практически нет, хотя в проде уже почти 2 года.  Но вам не понравится (кастомный формат для данных). Но оттуда можно различные идеи почерпнуть по организации распределённых систем с Apache Kafka в основе. Используется HTTP API.

Привет
А может кто подскажет ещё аналогичные вот этому https://github.com/zalando/nakadi
опен-сорсные наработки?

вернулся с другим вопросом: никто в 2.2.2 не напарывался на такое поведение(баг), что не получается получить метаданные топика?

у нас вчера сильно полетело NotLeaderForPartitionException, из изменений ток миграция с 2.0.0 на 2.2.2 пару недель назад

после рестарта клиентов все пошло на изи, а так крутились и тупили, причем летело не на все топики, а только на парочку, котрые удалили и вернули

После увеличения числа партиций клиенты логируют "4 partitions have leader brokers without a matching listener". Подскажите что делать.

Добрый день коллеги. Несколько дней уже мучаюсь с проблемой блин. Кафка на ВМке в гугле. Есть приватный айпи и публичный. По приватному все работает. По публичному зукипер работает. Но скрипт consumer уперся в хлам
./kafka-consumer-groups.sh --list --bootstrap-server public_ip:9092

Error: Executing consumer group command failed due to org.apache.kafka.common.KafkaException: Failed to find brokers to send ListGroups
java.util.concurrent.ExecutionException: org.apache.kafka.common.KafkaException: Failed to find brokers to send ListGroups
        at org.apache.kafka.common.internals.KafkaFutureImpl.wrapAndThrow(KafkaFutureImpl.java:45)
        at org.apache.kafka.common.internals.KafkaFutureImpl.access$000(KafkaFutureImpl.java:32)
        at org.apache.kafka.common.internals.KafkaFutureImpl$SingleWaiter.await(KafkaFutureImpl.java:89)
        at org.apache.kafka.common.internals.KafkaFutureImpl.get(KafkaFutureImpl.java:260)
        at kafka.admin.ConsumerGroupCommand$ConsumerGroupService.listConsumerGroups(ConsumerGroupCommand.scala:216)
        at kafka.admin.ConsumerGroupCommand$ConsumerGroupService.listGroups(ConsumerGroupCommand.scala:211)
        at kafka.admin.ConsumerGroupCommand$.run(ConsumerGroupCommand.scala:72)
        at kafka.admin.ConsumerGroupCommand$.main(ConsumerGroupCommand.scala:61)
        at kafka.admin.ConsumerGroupCommand.main(ConsumerGroupCommand.scala)
Caused by: org.apache.kafka.common.KafkaException: Failed to find brokers to send ListGroups
        at org.apache.kafka.clients.admin.KafkaAdminClient$25.handleFailure(KafkaAdminClient.java:3154)
        at org.apache.kafka.clients.admin.KafkaAdminClient$Call.failWithTimeout(KafkaAdminClient.java:777)
        at org.apache.kafka.clients.admin.KafkaAdminClient$Call.fail(KafkaAdminClient.java:748)
        at org.apache.kafka.clients.admin.KafkaAdminClient$TimeoutProcessor.handleTimeouts(KafkaAdminClient.java:871)
        at org.apache.kafka.clients.admin.KafkaAdminClient$AdminClientRunnable.timeoutCallsToSend(KafkaAdminClient.java:952)
        at org.apache.kafka.clients.admin.KafkaAdminClient$AdminClientRunnable.processRequests(KafkaAdminClient.java:1261)
        at org.apache.kafka.clients.admin.KafkaAdminClient$AdminClientRunnable.run(KafkaAdminClient.java:1224)
        at java.base/java.lang.Thread.run(Thread.java:834)
Caused by: org.apache.kafka.common.errors.TimeoutException: Call(callName=findAllBrokers, deadlineMs=1598445322445, tries=1, nextAllowedTryMs=1598445322552) timed out at 1598445322452 after 1 attempt(s)
Caused by: org.apache.kafka.common.errors.TimeoutException: Timed out waiting to send the call.

В server.properties прописал
listeners=PLAINTEXT://0.0.0.0:9092
advertised.listeners=PLAINTEXT=://private_ip:9092
Публичный прописывал тоже, не работает (даже в приватной сети)
Куда копать, что подскажете?