@IuriiTg Понял, еще раз благодарю за пояснение )

подскажите, что конкретно означает запись --replica-assignment 0:1:2,0:1:2,0:1:2 при создании топика? взято здесь https://cwiki.apache.org/confluence/display/KAFKA/Replication+tools#Replicationtools-2.2CreateTopics

вот это 0:1:2

Брокеры, партиции

я примерно понимаю, что это имеет отношение к брокерам но что конкретно за цифры? откуда считать? как понять кто есть кто в кластере?

если говорить про конкретно эту запись, то тут мы вручную распределяем 4 партиции топика с реплика-фактор 3 между тремя брокерами
запись выглядит так
0 партиция, 1 партиция, 2 партиция, 3 партиция
для каждой партиции мы указываем id брокеров , на которых будут располагаться лидер (первый айдишник) и реплики(остальные)
брокер0 :  брокер1 : брокер2
то есть лидер каждой партиции этого топика расположен на брокере 0

если так нагляднее
https://docs.confluent.io/platform/current/kafka/rebalancer/index.html

Спасибо!

SR это отдельный сервис, его не надо на каждом брокере стартовать

не могу нагуглить консольного клиента отдельно от кафки. Он отдельно ни где вы выкладывается?

kafkacat

Кросс-пост

Кафку на проектах хотят очень многие, даже когда она не нужна. Но далеко не все умеют правильно готовить эту технологию.

Анатолий Солдатов и Виктор Гамов ответят на вопросы, возникающие после деплоймента Кафки. Ребята расскажут как они мотивировали выбор каждого инструмента экосистемы и ответят на вопросы:

— Как организовать мониторинг;
— Что такое Burrow и зачем он нужен;
— Нужны ли бэкапы;
— Как организовать интеграцию с БД;
— Зачем нам Schema Registry и что такое REST Proxy;
— Какая топология нужна в несколько ДЦ;
— Почему есть с десяток репликаторов, как выбрать. Чем отличается MM от MM2;
— Как ничего не делать и чтобы кластер админил себя сам;
— Что делать с безопасностью данных и доступами.

Купить билеты и узнать подробности можно на сайте
Перейти на сайт

@MrAnatoly будет рассказывать истории бывалого. А я буду сбоку стоять и шутить (иногда уместно иногда нет)

Блин, а что не joker?

На джокере же хардкор а Кафка это смузи

Всем привет!

Может кто-то подскажет в чем дело:
%4|1606845777.972|REQTMOUT|rdkafka#producer-1| [thrd:kafka-broker-1:9092/bootstrap]: kafka-broker-1:9092/1: Timed out 1 in-flight, 0 retry-queued, 0 out-queue, 0 partially-sent requests
%4|1606845778.483|REQTMOUT|rdkafka#producer-1| [thrd:kafka-broker-2:9092/bootstrap]: kafka-broker-2:9092/bootstrap: Timed out 1 in-flight, 0 retry-queued, 0 out-queue, 0 partially-sent requests
%4|1606845778.485|REQTMOUT|rdkafka#producer-1| [thrd:kafka-broker-1:9092/bootstrap]: kafka-broker-1:9092/bootstrap: Timed out 1 in-flight, 0 retry-queued, 0 out-queue, 0 partially-sent requests
%4|1606845778.968|REQTMOUT|rdkafka#producer-1| [thrd:kafka-broker-1:9092/bootstrap]: kafka-broker-1:9092/bootstrap: Timed out 1 in-flight, 0 retry-queued, 0 out-queue, 0 partially-sent requests
%4|1606845779.484|REQTMOUT|rdkafka#producer-1| [thrd:kafka-broker-1:9092/bootstrap]: kafka-broker-1:9092/bootstrap: Timed out 1 in-flight, 0 retry-queued, 0 out-queue, 0 partially-sent requests
%4|1606845780.224|REQTMOUT|rdkafka#producer-1| [thrd:kafka-broker-1:9092/bootstrap]: kafka-broker-1:9092/bootstrap: Timed out 1 in-flight, 0 retry-queued, 0 out-queue, 0 partially-sent requests
%4|1606845780.224|REQTMOUT|rdkafka#producer-1| [thrd:kafka-broker-2:9092/bootstrap]: kafka-broker-2:9092/bootstrap: Timed out 1 in-flight, 0 retry-queued, 0 out-queue, 0 partially-sent requests
%4|1606845780.224|REQTMOUT|rdkafka#producer-1| [thrd:kafka-broker-2:9092/bootstrap]: kafka-broker-2:9092/bootstrap: Timed out 1 in-flight, 0 retry-queued, 0 out-queue, 0 partially-sent requests
%4|1606845780.736|REQTMOUT|rdkafka#producer-1| [thrd:kafka-broker-1:9092/bootstrap]: kafka-broker-1:9092/bootstrap: Timed out 1 in-flight, 0 retry-queued, 0 out-queue, 0 partially-sent requests
%4|1606845781.521|REQTMOUT|rdkafka#producer-1| [thrd:kafka-broker-3:9092/bootstrap]: kafka-broker-3:9092/bootstrap: Timed out 1 in-flight, 0 retry-queued, 0 out-queue, 0 partially-sent requests
%4|1606845785.172|REQTMOUT|rdkafka#producer-1| [thrd:kafka-broker-1:9092/bootstrap]: kafka-broker-1:9092/1: Timed out 1 in-flight, 0 retry-queued, 0 out-queue, 0 partially-sent requests

При увеличении количества коннектов появляются такого рода ошибки при подключении продюсеров к брокерам, с чем может быть связано, на хост-машинах с брокерами в это время держится порядка 1000 TCP соединений, подключение в пределах одного датацентра, продюсеры на php с использованием расширения rdkafka (4.0.4), librdkafka (0.11.6) из стандартного репозитория Debian Buster

Вообще есть подозрения на то что проблема не в том как настроен сам сервер, а в том как работает сам php-rdkafka, который не умеет держать персистентные соединения и плодит огромное количество коннектов

Ребятушки, а кто-нибудь считает как-нибудь «снаружи» метричку среднего времени «жизни» сообщения для конкретной консумер-группы? Поделитесь конкретной формулой, если да?