Size: a a a

2020 December 01

YL

Yuri Lyulchenko in pro.kafka
@IuriiTg Понял, еще раз благодарю за пояснение )
источник

А

Александр in pro.kafka
подскажите, что конкретно означает запись --replica-assignment 0:1:2,0:1:2,0:1:2 при создании топика? взято здесь https://cwiki.apache.org/confluence/display/KAFKA/Replication+tools#Replicationtools-2.2CreateTopics
источник

А

Александр in pro.kafka
вот это 0:1:2
источник

ЧП

Чёрный Плащ... in pro.kafka
Брокеры, партиции
источник

А

Александр in pro.kafka
Чёрный Плащ
Брокеры, партиции
я примерно понимаю, что это имеет отношение к брокерам но что конкретно за цифры? откуда считать? как понять кто есть кто в кластере?
источник

AC

Anton Churkin in pro.kafka
Александр
я примерно понимаю, что это имеет отношение к брокерам но что конкретно за цифры? откуда считать? как понять кто есть кто в кластере?
если говорить про конкретно эту запись, то тут мы вручную распределяем 4 партиции топика с реплика-фактор 3 между тремя брокерами
запись выглядит так
0 партиция, 1 партиция, 2 партиция, 3 партиция
для каждой партиции мы указываем id брокеров , на которых будут располагаться лидер (первый айдишник) и реплики(остальные)
брокер0 :  брокер1 : брокер2
то есть лидер каждой партиции этого топика расположен на брокере 0
источник

AC

Anton Churkin in pro.kafka
источник

А

Александр in pro.kafka
Anton Churkin
если говорить про конкретно эту запись, то тут мы вручную распределяем 4 партиции топика с реплика-фактор 3 между тремя брокерами
запись выглядит так
0 партиция, 1 партиция, 2 партиция, 3 партиция
для каждой партиции мы указываем id брокеров , на которых будут располагаться лидер (первый айдишник) и реплики(остальные)
брокер0 :  брокер1 : брокер2
то есть лидер каждой партиции этого топика расположен на брокере 0
Спасибо!
источник

VG

Vik Gamov in pro.kafka
Yuri Lyulchenko
@IuriiTg , спасибо за оперативный ответ. А можно еще вопрос. Я правильно же понимаю, что SchemaRegistry нужно будет стартануть на каждой ноде?
SR это отдельный сервис, его не надо на каждом брокере стартовать
источник

А

Александр in pro.kafka
не могу нагуглить консольного клиента отдельно от кафки. Он отдельно ни где вы выкладывается?
источник

VG

Vik Gamov in pro.kafka
Александр
не могу нагуглить консольного клиента отдельно от кафки. Он отдельно ни где вы выкладывается?
kafkacat
источник

А

Александр in pro.kafka
Vik Gamov
kafkacat
источник

VG

Vik Gamov in pro.kafka
Кросс-пост
источник

VG

Vik Gamov in pro.kafka
Кафку на проектах хотят очень многие, даже когда она не нужна. Но далеко не все умеют правильно готовить эту технологию.

Анатолий Солдатов и Виктор Гамов ответят на вопросы, возникающие после деплоймента Кафки. Ребята расскажут как они мотивировали выбор каждого инструмента экосистемы и ответят на вопросы:

— Как организовать мониторинг;
— Что такое Burrow и зачем он нужен;
— Нужны ли бэкапы;
— Как организовать интеграцию с БД;
— Зачем нам Schema Registry и что такое REST Proxy;
— Какая топология нужна в несколько ДЦ;
— Почему есть с десяток репликаторов, как выбрать. Чем отличается MM от MM2;
— Как ничего не делать и чтобы кластер админил себя сам;
— Что делать с безопасностью данных и доступами.

Купить билеты и узнать подробности можно на сайте
Перейти на сайт
источник

VG

Vik Gamov in pro.kafka
Vik Gamov
Кафку на проектах хотят очень многие, даже когда она не нужна. Но далеко не все умеют правильно готовить эту технологию.

Анатолий Солдатов и Виктор Гамов ответят на вопросы, возникающие после деплоймента Кафки. Ребята расскажут как они мотивировали выбор каждого инструмента экосистемы и ответят на вопросы:

— Как организовать мониторинг;
— Что такое Burrow и зачем он нужен;
— Нужны ли бэкапы;
— Как организовать интеграцию с БД;
— Зачем нам Schema Registry и что такое REST Proxy;
— Какая топология нужна в несколько ДЦ;
— Почему есть с десяток репликаторов, как выбрать. Чем отличается MM от MM2;
— Как ничего не делать и чтобы кластер админил себя сам;
— Что делать с безопасностью данных и доступами.

Купить билеты и узнать подробности можно на сайте
Перейти на сайт
@MrAnatoly будет рассказывать истории бывалого. А я буду сбоку стоять и шутить (иногда уместно иногда нет)
источник

DL

Denis Larionov in pro.kafka
Блин, а что не joker?
источник

VG

Vik Gamov in pro.kafka
Denis Larionov
Блин, а что не joker?
На джокере же хардкор а Кафка это смузи
источник

VM

Vladimir M in pro.kafka
Всем привет!

Может кто-то подскажет в чем дело:
%4|1606845777.972|REQTMOUT|rdkafka#producer-1| [thrd:kafka-broker-1:9092/bootstrap]: kafka-broker-1:9092/1: Timed out 1 in-flight, 0 retry-queued, 0 out-queue, 0 partially-sent requests
%4|1606845778.483|REQTMOUT|rdkafka#producer-1| [thrd:kafka-broker-2:9092/bootstrap]: kafka-broker-2:9092/bootstrap: Timed out 1 in-flight, 0 retry-queued, 0 out-queue, 0 partially-sent requests
%4|1606845778.485|REQTMOUT|rdkafka#producer-1| [thrd:kafka-broker-1:9092/bootstrap]: kafka-broker-1:9092/bootstrap: Timed out 1 in-flight, 0 retry-queued, 0 out-queue, 0 partially-sent requests
%4|1606845778.968|REQTMOUT|rdkafka#producer-1| [thrd:kafka-broker-1:9092/bootstrap]: kafka-broker-1:9092/bootstrap: Timed out 1 in-flight, 0 retry-queued, 0 out-queue, 0 partially-sent requests
%4|1606845779.484|REQTMOUT|rdkafka#producer-1| [thrd:kafka-broker-1:9092/bootstrap]: kafka-broker-1:9092/bootstrap: Timed out 1 in-flight, 0 retry-queued, 0 out-queue, 0 partially-sent requests
%4|1606845780.224|REQTMOUT|rdkafka#producer-1| [thrd:kafka-broker-1:9092/bootstrap]: kafka-broker-1:9092/bootstrap: Timed out 1 in-flight, 0 retry-queued, 0 out-queue, 0 partially-sent requests
%4|1606845780.224|REQTMOUT|rdkafka#producer-1| [thrd:kafka-broker-2:9092/bootstrap]: kafka-broker-2:9092/bootstrap: Timed out 1 in-flight, 0 retry-queued, 0 out-queue, 0 partially-sent requests
%4|1606845780.224|REQTMOUT|rdkafka#producer-1| [thrd:kafka-broker-2:9092/bootstrap]: kafka-broker-2:9092/bootstrap: Timed out 1 in-flight, 0 retry-queued, 0 out-queue, 0 partially-sent requests
%4|1606845780.736|REQTMOUT|rdkafka#producer-1| [thrd:kafka-broker-1:9092/bootstrap]: kafka-broker-1:9092/bootstrap: Timed out 1 in-flight, 0 retry-queued, 0 out-queue, 0 partially-sent requests
%4|1606845781.521|REQTMOUT|rdkafka#producer-1| [thrd:kafka-broker-3:9092/bootstrap]: kafka-broker-3:9092/bootstrap: Timed out 1 in-flight, 0 retry-queued, 0 out-queue, 0 partially-sent requests
%4|1606845785.172|REQTMOUT|rdkafka#producer-1| [thrd:kafka-broker-1:9092/bootstrap]: kafka-broker-1:9092/1: Timed out 1 in-flight, 0 retry-queued, 0 out-queue, 0 partially-sent requests

При увеличении количества коннектов появляются такого рода ошибки при подключении продюсеров к брокерам, с чем может быть связано, на хост-машинах с брокерами в это время держится порядка 1000 TCP соединений, подключение в пределах одного датацентра, продюсеры на php с использованием расширения rdkafka (4.0.4), librdkafka (0.11.6) из стандартного репозитория Debian Buster
источник
2020 December 02

VM

Vladimir M in pro.kafka
Вообще есть подозрения на то что проблема не в том как настроен сам сервер, а в том как работает сам php-rdkafka, который не умеет держать персистентные соединения и плодит огромное количество коннектов
источник

DZ

Dmitriy Zaytsev in pro.kafka
Ребятушки, а кто-нибудь считает как-нибудь «снаружи» метричку среднего времени «жизни» сообщения для конкретной консумер-группы? Поделитесь конкретной формулой, если да?
источник