Джентельмены! А отсыпьте годных туториалов по Kafka?

Чтобы не просто рассказали, какие фичи есть у продюсеров-консумеров, а чтобы прям показали, как ими пользоваться, причём на задачах, хоть немного близких к боевым?

Ну, в духе "вот тут мы сделаем мокап-продюсеров, которые будет генерить такие-то логи, на разделы побьём их так-то, а тут-то мы их будем бодро обрабатывать"?

Если это будет ещё и не на скалке, а на питончике животворящем, то просто пушка.

Джентельмены! А отсыпьте годных туториалов по Kafka?

Чтобы не просто рассказали, какие фичи есть у продюсеров-консумеров, а чтобы прям показали, как ими пользоваться, причём на задачах, хоть немного близких к боевым?

Ну, в духе "вот тут мы сделаем мокап-продюсеров, которые будет генерить такие-то логи, на разделы побьём их так-то, а тут-то мы их будем бодро обрабатывать"?

Если это будет ещё и не на скалке, а на питончике животворящем, то просто пушка.

Всем привет!

Может кто-то подскажет в чем дело:
%4|1606845777.972|REQTMOUT|rdkafka#producer-1| [thrd:kafka-broker-1:9092/bootstrap]: kafka-broker-1:9092/1: Timed out 1 in-flight, 0 retry-queued, 0 out-queue, 0 partially-sent requests
%4|1606845778.483|REQTMOUT|rdkafka#producer-1| [thrd:kafka-broker-2:9092/bootstrap]: kafka-broker-2:9092/bootstrap: Timed out 1 in-flight, 0 retry-queued, 0 out-queue, 0 partially-sent requests
%4|1606845778.485|REQTMOUT|rdkafka#producer-1| [thrd:kafka-broker-1:9092/bootstrap]: kafka-broker-1:9092/bootstrap: Timed out 1 in-flight, 0 retry-queued, 0 out-queue, 0 partially-sent requests
%4|1606845778.968|REQTMOUT|rdkafka#producer-1| [thrd:kafka-broker-1:9092/bootstrap]: kafka-broker-1:9092/bootstrap: Timed out 1 in-flight, 0 retry-queued, 0 out-queue, 0 partially-sent requests
%4|1606845779.484|REQTMOUT|rdkafka#producer-1| [thrd:kafka-broker-1:9092/bootstrap]: kafka-broker-1:9092/bootstrap: Timed out 1 in-flight, 0 retry-queued, 0 out-queue, 0 partially-sent requests
%4|1606845780.224|REQTMOUT|rdkafka#producer-1| [thrd:kafka-broker-1:9092/bootstrap]: kafka-broker-1:9092/bootstrap: Timed out 1 in-flight, 0 retry-queued, 0 out-queue, 0 partially-sent requests
%4|1606845780.224|REQTMOUT|rdkafka#producer-1| [thrd:kafka-broker-2:9092/bootstrap]: kafka-broker-2:9092/bootstrap: Timed out 1 in-flight, 0 retry-queued, 0 out-queue, 0 partially-sent requests
%4|1606845780.224|REQTMOUT|rdkafka#producer-1| [thrd:kafka-broker-2:9092/bootstrap]: kafka-broker-2:9092/bootstrap: Timed out 1 in-flight, 0 retry-queued, 0 out-queue, 0 partially-sent requests
%4|1606845780.736|REQTMOUT|rdkafka#producer-1| [thrd:kafka-broker-1:9092/bootstrap]: kafka-broker-1:9092/bootstrap: Timed out 1 in-flight, 0 retry-queued, 0 out-queue, 0 partially-sent requests
%4|1606845781.521|REQTMOUT|rdkafka#producer-1| [thrd:kafka-broker-3:9092/bootstrap]: kafka-broker-3:9092/bootstrap: Timed out 1 in-flight, 0 retry-queued, 0 out-queue, 0 partially-sent requests
%4|1606845785.172|REQTMOUT|rdkafka#producer-1| [thrd:kafka-broker-1:9092/bootstrap]: kafka-broker-1:9092/1: Timed out 1 in-flight, 0 retry-queued, 0 out-queue, 0 partially-sent requests

При увеличении количества коннектов появляются такого рода ошибки при подключении продюсеров к брокерам, с чем может быть связано, на хост-машинах с брокерами в это время держится порядка 1000 TCP соединений, подключение в пределах одного датацентра, продюсеры на php с использованием расширения rdkafka (4.0.4), librdkafka (0.11.6) из стандартного репозитория Debian Buster

а по hazelcast нет группы?

Хороший вопрос, но я хз

я видел у тебя про хазель видос и ответы на стэкеоверфлоу, можешь подскажешь как-то там можно посмотреть распределине партиций с их бэкапами по узлам кластера?

Добрый день.

Возможно, делаем что-то не так, но при ~10-20 практически пустых топиков клиенты начинают отваливаться с ошибкой topic is not present in metadata in 5000ms. Подскажите, куда копать? Топики есть, ошибка периодически пропадает. Куда грешить? Логи кафки ни о чем не говорят, логи прилы выше.

а не смотрел в логи ZK?

всем привет, кто нибудь знает какой-нибудь нормальный юай инструмент для кафки, так как kafka-tool отстойно выглядит?