Ну и плюс, если не делаете проверку acks, то сообщения будут писаться быстро, но сообщение консьюмерам будет доступно, только после фетчинга follower-партициями

"The rule of thumb is that the number of Kafka topics can be in the thousands.
Jun Rao (Kafka committer; now at Confluent but he was formerly in LinkedIn's Kafka team)
wrote: At LinkedIn, our largest cluster has more than 2K topics. 5K topics should be fine."  вот ниже более позднее. там можно версии посмотреть.

As a rule of thumb, we recommend each broker to have up to 4,000 partitions
and each cluster to have up to 200,000 partitions.
The main reason for the latter cluster-wide limit is to accommodate for the rare event of a
hard failure of the controller as we explained earlier. Note that other considerations related to
partitions still apply and one may need some additional configuration tuning with more partition
https://www.confluent.io/blog/apache-kafka-supports-200k-partitions-per-cluster/

привет всем, порекоммендуйте пожалуйста, что почитать, чтобы доходчиво, чем кафка лучше рэббита или любого другого amqp. Тем более вижу такие маленькие лимиты, что ещё более ограничивает область применимости.

kafka != rabbit
их в лоб сравнивать так-то вроде нельзя

По крайней мере тем, что Кафка не реализует протокол amq.

из того, что я понял, извините за мою тёмность, про кафку: ничего нам не мешает реализовать kafka amqp bridge.

Но меня заинтересовало, что про кафку говорят:
Kafka is highly scalable
Kafka is highly durable
Kafka is Highly Reliable
Kafka Offers High Performance

но тут получается что всё немного хуже, чем нам пишут в рекламе

Почитай первую главу Kafka: the definitive guide. Есть даже на русском. Там есть коротенькое рассмотрение кейса LinkedIn и почему им не подошел ActiveMQ.

а ЗОЧЕМ

то же самое можно сказать про Рэббит, если что

Там просто мелким шрифтом звёздочка идёт ещё
* when properly cooked

Кафка это когда число потребителей информации (любой) неизвестно. Из этого следует, что сообщения там акать нельзя.

вместо классического mq-глоссария кафка вводит свой набор терминов: оффсет, топик и партиция (единица параллелизма)

посоветовал бы, для начала lurkmore по гуглу, куча статей хороших на хабре есть по сравнению

привет
гоняю нагрузочное тестирование с kafka-producer-perf-test.sh
после 30к/сек начинает сильно расти latency
какие могут быть причины?
спасибо

забитая сеть
мелкие батчи которые пытаетесь регулярно комитить
и тд и тп

возможно воркеры не справляются писать на диск

похоже что я просто уперся в свой интернет канал *facepalm*

Да нет, все правильно пишут )
Просто всегда надо сначала думать, а потом использовать.
Ну и в кролике то вообще нет ни масштабируемости, ни надежности, ни производительности, так что вариантов особо и нет...