mirror - это для сильно удаленных ДЦ...

И что, rmq в тех же условиях хуже себя ведет? По факту-то у вас не геораспределенная конфигурация

А как вы транзакцию kafka бд сделали?

Одним rmq и kafka возможности не ограничиваются. Варианты есть.

Ну, у RMQ вообще беда с кластерной конфигурацией, она регулярно разваливается и вообще с ней куча проблем в эксплуатации.
У кафки несколько брокеров и репликация гораздо надежнее.

Вообще, два ДЦ в одном городе на разных провайдерах - это вполне геораспределенная, защита от любых событий кроме падения метеорита.
Для чистой геораспределенки делают standby в другом регионе (или другой стране), но там уже время переключения обычно не принципиально, может быть и минуты.

Запись в БД, вычитка оттуда. Для Oracle можно прямо из лога транзакций читать, для других можно руками.
Для FDB у нас более хитрая схема, правда, но там тонкости работы FDB.

А какие?

Кстати, а в случае rmq - что происходит с задачами, которые не удалось обработать? Они же не попадают обратно в очередь (иначе в какой-то момент все воркеры пытаются безуспешно обработать неудачные задачи)? А если они попадают в отдельную очередь, то кто мешает это сделать на кафке? Еще и транзакционно )

А в чем драма с fsync? Чего с ним так носятся?

Ну, когда-то это была гарантия записи на диск.

Вот второй кейс неправильного использования:
"Kafka is completely unsuitable for RPC, for several reasons. .....
A single slow consumer can block a significant portion of the queue. Kafka is designed for fast (or at least evenly performant) consumers."

А откуда цитата?

О чем и речь. Взяв kafka  мне приходится решать задачи, которые я не вижу смысла решать. Причем решать весьма не тривиально.

А на чем еще можно  сделать транзакционно добавление в очередь? XA в кролике не предлагать )

Но это же не верно. Медленный консюмер никого не блокирует. Хотя, конечно, Кафка предполагает, что если вам нужно обрабатывать много сообщений, то они обрабатываются быстро. Но проблемы на одном из консюмеров ее мешают другим.

Блокирует. У вас минимальная единица параллелизма в kafka - это партиция. Если консьюмер начинает считывать сообщение из партиции с задержками, то другие консьюмеры ему помочь не могут. И все сообщения из этой партиции будут обрабатываться с задержками. А классических message broker минимальная единица - сообщение. Поэтому такой проблемы нет.

Спасибо!

Да, хорошо описали, благодарю!

Он блокирует партицию, а не очередь. Вся остальная очередь живёт спокойно и не замечает проблем. А так как перераспределить партиции можно легко, эта проблема - не проблема.