в твоем случае, как я понял, вы выбрали кафку как системную шину сообщений.
я пришел в компанию, когда Кафка в проде уже четвертый год. в настоящее время большинство топиков по-прежнему с одной-единственной партицией и многие девы до сих пор путают компактизацию с конкатенацией. в общем, суть в том, что де-факто все завязано на Кафку, но пользоваться ей толком еще даже не начали. но роль ей отведена именно такая, какую ты описал + live streaming критически важных спортивных событий по 50+ видам спорта. вторая часть, собственно, началась с моим приходом и там среднее количество партиций 12. вот, собственно, и все. никаких гигантским масштабов, где ОТП оправдал бы себя. не выглядит как задача для Эрланга, если честно.