Потом собсна в дело идет внутрянка, за которую особо не скажу, но кафка начинает достаточно ощутимо жрать память при создании большого количества топиков (тут может кто-то детально подскажет почему так происходит) И напоследок приятным бонусом идет перезапуск такого брокера, где он после запуска должен проверить корректность всех крайних датафайлов каждой принадлежащей ему партиции
Структура партишенов хранится в памяти контроллера. Поэтому может и память поедаться активно
Я просто видел реальные кейсы, когда на брокере было по 25к партиций Но не все использовались (топики некоторые пустовали) Все работало, заметили только тогда, когда latency вырос, но это было уже >30к партиций