тут нужно все же учитывать, что beam не jvm, она 1 - медленная, 2 - без shared memory. серьезный большие данные не расшарить as is
ну если фантазировать, на сколько я понимаю, никто не мешает в beam эмедить БД на расте, например, в котором аллоцировать сколько угодно памяти вне beam, а beam использовать как уровень оркестрации и io-обработки 🙂