Даже при включённом эскейп анализе?
Да, проблема исключительно в том, что кончился джавовый хип. А, то, что сообщение необычное - лишь совпадение, что деоптимизация, да еще с перемещением объектов со стека в хип, случилась ровно в тот момент, когда закончилась память.