В любом случае вопрос в том, что обычно если нет необходимости в памяти, то она висит в кеше, не удаляется до момента, пока не будет востребована. Вопрос, у вас происходит утечка памяти? Или просто занята почти вся память, но при подгрузке нового уровня, к примеру, ресурсов хватает?