На Линуксе тоже должна освобождаться. Только вот зачастую первым валится не компилятор, а кто-нибудь ещё, кто на полку за памятью полез. Поэтому в целом OOM — это плохо.
В дотнете рантайм и GC в среднем значительно более слабо прокачан, но зато куда более агрессивно отдаёт память в систему. Поэтому никогда не нужно тюнить Xmx (в принципе такая возможность есть, но я ни разу не видел, чтобы её использовали).