4 гб ОЗУ сейчас не в тын ни в ворота, и линукс без особой хакерской магии очень плохо работает с swap, чуть что туда попадает то это конец то есть верхняя планка по нагрузке на ОЗУ не 3.8 гб (условно) а намного меньше, после чего в дело влетает swap и смерть
Можно использовать не de, а wm, тогда можно и на 2гб работать