Нет, ты не помнишь верно. SPE работают из локальной SRAM, 256k на ядро и подкачивают остальное по DMA.
То что там у каждого проца собственная память ессно я знаю и знаю что остальное программно регулируется, но это не означает что нет прямого доступа. Каждый проц сам инициирует доступ к памяти и при этом ни от кого не зависит.