Гайс нубский вопрос, а Memory<T> дает какие-то преимущества относительно T[]? Спаны не получается заюзать из-за асинков
Memory<T> можно как абстракцию над массивом и над неуправляемой памятью сделать. Для этого, собственно, он и используется. Еще это окно в массив, аналог ArraySegment, что позволяет нарезать массив (или неуправляемую память).