Так речь об имплементации List<T>. Если массив захотят сменить на что-то более сложное, то AsSpan будет бесполезен.
Если имплементацию List<T> поменяют, то это будет уже явно не ArrayList, другой перформанс профиль будет, где-то может и ускорится, но где-то явно просядет.. А где-то просто-напросто бомбанет, причем как всегда в самом неподходящем месте, и будет стопорить переезд на новую мажорную версию