Тогда, на мой взгляд, надо сделать так.
Сначала перенести все точки облака так, чтобы прямая проходила через 0. Это векторная операция.
Потом скалярно умножить на нормированный вектор этой прямой, это тоже векторная операция, дающая проекцию на эту прямую. Это векторная операция.
Потом посчитать скалярный квадрат всего облака. Это векторная операция.
Потом вычесть из скалярного квадрата облака квадрат проекции на прямую. Это векторная операция.
Потом извлечь квадратный корень из разности.
Чтобы не возиться с многомерными массивами, я бы, действительно, его сплющил сразу в развертку.