Смотрите какая офигенная демонстрация алгоритма рендера сцены из кучи фотографий – то есть вы фотографируете объект или какое-то место с разных сторон, а он вам возвращает 3D-пространство в котором можно подвигать камеру.
Кода пока нет, но это лучший результат что я видел.
Пейпер
тут.