Кватернионы в основном удобны джля представления поворотов. В 95% случаев встречается только это. Можно ещё запихнуть Similarity Transform в 4x2, но это если очень-очень хочется няшных анимаций
Насколько я помню кватерион могет сделать в одно плавное вращение все операции над ним а матрица в несколько небольших с изменением. Хотя, давно, лет 5 назад я с этим всем копался. Уже не помню. В обшем с кватерионом оно плавнее получается.