У меня почему то в fixedUpdate как то дергается, документацию листал так и не понял до конца там надо применять time.fixeddeltatime, или вообще ничего не надо, так как итерации через одно и тоже время происходят.
Не уверен, подойдет ли vector3.clampmagnitude так как у меня объект тоже направлялся в зависимости от оси вращения, а для этого нужно работать с Rigidbody на прямую
Дёргаться может камера, если у тебя она есть, запихни ее код в late update, а не в update