Ну так в late update все и решается парой строчек. LookRotation и Lerp. Возможно ещё коррекция поворота если оси кости головы неправильно ориентированы, а так увы часто бывает.
я это всё сделал, но работало косячно пока я не продублировал тот же код в Update(), и всё равно остался один косяк, с которым я уже несколько часов бьюсь