1. если что-то имеет геймплейное значение, авторитарный сервер обязан это считать
2. это вишенка на тортите. У тебя на одном клиенте рука будет слева, на другом - справа, а на сервере - вообще посередине и другая частота тика. Какой стул какому клиенту отдашь, на какой - сервер посадишь?
То есть мне надо еще дополнительно как то реплицировать "ну типа взгляд персонажа, куда смотрит"