Короче, я по-другому закостылил, если вдруг интересно. 🤣 Но за советы всё равно спасибо!
Я просто взял координаты focal point (объекта, который берёт ту же позицию, что и шарик, чтобы можно было камеру крутить), и т.к. он поворачивается вместе с шариком по оси Y, не не по другим осям, это значит, что он смотрит всегда в одну сторону.
Стало так:
endPos = new Vector3(player.transform.position.x, player.transform.position.y, focalPoint.transform.position.z + endLine);
Было так:
endPos = new Vector3(player.transform.position.x, endLine, player.transform.position.z);