а инерция полюбому наверное нужна
Попробуй хранить переменную скорость. При движении прибавляй к нему ускорение, если нажата клавиша Вперед, то прибавляешь ускорение вперед, иначе прибавляешь противоположный вектор, типа сопротивление воздуха.
Если поворачивает, то прибавляешь скорость в бок(RightVector), иначе ничего не делаешь.
Эту скорость каждый кадр прибавляешь к текущей позиции умноженную на DeltaSeconds