это всё не отвечает на вопрос - почему с минусом охренеть как медленно стало =)
надо смотреть асм. Первое - это вставляется проверка на оверфлоу. ты отнимаешь у беззнакового типа
второе как я сказал - без минуса код легко векторизуем через sse, но это не наш случай, джит такое не умеет)