Да нет же, у тебя любой компилятор от которого ты ожидаешь хорошо оптимизированный код - будет работать медленно, это та правда жизни от которой не уйти.
Потому что большинство алгоритмов в нормальном кодгене и т.п. - они нифига не линейные, а нормальный перформанс на сегодняшний день требует инлайна всего и всюду на любой чих.
Отсюда получается, что если ты хочешь нормального перформанса то тебе надо инлайнить всё подряд, тем самым раздувая размер функций, который компилятор должен анализировать, тем самым нелинейно ухудшая время компиляции.