ну он не медленней по определению, например в c++ и rust есть встроеный arc, но нет gc. + на swift можно написать так что бы небыло счетчика)
У Rust использование Arc это плохая практика, обычно принято обходиться Rc, или вообще стековыми переменными, передавая владельца или &mut. Если писать в чисто-фукнциональном стиле на Rust с иммутабельными переменными - там выигрыш колоссальный перед jvm, у меня на хабре статья на эту тему есть. А вот свифт использует Arc всегда, поэтому тормозит. Хотя, я не спец по свифту, допускаю что его можно правильно приготовить.