а если у тебя чистый проект. Ты его первый раз собираешь на симулятор. А потом первый раз на устройство. То второй билд как инкрементальный будет или начисто, как под другую архитектуру и с линковкой к другим либам?
А между билдом для мака и для айфона – инкременталка.
Короч симулятор на М1, в том виде, в котором он сейчас, подходит только для проверки на разных разрешениях.
В остальном случае проще нативно собрать