У меня проект который собирается на i9 32gb 500c, на Air с M1 16gb собирается 300с. При том что в проекте хорошая мешанина swift/objc. Подтюнить пришлось только конфиг в одном месте чтобы собиралось норм под симулятор.
вот я и говорю, если поды не лежат в репе, а тянутся извне, это может добавить еще одну проблему (ну это я чисто предполагаю, потому что у меня то нет М1, просто думаю что лишний шаг может добавить проблем)