Смотри если есть какая-то граница в которую игрок упирается например стена то там должен стоять коллайдер, если есть объект который взаимодействует с игроком например мяч, то там и коллайдер и ригидбоди, если есть объект который игрок видит но никогда сним не сможет взаимодействовать, например птица то там просто меш и анимация. По поводу производительности и коллайдеров, если у тебя сложный меш например ворота с аркой, то лучше сделай несколько бокс коллайдеров вместо автоматического коллайдера,забыл как он называется, так для производительности лучше будет ...ну а так тестить нужно в зависимости от твоей цели