Айдар
в данный момент физики вообще нет. хотя в поледующем планировал добавить
Для начала, я бы глянул профайлер - где затык вообще?
Если для ПК, то можно физику самому просчитывать, через компьютшейдеры, а рисовать через DrawMeshInstancedIndirect.
По идее, будет самый быстрый вариант.)
И шейдер сменить на кастомный, чтобы простой unlit/color opaque, но с поддержкой инстансинга.