Открытой системой (в рамках тестирования производительности) - называется такая система, в которой невозможно контролировать число конкурентных пользователей. При увеличении времени отклика, пользователи, которые уже находятся в системе, продолжают выполнение своих задач, пока новые пользователи продолжают прибывать. Пример - любой онлайн-магазин, при покупках товара пользователь не ждёт другого пользователя, чтобы совершить весь свой путь по сайту. Он покупает (читай создаёт запросы) не смотря на остальных.
Закрытая система имеет обратную связь, и прибывающие пользователи становятся в очередь, если система не успевает их обслужить. Из очереди пользователь может выйти и быть поданным на вход в систему только тогда, когда существующий пользователь закончит свой "сценарий" и выйдет. Пример - очередь на кассе в магазине, очередь на турникет, отделение банка, в котором есть ограниченное количество сотрудников/операторов.
Вкратце:
При открытой системе необходимо использовать открытую модель рабочей нагрузки и она будет соответствовать определению показателя прибывающих новых пользователей. Количество конкурентных пользователей внутри системы нельзя будет контролировать, а вследствие и времена откликов.
При закрытой модели необходимо использовать закрытую модель рабочей нагрузки, в которой контролируется количество конкурентных пользователей. Показатель прибывающих новых пользователей не контролируется.
Выбор верной модели нагрузки
Если вы выбираете закрытую модель для тестирования открытой системы, то вы создаёте искусственную предвзятость. Если тестируемая система начнёт замедляться, инжектор нагрузки снизит скорость поступления, чтобы количество одновременных пользователей не увеличивалось. Тем самым инжектор нагрузки и тестируемая система будут уравновешиваться, но такого баланса не будет существовать в реальном мире, поэтому ваши результаты будут бессмысленными.
Вы должны выбирать модель, которая соответствует поведению и архитектуре вашей тестируемой системы в продакшене, даже если это означает переработку текущего решения.