Не очень понимаю ее запуск при запуске например через CI
Там самая затратная часть - это прорисовка дерева шагов. А её можно отключить в json.
Мы, например, периодически запускаем тесты в режиме отладки, чтобы при падении на виртуалке ничего не закрылось и можно было подключиться для расследования.