Железо не менялось, код сборочной линии не менялся, конфигурация меняется не на столько, чтобы "все так испортилось". Общее время тестирования выросло с 17 часов до 30, при этом добавили примерно 40 небольших сценариев. Если смотреть время выполнения одних и тех же сценариев на 23 и 24 версиях в Cucumber, то на мелких простых сценариях виден 3х-кратный рост.