Ещё вопрос туда же - у вас изолированный стенд, который никто кроме вас не использует?

2-3 минуты это ничто. Поэтому и разброс

Запускайте тесты на час, хотя бы, тогда значения будут устредняться

2-3 минуты — это флуктуации старта)

Их есть смысл сравнивать

И ещё важно - не учитывайте рампап в анализе, пока система «прогревается»

Чтобы было понятнее: если у вас есть функция рандомизации, которая генерирует числа от 5 до 10, и мы сделаем тест на генерацию одного-двух чисел, с большой вероятностью среднее арифметическое суммы чисел первого теста будет фатально отличаться от среднего арифметического суммы чисел второго теста. Но если в каждом тесте мы будем генерировать не 2-3-4 числа а, допустим, 1000, то и там и там среднее арифметическое будет примерно 7,5

Это даже не учитывая «прогрев» системы, о котором я писал выше

нет, не изолированный, по сути прод.
Спасибо за советы и разъяснения, все услышал )) буду разбираться и применять )

В проде ещё больше специфики и точно вы вряд ли повторите второй тест, так как на систему влияют множество независимых и сложно предсказываемых событий

как правило у большинства есть изолированный стенд под нагрузочные тесты ?

У нас в компании это одно из основных требований к заказчику)

а кто обычно их делает ? devops ?

Если есть, то да. Иногда админы, иногда сами разрабы

понял, были об этом просто разговоры что нужно, попробую продвинуть и донести что это очень важно и нужно для получения максимально приближенных результатов )

Иногда нтшники)))))))

А в графике Active Threads Over Time показывает что активных тредов 4, хотя их 20, по 4 в 5 Ultimate Thread
Это ошибка графика или я что то не так понимаю ?

а покажи настройки тредгрупп

А настройки тестплана?