Всем привет. Подскажите пожалуйста. Провёл два раза нагрузочный тест на разных версиях сайта. Длительность теста 35 минут. В целом все показатели метрики близки, кроме 99 персентиля, он барахлит с разностью в 15-20%. Причем разница может меняться на обоих версиях, то одна лучше то другая.

Верно ли я понимаю, что 99 персентиль, может себя нестабильно показывать, именно из-за того что 35 минут это мало и достаточного небольшого количества долгих запросов чтобы искажать этот показатель?

А сколько операций выполнилось за тест?

56 000+

99й перцентиль за весь тест берётся (одно число) или это график, который жметер рисует?

это одна операция, или за весь тест?

весь тест

за весь тест брал одно число, но также и тренд графика в графана смотрю. Но один и тот же тест, даже на оной и той же версии, по 99 персентилю показывает разные результаты, другие метрики близки

надо разбивку по операциям смотреть какая операция вызывает аномалию и ее исследовать и ее влияние тоже

у меня в тесте по сути одна операция, это get запрос на страницу, только каждый раз с разными параметрами, страница выдачи с товарами

тогда это не погрешность думаю. в работе системы присутсвуют периоды вызывающие долгую работу приложения

или разные параметры вызова заставляют систему делать разную работу.

Но в целом, небольшие колебания во времени отклика - это норм.

По поводу графика по 99му перцентилю:

56000 (операций за тест) / 35 (минут) / 12 (привожу к 5 секундам, т.к. жметер агрегирует  данные по 5 сек) = 133 операции за каждые 5 секунд.
133*0,01 = 1,3
Вывод: если вы берёте 99й перцентиль при вашей интенсивности нагрузки, откидывается время отклика всего одной операции. Из оставшегося берётся самое худшее.
Тут могут быть большие колебания.

имхо:
* 99й перцентиль как одно общее число за тест, которое выдаётся в репорте жметра - имеет смысл смотреть.
* а график по 99му перцентилю не очень.
Лучше хотя бы 95й перцентиль.

спасибо за такой анализ ))

результаты 95 персентиля очень близки, почти одинаковые

вот как я понимаю, что если бы проводить тест дольше, там 5 часов, то это бы показало более точные результаты ?

нее

жметер всегда шлёт данные в инфлакс раз в 5 сек

тут не важно, сколько тест идёт
важно, сколько операций за 5 секунд успевают выполниться

Всем привет! Может, кто сталкивался и сможет подсказать как можно решить

Описание: есть сервис, где пользователь входит в сервис и в момент работы на фронте отправляются запросы на бэк - начать прохождение, перейти на следующий шаг, отменить прохождение и другое

Дано:
1. Результат НТ с показателями. Допустим, 100РПС система выдерживает на протяжении 12 часов
2. Сервис, где пользователи отправляют запросы в момент прохождения шагов (нет определённого времени на шаг)

Нужно: определить кол-во пользователей, которые генерируют 100 РПС (естесственно, с отклонениями и не точно)

Проблема: нам нужно определить сможет ли система выдержать 3000 пользователей онлайн. Сейчас уткнулся в то, что я не понимаю какое кол-во запросов будут генерировать 3к юзеров

забей на юзеров, оперируй только запросами.

если нужен ответ ИМЕННО в пользователях:
1) узнай, сколько пользователей сейчас
2) узнай, сколько РПС они делают сейчас

из этого ты сможешь выяснить соотношение РПС на пользователя