Size: a a a

QA — Load & Performance

2021 July 27

M

Max in QA — Load & Performance
Всем привет. Подскажите пожалуйста. Провёл два раза нагрузочный тест на разных версиях сайта. Длительность теста 35 минут. В целом все показатели метрики близки, кроме 99 персентиля, он барахлит с разностью в 15-20%. Причем разница может меняться на обоих версиях, то одна лучше то другая.

Верно ли я понимаю, что 99 персентиль, может себя нестабильно показывать, именно из-за того что 35 минут это мало и достаточного небольшого количества долгих запросов чтобы искажать этот показатель?
источник

VG

Viktor Ganeles in QA — Load & Performance
А сколько операций выполнилось за тест?
источник

M

Max in QA — Load & Performance
56 000+
источник

VG

Viktor Ganeles in QA — Load & Performance
99й перцентиль за весь тест берётся (одно число) или это график, который жметер рисует?
источник

KY

Kirill Yurkov in QA — Load & Performance
это одна операция, или за весь тест?
источник

M

Max in QA — Load & Performance
весь тест
источник

M

Max in QA — Load & Performance
за весь тест брал одно число, но также и тренд графика в графана смотрю. Но один и тот же тест, даже на оной и той же версии, по 99 персентилю показывает разные результаты, другие метрики близки
источник

KY

Kirill Yurkov in QA — Load & Performance
надо разбивку по операциям смотреть какая операция вызывает аномалию и ее исследовать и ее влияние тоже
источник

M

Max in QA — Load & Performance
у меня в тесте по сути одна операция, это get запрос на страницу, только каждый раз с разными параметрами, страница выдачи с товарами
источник

KY

Kirill Yurkov in QA — Load & Performance
тогда это не погрешность думаю. в работе системы присутсвуют периоды вызывающие долгую работу приложения
источник

VG

Viktor Ganeles in QA — Load & Performance
или разные параметры вызова заставляют систему делать разную работу.

Но в целом, небольшие колебания во времени отклика - это норм.
источник

VG

Viktor Ganeles in QA — Load & Performance
По поводу графика по 99му перцентилю:

56000 (операций за тест) / 35 (минут) / 12 (привожу к 5 секундам, т.к. жметер агрегирует  данные по 5 сек) = 133 операции за каждые 5 секунд.
133*0,01 = 1,3
Вывод: если вы берёте 99й перцентиль при вашей интенсивности нагрузки, откидывается время отклика всего одной операции. Из оставшегося берётся самое худшее.
Тут могут быть большие колебания.

имхо:
* 99й перцентиль как одно общее число за тест, которое выдаётся в репорте жметра - имеет смысл смотреть.
* а график по 99му перцентилю не очень.
Лучше хотя бы 95й перцентиль.
источник

M

Max in QA — Load & Performance
спасибо за такой анализ ))

результаты 95 персентиля очень близки, почти одинаковые
источник

M

Max in QA — Load & Performance
вот как я понимаю, что если бы проводить тест дольше, там 5 часов, то это бы показало более точные результаты ?
источник

VG

Viktor Ganeles in QA — Load & Performance
нее
источник

VG

Viktor Ganeles in QA — Load & Performance
жметер всегда шлёт данные в инфлакс раз в 5 сек
источник

VG

Viktor Ganeles in QA — Load & Performance
тут не важно, сколько тест идёт
важно, сколько операций за 5 секунд успевают выполниться
источник

A

Alexandr in QA — Load & Performance
Всем привет! Может, кто сталкивался и сможет подсказать как можно решить

Описание: есть сервис, где пользователь входит в сервис и в момент работы на фронте отправляются запросы на бэк - начать прохождение, перейти на следующий шаг, отменить прохождение и другое

Дано:
1. Результат НТ с показателями. Допустим, 100РПС система выдерживает на протяжении 12 часов
2. Сервис, где пользователи отправляют запросы в момент прохождения шагов (нет определённого времени на шаг)

Нужно: определить кол-во пользователей, которые генерируют 100 РПС (естесственно, с отклонениями и не точно)

Проблема: нам нужно определить сможет ли система выдержать 3000 пользователей онлайн. Сейчас уткнулся в то, что я не понимаю какое кол-во запросов будут генерировать 3к юзеров
источник

VG

Viktor Ganeles in QA — Load & Performance
забей на юзеров, оперируй только запросами.
источник

VG

Viktor Ganeles in QA — Load & Performance
если нужен ответ ИМЕННО в пользователях:
1) узнай, сколько пользователей сейчас
2) узнай, сколько РПС они делают сейчас

из этого ты сможешь выяснить соотношение РПС на пользователя
источник