Size: a a a

QA — Load & Performance

2021 October 15

KY

Kirill Yurkov in QA — Load & Performance
я говорю про уровень интерпретации. вы уверяете бизнес в том что система держит N пользователей.
но я крайне редко вижу то что указывается прямое ограничение, которого говорит о том что система держит N ровно тех пользователей, которые описаны моделью вашей нагрузки.

отсюда делаем какой вывод? если вы сказали бизнесу что система держит максимум 1000 пользователей. на следующий день пришло в систему 10000, которые просто нифига не делают, либо очень медленно и слабо тыкают в систему. бизнес прихожит к тебе  и говорит, ты же говорил что там 1000 пользователей максимум? как же тогда туда зашло 10000 и у нас всё работает?
либо наоброт пришли 500 наркоманов и затыкали систему до смерти, снова вопросы.

что начинается тогда? тогда начинается вы же понимаете у нас пользователь он ровно вот такой каким мы его придумали, который на самом деле не похож на каждого конкретного юзера в проде. а бизнес спрашивает: тогда нахрена мне видеть результаты в несуществующих пользователях?

я говорю ровно про это. про уровень интерпретации)
источник

KY

Kirill Yurkov in QA — Load & Performance
и именно поэтому тут все ежедневно говорят - мерьте нагрузку в рпсах/тпсах
источник

KY

Kirill Yurkov in QA — Load & Performance
#rpsvsuser
источник

KY

Kirill Yurkov in QA — Load & Performance
оставлю тут хэштег будущим поколениям
источник

МВ

Максим Варанкевич... in QA — Load & Performance
у меня в практике обычно для бизнес кейсво юзера , для модульных тестов рпс
источник

МВ

Максим Варанкевич... in QA — Load & Performance
но в отчетах и выводах я ичспользую и то и то
источник

KY

Kirill Yurkov in QA — Load & Performance
это здравый подход: описана модель юзера в виде сценария. рпсы приближены к распределению - всё ок.
источник

МВ

Максим Варанкевич... in QA — Load & Performance
а про наркоманов и медленых юзеров, опять же есть статистика) помню смотрел задержки между каждыми транзакциями
источник

МВ

Максим Варанкевич... in QA — Load & Performance
но к сожалению сбор статы не все прикручивают
источник

KY

Kirill Yurkov in QA — Load & Performance
статистика это ретроспективный анализ, а я про умозрительную ситуацию которая может произойти в будущем в случае если уровень вашей интерпретации в юзерах
источник

VS

Vladimir Sitnikov in QA — Load & Performance
@login40k , а чем отличается подход «virtual users» от подхода «rps»? 😉
источник

VS

Vladimir Sitnikov in QA — Load & Performance
Вот я ещё понимаю, когда раздел проводят по линии «scenario based» vs «hit based»
Но понятие «rps» есть и у сценарных скриптов, и у простых.

Самая низкая производительность в мире у хирурга: 0,00018 операций в секунду. (c)
источник

KY

Kirill Yurkov in QA — Load & Performance
глобально в интерпретации. локально может отличаться в реализации
источник

AG

Alex Grishutin in QA — Load & Performance
Так ок, придет у тебя 10 к пользаков вместо 1000. Их усредненное поведение будет достаточно похожим на поведение пользователей которые уже были в системе (не берем в расчет кейс каких то маркетинговых историй, аля рекламных компаний). Что тебе мешает проскейлить твой тест до этих 10к пользаков?
источник

KY

Kirill Yurkov in QA — Load & Performance
так вопрос к результатам твоих прошлых замеров
тут момент в том что для рпс подхода тебе ничего скейлить не надо
источник

AG

Alex Grishutin in QA — Load & Performance
в смысле не надо?
источник

KY

Kirill Yurkov in QA — Load & Performance
кажется ты плохо читаешь что я пишу
источник

KY

Kirill Yurkov in QA — Load & Performance
мои результаты в рпсах, сколько бы не дали рпс любое количество юзеров - его можно соизмерять с тем сколько было в отчет и понимать ситуацию
источник

AG

Alex Grishutin in QA — Load & Performance
Так то же смысл интерпритации данных
источник

KY

Kirill Yurkov in QA — Load & Performance
не понял
источник