Size: a a a

QA — Load & Performance

2020 September 17

A

Alexander in QA — Load & Performance
Вячеслав Поляков
Если точнее то операция - действие пользователя на сайте (логин-переход по страницам-ряд действий- выход) и в каждом шаге нное количество реквестов
Не понимаю задачу и цель сдвига по времени
источник

A

Alexander in QA — Load & Performance
Задача получить какое именно поведение теста?
источник

EP

Egor Parkhomenko in QA — Load & Performance
Добрый вечер, коллеги!
Подскажите пожалуйста, гугл мне не помог.
Как с помощью loadrunner vugen в response с огромным кол-вом одинаковых данных в формате JSON вытащить нужный мне id, где условием является наличие "enable": true.
Web_reg_save_param_ex цепляет первый попавшийся id.
У меня же условие enable true в json response находится ниже чем необходимый мне id.

Есть ли у вас какой-нибудь пример?
источник

MK

Maxim Kondrashin in QA — Load & Performance
Egor Parkhomenko
Добрый вечер, коллеги!
Подскажите пожалуйста, гугл мне не помог.
Как с помощью loadrunner vugen в response с огромным кол-вом одинаковых данных в формате JSON вытащить нужный мне id, где условием является наличие "enable": true.
Web_reg_save_param_ex цепляет первый попавшийся id.
У меня же условие enable true в json response находится ниже чем необходимый мне id.

Есть ли у вас какой-нибудь пример?
источник

ВП

Вячеслав Поляков... in QA — Load & Performance
Alexander
Задача получить какое именно поведение теста?
Попробую более подробно словами.
Скажем так. Задана определенная нагрузка операции в час. Эту нагрузку я регулирую utg. Предположим что для достижения цели операция выполняется 20 секунд каждую минуту. Если я запущу 5 пользователей, то получу пилообразный график. Все пользаки одновременно пытаются выполнить одну и туже операцию. Я хочу эту "пилу" растянуть на протяжении минуты. Чтоб каждый следующий юзер запускался с небольшой задержкой.
источник

СФ

Степа Фомичев... in QA — Load & Performance
Ну для этого у тебя есть startup или initial delay
источник

ВП

Вячеслав Поляков... in QA — Load & Performance
Степа Фомичев
Ну для этого у тебя есть startup или initial delay
Это влияет на всех пользаков сразу.
источник

KY

Kirill Yurkov in QA — Load & Performance
Alexander
Если задача просто распределить отправку запросов, то random timer
очень плохая практика, рандомные таймеры непредсказуемую нагрузку дают. самый верный способ делать так, чтобы треды не ломились одновременно - регилровать рпсы, любым таймером. это ттаймер пропустит ровно столько сколько нужно, а все остальные получат нужную задержку и все. но это запросы, а не "потоки". а вот тредами манипулировать можно только с помощью настроек тред групп, но тут не понятно зачем манпулировать тредами - если инстурмент предполагает манипуляцию рпсами
источник

СФ

Степа Фомичев... in QA — Load & Performance
На пользователей с одной ступени*
источник

KY

Kirill Yurkov in QA — Load & Performance
Kirill Yurkov
очень плохая практика, рандомные таймеры непредсказуемую нагрузку дают. самый верный способ делать так, чтобы треды не ломились одновременно - регилровать рпсы, любым таймером. это ттаймер пропустит ровно столько сколько нужно, а все остальные получат нужную задержку и все. но это запросы, а не "потоки". а вот тредами манипулировать можно только с помощью настроек тред групп, но тут не понятно зачем манпулировать тредами - если инстурмент предполагает манипуляцию рпсами
ответ @PVN80, посто Александру один коммент направил
источник

СФ

Степа Фомичев... in QA — Load & Performance
И.е. Если у тебя будет один пользователь на ступень, то ты сможешь этим управлять как вздумается
источник

KY

Kirill Yurkov in QA — Load & Performance
Kirill Yurkov
очень плохая практика, рандомные таймеры непредсказуемую нагрузку дают. самый верный способ делать так, чтобы треды не ломились одновременно - регилровать рпсы, любым таймером. это ттаймер пропустит ровно столько сколько нужно, а все остальные получат нужную задержку и все. но это запросы, а не "потоки". а вот тредами манипулировать можно только с помощью настроек тред групп, но тут не понятно зачем манпулировать тредами - если инстурмент предполагает манипуляцию рпсами
поправка - не любым таймером, а таймером с контроллером рпса - пресайз, экспоненциал и шейпинг
источник

EP

Egor Parkhomenko in QA — Load & Performance
Спасибо! Изучу
источник

A

Alexander in QA — Load & Performance
Kirill Yurkov
очень плохая практика, рандомные таймеры непредсказуемую нагрузку дают. самый верный способ делать так, чтобы треды не ломились одновременно - регилровать рпсы, любым таймером. это ттаймер пропустит ровно столько сколько нужно, а все остальные получат нужную задержку и все. но это запросы, а не "потоки". а вот тредами манипулировать можно только с помощью настроек тред групп, но тут не понятно зачем манпулировать тредами - если инстурмент предполагает манипуляцию рпсами
Никаких проблем не было с этим. Реализовал задачу тестирования вэб приложений, те симуляция, например 100 пользователей, один смотрит страницу рэндомно 5 секунд, другой 3 и тд, рэндомность дает в итоге равномерность нагрузки с одной стороны и с другой позволяет примерно отобразить поведение пользователей
источник

ВП

Вячеслав Поляков... in QA — Load & Performance
Alexander
Никаких проблем не было с этим. Реализовал задачу тестирования вэб приложений, те симуляция, например 100 пользователей, один смотрит страницу рэндомно 5 секунд, другой 3 и тд, рэндомность дает в итоге равномерность нагрузки с одной стороны и с другой позволяет примерно отобразить поведение пользователей
Рендомно - из тех вариантов что я пробовал пока самый подходящий, но не совсем то.
источник

A

Alexander in QA — Load & Performance
Вячеслав Поляков
Рендомно - из тех вариантов что я пробовал пока самый подходящий, но не совсем то.
Так а что нужно?
источник

KY

Kirill Yurkov in QA — Load & Performance
Alexander
Никаких проблем не было с этим. Реализовал задачу тестирования вэб приложений, те симуляция, например 100 пользователей, один смотрит страницу рэндомно 5 секунд, другой 3 и тд, рэндомность дает в итоге равномерность нагрузки с одной стороны и с другой позволяет примерно отобразить поведение пользователей
подход не совсем правильный - тесты невоспроизводимы, поведение непредсказуемо. в случае пуассоновского распредления тоже предсказуемость может быть низкая, но при этом воспроизводимость реальная. а в твоем кейсе может быть так, что вдруг произошла склйка кучи запросов в один момент времени, от этого прыгнули какие то ресурсы, произошел какой-то баг. а воспроизвести ты потом это не можешь или не понимаешь откуда скачек
источник

ВП

Вячеслав Поляков... in QA — Load & Performance
Kirill Yurkov
подход не совсем правильный - тесты невоспроизводимы, поведение непредсказуемо. в случае пуассоновского распредления тоже предсказуемость может быть низкая, но при этом воспроизводимость реальная. а в твоем кейсе может быть так, что вдруг произошла склйка кучи запросов в один момент времени, от этого прыгнули какие то ресурсы, произошел какой-то баг. а воспроизвести ты потом это не можешь или не понимаешь откуда скачек
Во
источник

ВП

Вячеслав Поляков... in QA — Load & Performance
Нужна КОНТРОЛИРУЕМАЯ нагрузка
источник

KY

Kirill Yurkov in QA — Load & Performance
https://www.youtube.com/watch?v=3PWBBc7rZxw вот Ситников про это любит говорить :)
YouTube
Подводные камни в нагрузочном тестировании — Владимир Ситников
Ближайшая конференция — Heisenbug 2020 Moscow
4-7 ноября, Online
Подробности и билеты: https://heisenbug-moscow.ru/


.Конференция по тестированию Гейзенбаг 2016 Moscow,
Москва, 10 декабря 2016 г.

Запустить нагрузочный тест — дело нехитрое. Но запуск без анализа — время на ветер. При анализе выявляется такое, от чего приходится повторять замер. Например: времена отклика получились хорошее, а при детальном анализе оказалось, что все страницы показывали 404-ую ошибку. В начале теста времена хорошие, а потом вообще никакие. Или даже так: JMeter показывает, что «всё замечательно», а в реальности нагрузка не подавалась полчаса. Бывает, что в целом всё хорошо, но есть неприятные выбросы. Как анализировать причины выбросов? Как узнать, на каких данных они возникают? И на этот вопрос будет рекомендация.

В докладе будут рассмотрены типичные подводные камни при тестировании enterprise приложений и варианты решения этих проблем. Доклад построен на примере JMeter, но многие подходы могут с тем же успехом применяться и…
источник