Size: a a a

QA — Load & Performance

2020 September 17

KY

Kirill Yurkov in QA — Load & Performance
именно для этого он написал свой таймер с блекджеком и всем всем
источник

A

Alexander in QA — Load & Performance
Kirill Yurkov
подход не совсем правильный - тесты невоспроизводимы, поведение непредсказуемо. в случае пуассоновского распредления тоже предсказуемость может быть низкая, но при этом воспроизводимость реальная. а в твоем кейсе может быть так, что вдруг произошла склйка кучи запросов в один момент времени, от этого прыгнули какие то ресурсы, произошел какой-то баг. а воспроизвести ты потом это не можешь или не понимаешь откуда скачек
Прекрасно работает, относительно непредсказуемым может быть поведение одного потока, но при множестве тредов общая нагрузка так сказать разравнивается. Интенсивно тестировал 3 года, в том числе для General Motors, никогда не было сюрпризов в плане распределения нагрузкт в тестах
источник

KY

Kirill Yurkov in QA — Load & Performance
Alexander
Прекрасно работает, относительно непредсказуемым может быть поведение одного потока, но при множестве тредов общая нагрузка так сказать разравнивается. Интенсивно тестировал 3 года, в том числе для General Motors, никогда не было сюрпризов в плане распределения нагрузкт в тестах
нормальное распределние тут очевидно, я просто говорю о том, что это антипаттерн именно в методике нагрузки, не совсем имхо, но и имхо тоже
источник

ВП

Вячеслав Поляков... in QA — Load & Performance
Kirill Yurkov
нормальное распределние тут очевидно, я просто говорю о том, что это антипаттерн именно в методике нагрузки, не совсем имхо, но и имхо тоже
Красиво сказал). "не совсем имхо, но и имхо тоже"
Нужно запомнить) 👍
источник

A

Alexander in QA — Load & Performance
Вячеслав Поляков
Нужна КОНТРОЛИРУЕМАЯ нагрузка
Если мало тредов, то delay и 1 тред на thread group
источник

KY

Kirill Yurkov in QA — Load & Performance
Вячеслав Поляков
Нужна КОНТРОЛИРУЕМАЯ нагрузка
тебе надо серьезно про таймеры почитать, либо я могу завтра с этим помочь. я до конца не уверен подойдет ли тебе presize
источник

ВП

Вячеслав Поляков... in QA — Load & Performance
Kirill Yurkov
тебе надо серьезно про таймеры почитать, либо я могу завтра с этим помочь. я до конца не уверен подойдет ли тебе presize
Спасибо! Буду рад.
источник

A

Alexander in QA — Load & Performance
Kirill Yurkov
нормальное распределние тут очевидно, я просто говорю о том, что это антипаттерн именно в методике нагрузки, не совсем имхо, но и имхо тоже
Конторолируемую нагрузку применял для бэкэнда, а вот на фронте предпоглагался элемент неожиданности, так сказать, так же, как он есть при использовании системы юзерами
источник

KY

Kirill Yurkov in QA — Load & Performance
я раньше тоже думал что рандомами норм грузить, вполне нормально грузил - потом столкнулся с рядом проблем, начал погружаться в теорию - теперь не гружу
источник

KY

Kirill Yurkov in QA — Load & Performance
меня за такое даже дядя @jigarkhwar ругал как-то :)
источник

A

Alexander in QA — Load & Performance
Kirill Yurkov
я раньше тоже думал что рандомами норм грузить, вполне нормально грузил - потом столкнулся с рядом проблем, начал погружаться в теорию - теперь не гружу
А какого рода проблемы?
источник

VG

Viktor Ganeles in QA — Load & Performance
Ярослав Лазакович
Ребята, хочу спросить по Джеметру - по Response Assertion
- флаг OR выключен
- Стоит несколько условий на ассерт

Каким образом отрабатывает ассерт в таком случае ?
Мне кажется, тут всё очевидно.
В условиях прописаны:
“Error1”
“Error2”

Not=Enable
Or=Disable

Если в ответе сервера отсутствуют ОБЕ строки, вернётся Pass

Если в ответе сервера есть одна или две искомые строки - вернётся Fail


Вариации: если
Not=Enable
Or=Enable

В ответе должны быть обе строки, что бы вернулся Fail, во всех остальных случаях будет pass
источник

KY

Kirill Yurkov in QA — Load & Performance
ну я же написал - склейка и невоспрозводимый баг, либо например максимум нашелся на 100 рпс, а ты случайно таким образом подашь 150 на подтверждении. нормализация распределения - она нас дистанции, типо за весь тест - да. если интегрировать - то ты увидишь,  что все не так хорошо
источник

KY

Kirill Yurkov in QA — Load & Performance
ну все зависит от  многих параметров - высокий/низкий рпс, конкретный кейс, возникшие ожидания и тд
источник

A

Alexander in QA — Load & Performance
Kirill Yurkov
ну я же написал - склейка и невоспрозводимый баг, либо например максимум нашелся на 100 рпс, а ты случайно таким образом подашь 150 на подтверждении. нормализация распределения - она нас дистанции, типо за весь тест - да. если интегрировать - то ты увидишь,  что все не так хорошо
Сам не сталкивался с подобным, реально подавал нагрузку ту, которую ожидал. Распредение нагрузки проверял на графиках, те не просто средние величины
источник

VG

Viktor Ganeles in QA — Load & Performance
А в чём обжёгся? вроде же просто должно быть: если он стоит - достаточно нарушения одного условия, что бы вернулся fail.
туда можно вписать тексты разных ошибок, которые могут вернуться, поставить OR - и любая вернувшаяся ошибка завалит семплер.
источник

KY

Kirill Yurkov in QA — Load & Performance
Alexander
Сам не сталкивался с подобным, реально подавал нагрузку ту, которую ожидал. Распредение нагрузки проверял на графиках, те не просто средние величины
ну оно легко представляемо - есть же шанс что какой-то процент запросов при рандоме выполнится в одну секунду? а если это большой будет процент - тоже есть,  хоть и шанс маленький. вот и проблема)
источник

A

Alexander in QA — Load & Performance
Вячеслав Поляков
Нужна КОНТРОЛИРУЕМАЯ нагрузка
Это я понял, но не понял сценарий, кроме того, что сдвинуть треды. Если их всего 5, то 5 thread group, в каждой один тред, необходимый delay в для старта в каждой группе
источник

KY

Kirill Yurkov in QA — Load & Performance
вообще кейс со сдвигом тредов неправильный, это лоадраннервские всё проблемы :)
источник

A

Alexander in QA — Load & Performance
Kirill Yurkov
ну оно легко представляемо - есть же шанс что какой-то процент запросов при рандоме выполнится в одну секунду? а если это большой будет процент - тоже есть,  хоть и шанс маленький. вот и проблема)
Шанс не нулевой, но сам не сталкивался, не везет мне в лотерею
источник