Всем привет! Моя презентация с Perf conf 2018: http://methodlab.ru/img/lavlinsky-perf-test-final.pptx

кто-нибудь сталкивался с проблемой что жметр не нагружает по сравнению с врк?

жметр при этом делает 2к рпс

стреляю в один и тот же сервис, все рекомендации по жметру сделал (non-gui mode, листенеры отключены итд) т.е тест совсем примиитвный, даже слегка тюнил OS, типа ulimit. И при всем при этом низкий рпс

Привет, вопрос по Jmeter : нужно тестить сайт реальным юзером, хватит ли одно реального юзера (в потоках)с учетом постоянной очистки куки и кэш в соответствующих HTTP cookie/cache? Или всех нужно создать кучу таких юзеров?

кстати хотел тебя спросить, но пришлось раньше времени уходить:
почему не говорил про sistespeed.io?
у них вроде и лайтхауз и вебпейджтест интегрированы, и еще свои метрики есть, запускается все удобно в контейнерах и туториалы есть

Привет.

Ответ на вопрос зависит от шага нагрузки и требуемой интенсивности. А также от сценария работы.

Если весь сценарий работы с сайтом укладывается в 30 сек, и нужна интенсивность лишь 2 сценария в минуту. То один пользователь успешно создаст такую нагрузку. И тогда достаточно одного пользователя.

Если же нужна большая интенсивность, и шаг другой. Пусть шаг 60 сек, и нужно 1000 операций в минуту, то значит потребуется минимум 1000 пользователей.

Подробнее по теме шага, интенсивности и пользователей в статье:

https://loadtestweb.wordpress.com/2017/08/23/pacing/

По сценарию (вторая часть пазла). Если нужно сэмитировать вход пользователей с новым браузером, то нужно чистить куки. Если не нужно - не чистим. И плюс влияние кук сильно зависит от того, принимает ли сайт во внимание их наличие при ответе на запросы. Если не принимает - то и разницы нет.

По чистке Кеша - это имеет значение только если в http sampler установлена галочка Parse embedded request . И для вашего сайта выбранный вами парсер jmeter хорошо выбирает эти подзапросы и отправляет в полном объеме.

Он вообще-то может не видеть 90% того, что видит и делает браузер.

Подробнее в статье:
https://m.habr.com/post/308254/

И вот если для вашего сайта парсер работает хорошо. То тогда галочку подзапросы имеет смысл ставить.

Необходимость чистки Кеша  зависит от эмулируемого сценария:
# вход пользователей с новым браузером - ставим
# вход ваших постоянных польщователей - не ставим

И повторюсь, имеет смысл, только если парсер jmeter в полной мере парсит ваш сайт.
Для сайта jmeter.apache.org его полнота 100%, а для сайта mos.ru - 9,72%.

Если ваш сайт сложный динамичный, то подзапросы лучше не перекладывать на парсер jmeter, а указать явно. Для этого используйте консоль браузера или fiddler - соберите список.

А дальше используйте, если оно нужно, один из вариантов для отправки списка запросов (их много будет):
* Просто список http sampler, которые для натуральности можно обернуть в https://github.com/Blazemeter/jmeter-bzm-plugins/blob/master/parallel/Parallel.md ведь, браузер открывает 7 потоков сразу

* Или использовать плагин https://m.habr.com/post/312352/

* Или использовать плагин аналогичный предыдущему, и описанный в блоге blazemeter - он есть, ссылки под рукой нет

Вот об этих галочках была речь

Хотя

Если вы тестируете чисто статический сайт. Где даже основные страницы - статика. То тогда кеширование и чистка Кеша будут влиять и на работу основных http sampler. Но суть рассуждений сохраняется.

Если у сайта стабильная аудитория - то чистить кеш, может, и не стоит.
Если постоянно новые люди - то стоит

Спасибо за подробное объяснение.

Сайт у нас динамический,  а чтобы создать хотя бы 100 реальных юзеров, нужно подтвердить их регистрацию на почте. Это отнимает значительно времени с у чатом подготовки теста, стейджа и прода

Не говоря о большем числе юзеров

Подготовка тестовых данных - это история, которая выполняется до запуска теста

Нагенерируйте их, используя sql и insert-ы в БД, например