Size: a a a

QA — Load & Performance

2020 August 20

L

Lara in QA — Load & Performance
Подскажите плиз как сгенерить два jtl файла через команд строку.
источник

ДВ

Дмитрий Винокуров... in QA — Load & Performance
А кто-нибудь использует НТ автоматизированно в CI? Можете поделиться советами по такой интеграции? Конкретные инструменты могут быть любые, интересует подход.
источник

VG

Viktor Ganeles in QA — Load & Performance
Вячеслав Смирнов
Сделать что-то динамическое с тегами Backend Listener не получится. Я пробовал.
в тегах можно вставлять groovy-скрипты. Всё, что груви выдаст пойдёт в тег. У меня название файла сценария в тег идёт так:

scenario ${__groovy(import org.apache.jmeter.services.FileServer; def scriptName = FileServer.getFileServer().getScriptName(); return scriptName
,)}

И данные из UDF передаются без проблем.
Можно в UDF положить скрипт, который вытянет данные, потом результаты положит в UDF а из UDF уже пойдёт в BackendListner

Или "динамическое" - это меняющееся по ходу теста? Это я и правда не пробовал.
источник

jj

jagga jagga in QA — Load & Performance
Дмитрий Винокуров
А кто-нибудь использует НТ автоматизированно в CI? Можете поделиться советами по такой интеграции? Конкретные инструменты могут быть любые, интересует подход.
Конечно, роботы должны вкалывать, не все ж руками мучать себя
источник

OP

Oleg Pipenko in QA — Load & Performance
Viktor Ganeles
в тегах можно вставлять groovy-скрипты. Всё, что груви выдаст пойдёт в тег. У меня название файла сценария в тег идёт так:

scenario ${__groovy(import org.apache.jmeter.services.FileServer; def scriptName = FileServer.getFileServer().getScriptName(); return scriptName
,)}

И данные из UDF передаются без проблем.
Можно в UDF положить скрипт, который вытянет данные, потом результаты положит в UDF а из UDF уже пойдёт в BackendListner

Или "динамическое" - это меняющееся по ходу теста? Это я и правда не пробовал.
нет, в моем случае данные о версии не есть динамические в процессе выполнения тест плана. Эти данные вытягиваются в начале тестинга и добавляются в тэг, чтоб потом в графане можно было просмотреть динамику тестирования по версиям
источник

jj

jagga jagga in QA — Load & Performance
юзал связку jmeter+taurus+bamboo, сейчас вместо бамбука Gitlab-CI, графана+инфлюкс присутствуют естественно
источник

DB

Denys Boiko in QA — Load & Performance
jagga jagga
юзал связку jmeter+taurus+bamboo, сейчас вместо бамбука Gitlab-CI, графана+инфлюкс присутствуют естественно
Кстати по этому поводу вопрос.  В CI нужен механизм автоматического отслеживания деградации. Кто какие подходы использует?  Я сталкивался с самописными скриптами на Java , python и даже использованием excel
источник

OP

Oleg Pipenko in QA — Load & Performance
Viktor Ganeles
в тегах можно вставлять groovy-скрипты. Всё, что груви выдаст пойдёт в тег. У меня название файла сценария в тег идёт так:

scenario ${__groovy(import org.apache.jmeter.services.FileServer; def scriptName = FileServer.getFileServer().getScriptName(); return scriptName
,)}

И данные из UDF передаются без проблем.
Можно в UDF положить скрипт, который вытянет данные, потом результаты положит в UDF а из UDF уже пойдёт в BackendListner

Или "динамическое" - это меняющееся по ходу теста? Это я и правда не пробовал.
а есть ли ограничения на количество символов в поле value для UDF?
источник

jj

jagga jagga in QA — Load & Performance
taurus
источник

DB

Denys Boiko in QA — Load & Performance
А ожидаемые результаты в yaml хранятся?
источник

jj

jagga jagga in QA — Load & Performance
критерии в ямле
источник

jj

jagga jagga in QA — Load & Performance
результаты в csv или xml, мне с csv проще
источник

OP

Oleg Pipenko in QA — Load & Performance
или может кто подскажет, как можно выполнить внешний jmx в поле value. например через ${__groovy()}?
источник

DB

Denys Boiko in QA — Load & Performance
jagga jagga
критерии в ямле
Хм. выглядит интересно. Насколько удобно поддерживать такую конфигурацию?  Докидывать новые проверки, изменять критерии для существующих
источник

DB

Denys Boiko in QA — Load & Performance
jagga jagga
результаты в csv или xml, мне с csv проще
Я смотрю в taurus есть возможность подгружать существующие результаты тестов при помощи Existing Results Loader. Возможно ли использовать связку Results loader + Pass/Fail criteria?  Можно ли таурус натравить на результаты, сгенерированные jmeter, запущенным ранее отдельно?
источник

jj

jagga jagga in QA — Load & Performance
в чем смысл готовый jtl через пасс/фейл пропускать?? все что плохое могло случиться - уже произошло
источник

jj

jagga jagga in QA — Load & Performance
этот Existing Results Loader для формирования отчета предназначен кажется
источник

jj

jagga jagga in QA — Load & Performance
источник

jj

jagga jagga in QA — Load & Performance
там все написано сразу - для онлайн отчета в блейзе грузи jtl или лог гатлинга
источник

jj

jagga jagga in QA — Load & Performance
Denys Boiko
Хм. выглядит интересно. Насколько удобно поддерживать такую конфигурацию?  Докидывать новые проверки, изменять критерии для существующих
не вижу сложностей в поддержке в части изменения пары циферок в файле или копипасты для добавления нового параметра
источник