Size: a a a

QA — Load & Performance

2020 November 13

KY

Kirill Yurkov in QA — Load & Performance
можно даже из jsr223
источник

KY

Kirill Yurkov in QA — Load & Performance
если нужно имитировать запись дефолтного листнера могу подсказать как
источник

K

Kostya in QA — Load & Performance
Kirill Yurkov
в целом можно вручную писать данные в инфлюкс и генерить их. всего то нужно посчитать от одного запроса до другого время (а-ля транзакция) и сделать http request по апишке
Боюсь это уже лишнее, но спасибо
источник

ВС

Вячеслав Смирнов... in QA — Load & Performance
Kostya
Предположим сам transaction controller называется Test,нужно чтобы с помощью jsr assertion он попал в инфлюкс с названием My_Test
Способ с переименованием, что вы описали, работает для Sampler.
Используйте Sampler вместо TC.
источник

K

Kostya in QA — Load & Performance
Вячеслав Смирнов
Способ с переименованием, что вы описали, работает для Sampler.
Используйте Sampler вместо TC.
Спасибо,а есть нечто подобное для TC?
источник

ВС

Вячеслав Смирнов... in QA — Load & Performance
Kostya
Спасибо,а есть нечто подобное для TC?
Оказалось, что только JSR223 Listener принимает события от Transaction Controller без галочки Generate Parent Sample.
Используйте  JSR223 Listener для переименования
источник

ВС

Вячеслав Смирнов... in QA — Load & Performance
sampleResult.setSampleLabel("amazing_text " + sampleResult.getSampleLabel())
источник

OC

Oleg Chaplashkin in QA — Load & Performance
Коллеги, встречаюсь что то первый раз с таким:
Проводил тестирование производительности(снятие базовых метрик) и анализирую сейчас данные логов из графаны и jmeter.
Клиентская машина находится в нагрузочном контуре с минимальным пингом.

Смотрю на логи клиента-jmeter, там среднее 10-20 мс, а логи графаны: 200-300 мс

Причем все логи от jmeter плюс минус одинаковы(что  190 рпс, что 800 рпс)

Что может быть?
источник

ВС

Вячеслав Смирнов... in QA — Load & Performance
Oleg Chaplashkin
Коллеги, встречаюсь что то первый раз с таким:
Проводил тестирование производительности(снятие базовых метрик) и анализирую сейчас данные логов из графаны и jmeter.
Клиентская машина находится в нагрузочном контуре с минимальным пингом.

Смотрю на логи клиента-jmeter, там среднее 10-20 мс, а логи графаны: 200-300 мс

Причем все логи от jmeter плюс минус одинаковы(что  190 рпс, что 800 рпс)

Что может быть?
Для метрик mean, max в csv и в InfluxDB попадают одни и те же числа.
Исключения могут быть, если JMeter Backend Listener был не в корне Test Plan, а где-то в одной из многих катушек или транзакций. Если контекст Backend Listener и контекст формирования CSV-лога были разными.

И сравнение между JMeter HTML Report и Grafana Dashboard, если да, то каким, хорош ли он?
источник

ВС

Вячеслав Смирнов... in QA — Load & Performance
Доверяю HTML Report, когда выверял Grafana Dashboard, то ориентировался именно на HTML Report.
источник

ВС

Вячеслав Смирнов... in QA — Load & Performance
Посмотрите разные варианты Dashboard. Если понравится jmeter.json отсюда
https://github.com/polarnik/loadlab_vm/tree/master/ansible/content/grafana/dashboards/json
буду рад, она для базового InfluxDB Backend Listener
источник

K

Kostya in QA — Load & Performance
Oleg Chaplashkin
Коллеги, встречаюсь что то первый раз с таким:
Проводил тестирование производительности(снятие базовых метрик) и анализирую сейчас данные логов из графаны и jmeter.
Клиентская машина находится в нагрузочном контуре с минимальным пингом.

Смотрю на логи клиента-jmeter, там среднее 10-20 мс, а логи графаны: 200-300 мс

Причем все логи от jmeter плюс минус одинаковы(что  190 рпс, что 800 рпс)

Что может быть?
Я бы метрики в самом инфлюксе глянул,если они соответствуют jmeter лисенерам,то смотреть в квери дашбордов графаны
источник

K

Kostya in QA — Load & Performance
Вячеслав Смирнов
sampleResult.setSampleLabel("amazing_text " + sampleResult.getSampleLabel())
Огромное спасибо! Именно такой вариант и искал,без костылей и крови.
источник
2020 November 14

AK

Anastasia Korol in QA — Load & Performance
Вячеслав Смирнов
Для метрик mean, max в csv и в InfluxDB попадают одни и те же числа.
Исключения могут быть, если JMeter Backend Listener был не в корне Test Plan, а где-то в одной из многих катушек или транзакций. Если контекст Backend Listener и контекст формирования CSV-лога были разными.

И сравнение между JMeter HTML Report и Grafana Dashboard, если да, то каким, хорош ли он?
А можно подробнее, в каких случаях могут быть разные данные у backend listener в катушке и csv и как влияет контекст? Или что погуглить.
У меня на проекте backend listener помещают в каждый запрос отдельно и верят именно этим данным. А теперь звучит как будто здесь есть подвох и при сверке с csv не сойдется🧐
источник

jj

jagga jagga in QA — Load & Performance
Anastasia Korol
А можно подробнее, в каких случаях могут быть разные данные у backend listener в катушке и csv и как влияет контекст? Или что погуглить.
У меня на проекте backend listener помещают в каждый запрос отдельно и верят именно этим данным. А теперь звучит как будто здесь есть подвох и при сверке с csv не сойдется🧐
никакой избыточности не чувствуете а?
источник

ВС

Вячеслав Смирнов... in QA — Load & Performance
Anastasia Korol
А можно подробнее, в каких случаях могут быть разные данные у backend listener в катушке и csv и как влияет контекст? Или что погуглить.
У меня на проекте backend listener помещают в каждый запрос отдельно и верят именно этим данным. А теперь звучит как будто здесь есть подвох и при сверке с csv не сойдется🧐
Спасибо вам. Совсем забыл, что Backend Listener ещё аггрегирует метрики. А в csv все метрики "сырые", там нет max, mean.

Буду думать медленнее.

А по множественным Backend Listener, возможно, это оправданно. Если нужны разные TAG_... поля. Или если особенности аггрегации влияют на результат, тут надо разобраться
источник

ВС

Вячеслав Смирнов... in QA — Load & Performance
Oleg Chaplashkin
Коллеги, встречаюсь что то первый раз с таким:
Проводил тестирование производительности(снятие базовых метрик) и анализирую сейчас данные логов из графаны и jmeter.
Клиентская машина находится в нагрузочном контуре с минимальным пингом.

Смотрю на логи клиента-jmeter, там среднее 10-20 мс, а логи графаны: 200-300 мс

Причем все логи от jmeter плюс минус одинаковы(что  190 рпс, что 800 рпс)

Что может быть?
Разные данные CSV <-> Grafana также из-за аггрегации. Backend Listener аггрегирует метрики. CSV нет
источник

AK

Anastasia Korol in QA — Load & Performance
jagga jagga
никакой избыточности не чувствуете а?
Если вы про listener'ы в каждом запросе - так вот написано, это нелегально? Используются самописные listener'ы. Не готова сказать, почему в каждом запросе отдельно, не разбиралась еще.
Мой вопрос был скорее про то, разную ли длительность запроса (условно) видит listener в зависимости от его расположения.
источник

AK

Anastasia Korol in QA — Load & Performance
Вячеслав Смирнов
Спасибо вам. Совсем забыл, что Backend Listener ещё аггрегирует метрики. А в csv все метрики "сырые", там нет max, mean.

Буду думать медленнее.

А по множественным Backend Listener, возможно, это оправданно. Если нужны разные TAG_... поля. Или если особенности аггрегации влияют на результат, тут надо разобраться
А, кажется поняла, если listner'ы аггрегируют, то в зависимости от положения могут выдать разный результат. Но сырые данные от csv не отличаются. Так?
источник

jj

jagga jagga in QA — Load & Performance
в csv и есть сырые данные
источник