Size: a a a

QA — Load & Performance

2021 November 06

AK

Alexey Kübler-Ross in QA — Load & Performance
Хотя юнит тесты тоже не делаю, просто джава тест
источник

O

Oleksii in QA — Load & Performance
Я так понимаю речь о Junit, а есть пример?
источник

O

Oleksii in QA — Load & Performance
А что значит просто джава тест?
источник

AK

Alexey Kübler-Ross in QA — Load & Performance
https://jmeter.apache.org/usermanual/component_reference.html#Java_Request
Перепутал, тест с реевестом 😅
источник

AK

Alexey Kübler-Ross in QA — Load & Performance
Если надпомните в понедельник, да, покажу
источник

O

Oleksii in QA — Load & Performance
источник

ВС

Вячеслав Смирнов... in QA — Load & Performance
Если это работает, то стоит продолжать. Расширять покрытие. Повышать стабильность и атомарность

У Артема Ерошенко есть реализация сбора статистики по автотетсам - длительность, тренды, ... В Allure. С целью решения задач тестов производительности за счёт запуска автотестов. Бенчмарк-подход
источник

O

Oleksii in QA — Load & Performance
Да конечно, спасибо, буду продолжать поглядим что выйдет.

Аллюр - де-факто стал стандартом, для меня) и для ФТ используется именно он, кстати прикрутил туда ещё и сваггер кавередж вообще красота! Это все будет чуть позже.
источник
2021 November 08

KY

Kirill Yurkov in QA — Load & Performance
как отчеты по нагрузке шлёшь в аллюр? просто хтмл репорт?
источник

MP

Mikhail PonChick in QA — Load & Performance
Коллеги, тоже интересно. Присоединяюсь к вопросу
источник

MP

Mikhail PonChick in QA — Load & Performance
Сами доработали плагин?
источник

ВС

Вячеслав Смирнов... in QA — Load & Performance
https://docs.qameta.io/allure-testops/briefly/dashboards/
В документации не отражено
В демонстрации Артем Ерошенко показывал это просто на доске
Где-то в разделе Analytics

https://docs.qameta.io/allure-testops/release-notes/3.141.0/top-test-cases-by-type.gif
источник

VS

Vladimir Sitnikov in QA — Load & Performance
Ну, тов Ерошенко признавался, что обычный аллюр не подходит для нагрузки, а необычного, вроде, нет ещё
источник

KY

Kirill Yurkov in QA — Load & Performance
я с аллюром не работал, в каком формате он кушает данные для отчетов? если там маркдаун и всё такое, можно наверное заинтерировать с чем угодно
источник

VS

Vladimir Sitnikov in QA — Load & Performance
Там, скорее, вопрос в том, чтобы UI часть написать
источник

AK

Alexey Kübler-Ross in QA — Load & Performance
Просто из любого места в вашем коде(не важно что именно реализовывать жава реквест или юниттесты)

из пакета ApacheJMeter_core вызываем:
JMeterContextService.getContext().getVariables()

а дальше все изи - думаю разберетесь 🤝
источник

O

Oleksii in QA — Load & Performance
Привет, коллеги,
НТ в аллюр не шлёт ничего, там классика инфлюкс + графана, увы.

Если запросов много то аллюр просто не потянет. После каждого клика на тест/кейс/запрос будете ждать по 1-5 мин, пробовали его юзать для реальных бенчмарков, это где-то аналог 64к UI или Апи тестов, то вкладка одного теста/кейса открывалась 1мин. Тогда от него отказались, но была идея юзать функционал категорий аллюра, это по сути парсинг всех екаепшенов и группировка их по типам, но опят таки тесты отличающиеся на 1мс это сейчас для аллюра разные фэйлы, там нужно добавить некоторый паттерн матчинг, но увы этот функционал странно себя ведёт, или я не правильно юзал(не всегда категории) выводятся как задано в файл маппинге.

Особенность аллюра, во время теста аллюр адаптер к тестовому фреймворка пишет результаты в формате xunit в джсоны, после тестов консольный аллюр тул генерит репорт и запускается сервер в который загружаются результаты, по сути реалтайма из коробки нет, это можно сделать или отдельным сбоку процессом или за деньги аллюр тестопс)

Для ФТ юзается аллюр, и для легковесных апи тестов, в режиме бенчмаркинга, один запрос=тест до 10к шт, это работает супер, есть вкладка таймлайн в ней можно удобно сортировать какой запрос за сколько отработал, и категории, важно все прекондишены вынести в бефор до метода обозначенного аннотацией @Test, иначе не будет честных цифр, так же для тестов используется рест ашшуред библиотека, в ней есть функционал ассерт времени ответа(есть во многих других), так ФТ запускаются как в функциональном так и в нон-ф режиме, то есть ещё до НТ, это даёт возможность найти баги ещё раньше.
источник

O

Oleksii in QA — Load & Performance
Спасибо, но пока не понимаю откуда вызвать в джава коде или джмх в пре/пост процессоре?
источник

O

Oleksii in QA — Load & Performance
Интересно увидеть реализацию тест плана в нативном джава коде, я пока знаю с помощью дсл.
источник

DT

Denis Tazitdinov in QA — Load & Performance
Всем привет! Деликатный вопрос, каковы зарплатные вилки для тестировщиков нагрузки у вас в компаниях? С разделением по junior, middle и senior.
Есть ли отдельная зарплатная вилка для тестировщиков нагрузки, или она рассматривается как вилка для автоматизаторов?
Может у кого-то есть внутренний опросник для определения уровня тестировщика нагрузки?
У нас начинает формироваться команда нагрузки, до этого только один человек этим занимался.
источник