Size: a a a

QA — Load & Performance

2020 November 19

МК

Михаил Краснов... in QA — Load & Performance
Kirill Yurkov
Да верно, 1в1 это нереальный труд, денег выйдет немеренно профита получите в разы меньше. Лучше хотелки по отдельности выполнять
Ну тут все от входных параметров зависит, например есть какая-то система с кучей эндпоинтов и со сложной логикой внутри некоторых, и вот если есть дампы данных и запросов с прода то значительно быстрее и дешевле повторить запросы с прода нежели разобраться во всем объеме досканально и учесть все перипетии логики.

UPD:
Конечно же хорошо построить нормальный профиль для начала.
источник
2020 November 20

jj

jagga jagga in QA — Load & Performance
повторить весь траф - это в сторону goreplay смотреть
источник

jj

jagga jagga in QA — Load & Performance
но это отстой
источник

jj

jagga jagga in QA — Load & Performance
проанализировать дамп и построить норм профиль - цэ гут
источник

jj

jagga jagga in QA — Load & Performance
ну а вообще философское - all things a shits
источник

МК

Михаил Краснов... in QA — Load & Performance
jagga jagga
проанализировать дамп и построить норм профиль - цэ гут
Немного не так выразился, конечно же имел в виду что сделать нормальный профиль а в качестве запросов, отправляемых к системе, взять запросы из дампа.
источник
2020 November 21

S1

Sceptic 1234 in QA — Load & Performance
Всем привет! Подскажите пожалуйста, а есть какой-то плагин\библиотека для jmeter чтобы красивые отчётики рисовала, как Allure например
источник

ВС

Вячеслав Смирнов... in QA — Load & Performance
Sceptic 1234
Всем привет! Подскажите пожалуйста, а есть какой-то плагин\библиотека для jmeter чтобы красивые отчётики рисовала, как Allure например
Привет. А HTML report уже смотрели?
источник

ВС

Вячеслав Смирнов... in QA — Load & Performance
Sceptic 1234
Всем привет! Подскажите пожалуйста, а есть какой-то плагин\библиотека для jmeter чтобы красивые отчётики рисовала, как Allure например
И Backend Listener с отображением в Grafana.

Эти возможности встроенные
источник

S1

Sceptic 1234 in QA — Load & Performance
Ещё нет. Я в тулзах нагрузочного тестирования совсем нуб. Вот хотел узнать, чтобы хоть были какие-то названия, которые можно погуглить)
источник

S1

Sceptic 1234 in QA — Load & Performance
Спасибо!
источник

OC

Oleg Chaplashkin in QA — Load & Performance
Sceptic 1234
Всем привет! Подскажите пожалуйста, а есть какой-то плагин\библиотека для jmeter чтобы красивые отчётики рисовала, как Allure например
Тут наверное нужно уточнить, цель какая этих отчетах?
Просто мне был нужен сравнительный анализ метрик, следовательно задача была решена python + numpy
источник

ВС

Вячеслав Смирнов... in QA — Load & Performance
Sceptic 1234
Ещё нет. Я в тулзах нагрузочного тестирования совсем нуб. Вот хотел узнать, чтобы хоть были какие-то названия, которые можно погуглить)
Эти две возможности, как встроенные, описаны на jmeter.apache.org в разделе User Manual. Разделы 14 и 15
источник

S1

Sceptic 1234 in QA — Load & Performance
Oleg Chaplashkin
Тут наверное нужно уточнить, цель какая этих отчетах?
Просто мне был нужен сравнительный анализ метрик, следовательно задача была решена python + numpy
да начальству показывать красивые репортики. попросили чтобы это не были просто голые логи
источник

S1

Sceptic 1234 in QA — Load & Performance
Вячеслав Смирнов
Эти две возможности, как встроенные, описаны на jmeter.apache.org в разделе User Manual. Разделы 14 и 15
большое спасибо!
источник

OC

Oleg Chaplashkin in QA — Load & Performance
Sceptic 1234
да начальству показывать красивые репортики. попросили чтобы это не были просто голые логи
Если так, то даже HTML репортинг с графаной будет сложностью, если люди не шарят в технику
Мне действительно помог сравнительный анализ: люди наглядно смотрят что происходит с характеристикой X при условиях 1,2,3 ...

То есть я к тому, что в любом случае ручная обработка потребуется
источник

S1

Sceptic 1234 in QA — Load & Performance
Ну, я теперь хотя бы знаю, что гуглить. Постараюсь дальше разобраться. Если уж всё совсем плохо будет - буду руками часть работы делать)
источник

ВС

Вячеслав Смирнов... in QA — Load & Performance
Oleg Chaplashkin
Если так, то даже HTML репортинг с графаной будет сложностью, если люди не шарят в технику
Мне действительно помог сравнительный анализ: люди наглядно смотрят что происходит с характеристикой X при условиях 1,2,3 ...

То есть я к тому, что в любом случае ручная обработка потребуется
Есть ещё подход донесения информации - презентация отчёта, когда инженер объясняет заинтересованным результаты тестов и раскрывает суть графиков и таблиц
источник

OC

Oleg Chaplashkin in QA — Load & Performance
Вячеслав Смирнов
Есть ещё подход донесения информации - презентация отчёта, когда инженер объясняет заинтересованным результаты тестов и раскрывает суть графиков и таблиц
Именно такой подход я и использовал

В целом, мне кажется, необходимо грамотно обозначить цель проведения тестирования, а анализ как раз даст все ответы на вопросы
источник

ВС

Вячеслав Смирнов... in QA — Load & Performance
В HTML Report мне нравится, что он интерактивный, метрики можно фильтровать, выделять, приближать в браузере.

Он весит меньше, чем данные в InfluxDB.

Двухчасовой тест в InfluxDB (бекап данных) весит около 2-3 ГБайт в несжатом бекапе. Или 200-300 МБайт в 7zip-архиве.

А HTML Report весит 5 МБайт (счас ошибаюсь, но он небольшой).

Его дорабатывать сложно, гибкости нет. Это минус.

И как каждый отчёт, его надо уметь читать, есть в нем свои особенности.

Выше была ссылка на статью Максима Рогожникова, она на habr.com в блоге Тинькофф, где Максим рассказывает о том, как читать отчёты. Хорошая статья. И думаю на @qaload она тоже сохранилась
источник