Size: a a a

QA — Load & Performance

2021 February 19

ВС

Вячеслав Смирнов... in QA — Load & Performance
Sergey Polyakov
Коллеги, добоый день. Стоит задача протестить клиентскую программу через LR по протоколу oracle 2 tier, во время записи эта программа открывает ещё одну программу и вторую программу LR не записывает. Отдельно запустить вторую программу нельзя. Есть у кого-нибудь идея, как решить проблему?
Можно написать свою простую программу.
она должна будет принимать аргументы и передавать их на запуск второй программе и логировать, что она вернет в ответ.

Эту программу назвать, как вторую. Положить рядом со второй. А вторую назвать program2_original.

Тогда первая программа будет вызывать программу-прокси, которая сделает один вызов внутри и всё. Написать её будет несложно
источник

SP

Sergey Polyakov in QA — Load & Performance
Вячеслав Смирнов
Можно написать свою простую программу.
она должна будет принимать аргументы и передавать их на запуск второй программе и логировать, что она вернет в ответ.

Эту программу назвать, как вторую. Положить рядом со второй. А вторую назвать program2_original.

Тогда первая программа будет вызывать программу-прокси, которая сделает один вызов внутри и всё. Написать её будет несложно
Интересное решение, попробуем, спасибо
источник
2021 February 20

ВС

Вячеслав Смирнов... in QA — Load & Performance
Sergey Polyakov
Интересное решение, попробуем, спасибо
Если Linux/MacOS/BSD, то создайте просто shell-скрипт
источник

ab

artem belikov in QA — Load & Performance
Kirill Yurkov
активно юзаю прометеус в рамках всей остальной инфраструктуры. кажется будто он худший вариант в сравнее с флюксом и инфлюксом
Привет! Тут как то мелькала информация о том, что хотят подготовить не большой FAQ про мониторинг 🙂 или я ошибаюсь?.  Твое утверждение что А хуже Б не содержит подробностей твоих ожиданий, не мог бы ты описать подробно свое видение этой проблемы :)? Я лично, вижу следующую проблему - люди видят авторитетное мнение, но не разбираются/не видят подводных камней. Например, прометеус плох из за того, что тебе нужна расширенная аналитика, а в прометее нет нужной тебе фунциональности и/или данных. Но, возможно это проблема не прометея (т.к. это специализированный инструмент хранящий ТОЛЬКО метрики и не поддерживающий event/log механизмы). Было бы отлично видеть документ - если вам нужно ТОЛЬКО 1,2,3 используйте А, если нужно 1,2,3,4,5 - Б. Хотя такие сравнения наверняка уже есть в интернетах 🙂 и достаточно закрепить это в шапке/readme и т.п.
источник

МК

Максим Какбыпограмми... in QA — Load & Performance
artem belikov
Привет! Тут как то мелькала информация о том, что хотят подготовить не большой FAQ про мониторинг 🙂 или я ошибаюсь?.  Твое утверждение что А хуже Б не содержит подробностей твоих ожиданий, не мог бы ты описать подробно свое видение этой проблемы :)? Я лично, вижу следующую проблему - люди видят авторитетное мнение, но не разбираются/не видят подводных камней. Например, прометеус плох из за того, что тебе нужна расширенная аналитика, а в прометее нет нужной тебе фунциональности и/или данных. Но, возможно это проблема не прометея (т.к. это специализированный инструмент хранящий ТОЛЬКО метрики и не поддерживающий event/log механизмы). Было бы отлично видеть документ - если вам нужно ТОЛЬКО 1,2,3 используйте А, если нужно 1,2,3,4,5 - Б. Хотя такие сравнения наверняка уже есть в интернетах 🙂 и достаточно закрепить это в шапке/readme и т.п.
источник

KY

Kirill Yurkov in QA — Load & Performance
artem belikov
Привет! Тут как то мелькала информация о том, что хотят подготовить не большой FAQ про мониторинг 🙂 или я ошибаюсь?.  Твое утверждение что А хуже Б не содержит подробностей твоих ожиданий, не мог бы ты описать подробно свое видение этой проблемы :)? Я лично, вижу следующую проблему - люди видят авторитетное мнение, но не разбираются/не видят подводных камней. Например, прометеус плох из за того, что тебе нужна расширенная аналитика, а в прометее нет нужной тебе фунциональности и/или данных. Но, возможно это проблема не прометея (т.к. это специализированный инструмент хранящий ТОЛЬКО метрики и не поддерживающий event/log механизмы). Было бы отлично видеть документ - если вам нужно ТОЛЬКО 1,2,3 используйте А, если нужно 1,2,3,4,5 - Б. Хотя такие сравнения наверняка уже есть в интернетах 🙂 и достаточно закрепить это в шапке/readme и т.п.
привет, нет FAQ не планировался - хотел поделится своими темплейтами/настройками по сбору метрик. вроде я в контекст каждого инструмента накидал шортлист по фактам относящимся к каждому инструменту. тут стоит понимать что бывает специфичные потребности, унифицировать и систематизировать их - трудоемкая задача, не исключая того что есть такие факторы как "привычность", "предвзятость", а у кого-то уже внедрен какой-то инструмент, в компании много экспертизы по нему и тд. тут нельзя посоветовать что "использовать" - тут скорее нужно показать из чего выбирать и с чем придется иметь дело
источник

KY

Kirill Yurkov in QA — Load & Performance
ну да Максим вот отличный пример таблички подобной скинул
источник

KY

Kirill Yurkov in QA — Load & Performance
я до этого о своем опыте рассказал, может ценно будет
источник

МК

Максим Какбыпограмми... in QA — Load & Performance
ну это плюс минус наиболее годная табличка из тех что видел
источник

ВС

Вячеслав Смирнов... in QA — Load & Performance
Сейчас есть новый термин observability. Это то, о чем говорит Артём.

Это и Jaeger и логи и метрики и профилирование и трассировка вместе. Понятно, что все это замедляет работу.

Поэтому, если проблема проявляется и на небольшой нагрузке, то можно сделать такую трассировку. Или изучить детали конкретного запроса.

А придти к тому, что нужно изучать этот сервис/запрос/участок кода, именно под нагрузкой проще простыми путями:

Логи ошибок
Метрики
источник

ИФ

Имя Фамилия... in QA — Load & Performance
Всем привет. Графана при фильтрации "ok" учитывает ассершен в jmeter или судит только по статус-коду?
источник

VG

Viktor Ganeles in QA — Load & Performance
Имя Фамилия
Всем привет. Графана при фильтрации "ok" учитывает ассершен в jmeter или судит только по статус-коду?
Это не графана а жметер решает :)
источник

VG

Viktor Ganeles in QA — Load & Performance
И - да, учитывает ассершн
источник

ИФ

Имя Фамилия... in QA — Load & Performance
Ясно, спасибо
источник

s

sergeyHa in QA — Load & Performance
ID:0
🔹Почему "User-Defined Cookies" в HTTP Cookie Manager не перетирается при получении ответа от сервера с заголовком Set Cookie, а приводит к появлению двух Cookie (дублирование)? Проблему получилось обойти задав Path для "User-Defined Cookies" не / а более строгий: /co/authenticate

🔹Тестирование потокового видео #WebRTCWebRTC с JMeter. Посоветовали использовать HLSPlugin и KITE

🔸Gatling OSS может выполнять распределенный тест и Gatling Frontline тоже. Отличие в том, что для Gatling OSS из коробки не поставляется Grafana Dashboard, который отображает результаты распределенного теста, а для Frontline такая отчетность есть. Если k6 (open source версию) получится запустить распределённо, то денег также не потребуют.

🔺Нужно ли загружать статику (шрифты, js, css, картинки) при записи скрипта? Мнения (-) разделились (+): обсуждение очень интересное. Усредненный ответ - да нужно, важно правильно подобрать пропорцию. А в обсуждении отмечено, что если понятие юзер заменить понятием бизнес-сценарий, который состоит из операций, то становится проще. И допустим сценарий, где у пользователя вся статика берется из кеша браузера - запрашивать ее не надо, а есть сценарий, где она скачивается. У сценариев может быть разная интенсивность.

🔹Если в сценарии нужно выполнить три операции с разными интенсивностями 20 RPS, 30 RPS и 40 RPS, то как это сделать?
▫️Для независимых операций - сделать три отдельные Thread Group.
▫️Для зависимых - нужно будет или настроить передачу данных между Thread Group
▫️... или объединить операции в одну Thread Group и использовать Throughput Controller - будет базовая интенсивность 40 RPS, но первая операция будет выполняться с вероятностью 20/40, а вторая 30/40.

❓Что почитать про мониторинг #OpenShiftOpenShift? Вопрос пока без ответа

🔹Запуск JMeter в #KubernetesKubernetes - лучше выделить для нагрузочных станций отдельное пространство с taint.

🔺Как управлять нагрузкой на N сервисов? Написать N простых сценариев лучше, чем написать один, но сложный

🔸Вопрос по настройке Monitoring Plugin для Yandex.Tank. Остался без ответа. Описан в документации

🔸Для подачи нагрузки на IBM.MQ в Gatling нужен JMS Plugin

🔸В Gatling нет консольного графика с количеством пользователей, есть только консольный прогресс выполнения

🔹Как задать Working Directory в JMeter? Думаю так: cd /tmp ; /opt/jmeter/bin/jmeter ... - вот тут рабочим каталогом будет /tmp
🔹При работе с Simple Data Writer удобно задать jmeter.save.saveservice.base_prefix = ./ вместо ~/

... пока все, а то что-то очень много сообщений

Это был #дайджест обсуждений в чате @qa_load
Предложение по повышению удобства.
Предлагаю каким то образом закрепить список хэштегов используемых в группе. В описание или еще как то.
Повысило бы удобство поиска нужной информации

Как их вытянуть  из группы быстро в гугле у меня не получилось найти. Может и есть способ.
источник

VB

Viktor Bashkatov in QA — Load & Performance
sergeyHa
Предложение по повышению удобства.
Предлагаю каким то образом закрепить список хэштегов используемых в группе. В описание или еще как то.
Повысило бы удобство поиска нужной информации

Как их вытянуть  из группы быстро в гугле у меня не получилось найти. Может и есть способ.
Есть в описании.
источник

s

sergeyHa in QA — Load & Performance
ID:0
🔹Почему "User-Defined Cookies" в HTTP Cookie Manager не перетирается при получении ответа от сервера с заголовком Set Cookie, а приводит к появлению двух Cookie (дублирование)? Проблему получилось обойти задав Path для "User-Defined Cookies" не / а более строгий: /co/authenticate

🔹Тестирование потокового видео #WebRTCWebRTC с JMeter. Посоветовали использовать HLSPlugin и KITE

🔸Gatling OSS может выполнять распределенный тест и Gatling Frontline тоже. Отличие в том, что для Gatling OSS из коробки не поставляется Grafana Dashboard, который отображает результаты распределенного теста, а для Frontline такая отчетность есть. Если k6 (open source версию) получится запустить распределённо, то денег также не потребуют.

🔺Нужно ли загружать статику (шрифты, js, css, картинки) при записи скрипта? Мнения (-) разделились (+): обсуждение очень интересное. Усредненный ответ - да нужно, важно правильно подобрать пропорцию. А в обсуждении отмечено, что если понятие юзер заменить понятием бизнес-сценарий, который состоит из операций, то становится проще. И допустим сценарий, где у пользователя вся статика берется из кеша браузера - запрашивать ее не надо, а есть сценарий, где она скачивается. У сценариев может быть разная интенсивность.

🔹Если в сценарии нужно выполнить три операции с разными интенсивностями 20 RPS, 30 RPS и 40 RPS, то как это сделать?
▫️Для независимых операций - сделать три отдельные Thread Group.
▫️Для зависимых - нужно будет или настроить передачу данных между Thread Group
▫️... или объединить операции в одну Thread Group и использовать Throughput Controller - будет базовая интенсивность 40 RPS, но первая операция будет выполняться с вероятностью 20/40, а вторая 30/40.

❓Что почитать про мониторинг #OpenShiftOpenShift? Вопрос пока без ответа

🔹Запуск JMeter в #KubernetesKubernetes - лучше выделить для нагрузочных станций отдельное пространство с taint.

🔺Как управлять нагрузкой на N сервисов? Написать N простых сценариев лучше, чем написать один, но сложный

🔸Вопрос по настройке Monitoring Plugin для Yandex.Tank. Остался без ответа. Описан в документации

🔸Для подачи нагрузки на IBM.MQ в Gatling нужен JMS Plugin

🔸В Gatling нет консольного графика с количеством пользователей, есть только консольный прогресс выполнения

🔹Как задать Working Directory в JMeter? Думаю так: cd /tmp ; /opt/jmeter/bin/jmeter ... - вот тут рабочим каталогом будет /tmp
🔹При работе с Simple Data Writer удобно задать jmeter.save.saveservice.base_prefix = ./ вместо ~/

... пока все, а то что-то очень много сообщений

Это был #дайджест обсуждений в чате @qa_load
Только сейчас заметил, что комментарии  в том канале летят сюда))

Предлагают добавить в дополнительный
Я вот тут смотрел, где выжимка

Дополнились теги, 2 упоминания
# Kubernetes
источник

VG

Viktor Ganeles in QA — Load & Performance
Чет спамеры атакуют, по сообщению в минуту
источник

СФ

Степа Фомичев... in QA — Load & Performance
Viktor Ganeles
Чет спамеры атакуют, по сообщению в минуту
Чем больше паблик, тем больше таких проблем будет
источник

AA

Artem Astaxov in QA — Load & Performance
угу, да и по сути отключить уведомления у больших чатов по мне единственный вариант не дергаться каждые пару минут
источник