потом твой тест - может валидировать результаты - ошибки по ассершену

400 - не ошибка цели

третий момент - проблемы с соединениями -

могут интересовать только 500 и 504.

а так сценарий роль играет

да врятли

502 прилетит не ошибка будет? нуну

может там запись не успела создаться и получился 404

502 вообще чем угодно может быть. Включая проблемы корреляции. Смотреть надо предметно.

ну продолжай рассказывать что это нормально и не ошибка

400 ту да же

я сейчас такое разгребаю. И часто это ошибка при выполнении сценария. Типа данные не те пихнул.

можешь спорить и игнорить. Я о своём опыте.

400 да, но 502 это уже другая история

Ну в такие глубины пока точно залезать не буду)

Для меня, как написал jagga - все ошибки от 400 до 504, естественно в каждой системе могут быть свои тонкости, но в них буду вникать, если на проекте нужно будет провести более 2-3 НТ
Поэтому в принципе Андрей тоже прав, многое зависит от реализации системы

А так вопрос скорее не такой: "Что есть ошибка, и что есть жизнь" :)
А любая-ли ошибка может закладываться в эти 10%?

И по всей видимости - любая, пойду заказчику, как-нибудь постараюсь это объяснить

Спасибо

вообще желательно задать градации - из серии процент допустимых ошибок с кодом 40х например 5%, 50х не более 1%, остальное может быть ошибки приложения либо что-то на уровне сети

так будет и тебе и заказчику  понятней и проще сформироваать требования к сервису

Точно, отличная идея!
Действительно предложу градацию, так же обговорю с ним, "что есть упавший самолёт", какие ошибки будут критами для него.

Спасибо!)

SELECT sum("countError") FROM "$measurement_name" WHERE ("transaction" = 'all' AND "application" =~ /^${application:regex}$/ AND "responseCode" =~/^${codes_to_include:regex}$/) AND $timeFilter GROUP BY time($__interval) fill(null)

$codes_to_include -> ${codes_to_include:regex}

+для codes_to_include указать мультивыбор

Речь идёт про процент ошибок. То что вы даёте кривые данные и получаете такую ошибку это не норма. Я веду к тому, что наверняка вменяемый человек не будет запускать нт не разобравшись почему такое происходит. А вот в рамках процента уже на идущем тесте, эти ошибки могут иное означать, и их надо учитывать.