Фух, слава богу)

Коллеги , привет.
Столкнулся с проблемой. Накидайте пожалуйста вариантов, куда копать/что посмотреть??! У меня чего-то совсем идей нет уже)

В общем.
Гоняем регулярно (примерно раз в месяц), один и тот же тест, написанный на Gatling'е, но не суть на чем).

Тест по факту нагружает сайт - выполняет пользовательские сценарии, и в том числе, при всех передвижениях по сайту, грузит статику (css, js файлы и прочее).

Так вот есть у меня результаты этого теста уже примерно за год (~12 отчетов). Причем сохранились как отчеты gatling'а, так и снапшоты графиков нагружаемых сервисов из графаны. В общем есть с чем сравнить

И все бы хорошо, но последний прогон теста не прошел. Точнее assert'ы не прошли - ошибок таймаута стало сильно больше, много упавших процессов, статика стала сильно дольше грузиться... При этом всем, на графиках сервисов все так же, как и в предыдущих прогонах - нагрузки ничуть не больше было, даже чуть меньше.

Но тест то не проходит теперь! А раньше проходил. Куда копать то? выходит что появилась проблема с сетью? Может нужно еще и трассировку сети делать перед нагрузкой, чтобы в будущем хотя бы было с чем сравнивать? (типа новые узлы появились или еще что-то).

а не рассматриваете вариант "глобально и необратимо улучшили продукт"?

рассматриваю. И баг разрабам завел даже. Но, по всем их графикам сайт справляется. Нужны пруфы, что стало хуже. Их и ищу)
А сейчас выглядит так, что "завтра интернет станет быстрее и тест снова начнет проходить")

Какие еще пруфы нужны помимо результатов теста?)

В 3.5.1 починили 4032 HTTP: MaxConnectionsPerHost ignored when handling resources in v3.4.x
https://github.com/gatling/gatling/issues/4032

В 3.6.0 починили 4069 HTTP: max concurrent streams settings is ignored
https://github.com/gatling/gatling/issues/4069

Все это могло сказаться

3.6.0 HTTP: Async DNS resolver should use one single shared DNS cache when not using perUserNameResolution #4077
https://github.com/gatling/gatling/issues/4077

Вот тут возможно появились блокировки, так как кеш DNS стал один для всех потоков

уменьшай версию гатлинга и проверяй теорию

Хм.. А это мысль. Я действительно поднимал версию проекту. Правда с 3.3.1 до 3.4.2 всего лишь (на 3.5.х быстро не завелось, отложил пока).

Попробую завтра вернуть 3.3.1

может быть на сайте внесены такие изменения, которые не учитываются в старом тесте

аякса побольше, лэндинги попроще

Ну это самое простое что можно прямо сейчас сделать)

или как у меня было ты попал в тестовый контур канарейки)

и там совсем другой движок крутится)

Эт врядли. Тут для нагрузочных тестов отдельная среда соразмерная проду. И все знают что дорого, но никто не против)

Случайно попал в прод, и там максперф оказался ниже :)

не Рокки

это была захватывающая детективная история

с сайтом топового е-коммерса, когда я там трудился)