Спасибо за отклик  ребят ❤️ Немного вводных данных :

- У нас нет мануального тестирования вообще  , все тесты тригерятся автоматом на коммит в дженкинсе , когда разработчик разворачивает динамический енв. По этому ROI посчитать тяжело ибо сравнивать времязатраты с мануальным тестированием не получится

- На счёт А/Б тестов : у нас есть 4 продуктовых команды , которые запускают фичи под тестом на 50% пользователей. Некоторые эксперименты перезапускаются из-за багов ,  вот нужно как-то считать , сколько компания на этом теряет. В квартал - примерно 80 тестов

- Вот ключевая загвоздка , что не могу подобрать метрику по какой считать эффективность автотестов.

У нас есть тул для подсчёта А/В тестов фич и была идея брать инфу оттуда ( брать 1 версию эксперимента с багом и смотреть инфу до перезапуска и после сравнивать с версией 2 которая была запущена с фиксом ) ,но увы 1 версия не сохраняется и моя гипотеза разрушилась (


Я месяц назад перевел все логи тестов в Kibana  и теперь есть статистика по упавшим тестам на каждый ПР и так далее в реальном времени, но требуют все равно в деньгах считать(

понятнее не стало

Привет. Вопрос к тем, кто работает с TestCafe: как вы логируете в тестах инфо? Какой тест/сют запустился -> куда кликнул -> что написал -> проверил. В них есть свой Reporter Plugin https://devexpress.github.io/testcafe/documentation/extending-testcafe/reporter-plugin/, но собрать его не могу никак - ошибки валятся (при том, что я ничего не менял там - их код). Пофиксил одно, второе. Зачем заливать неработающий пример / код! У вас тоже были такие танцы?

привет, у меня есть опыт с их репортерами, пару сделал. можешь написать в директ, подскажу.

Ну, эффективность автотестов != ROI.

Return On Investment он о том насколько профит от ваших тестов превзошел затраты, которые на них потрачены. В случае с мануальным тестированием все понятнее.
Если у вас автоматизация плотно вплетена в разработку - то и отделять ее будет неправильно.

Я бы предложил не делать на "А/Б тестирование" и "просто тестирование", а начать с общего.
Насколько эффективны ваши тесты вообще?
Если у вас есть метрика по найденным багам - то можно прикинуть где и на каком этапе то было найдено (интеграционные тесты или какие-то ночные е2е тесты), серьезность этих багов для бизнеса, и как много времени тратилось на их исправление (например).

Так-же сильно помогла бы метрика по количеству багов найденных на проде юзерами. Тогда можно ооооочень приближенно считать как кол-во найденных автотестами багов / кол-во багов с продакшена.

Обновил инфу , может нужно что-то конкретизировать?

"Некоторые эксперименты перезапускаются из-за багов ,  вот нужно как-то считать , сколько компания на этом теряет. " автотесты то тут причем?

Тесты отлавливают баги на этапе разработки , я вручную с коллегами заношу их в документ

тесты отлавливают баги? я же надеюсь эксплоратори у вас присутствует в неком виде?

Потому что мерджили с красными тестами и тд, пока я ковырял CI и стабилизацией занимался. Т.е вот этих проблем можно было избежать если бы они смотрели тесты  и компания не потеряла бы деньги

Да , делал репорт как раз в пятницу прошлую . Примерно 8 багов за день было отловлено из 80 джоб с тестами

да мне без разницы на кол-во отловленных багов :)

если писать тесты только на аксептанс критерии

то продукт будет говно

Та понятное дело , но у нас примерно 80 % процентов покрытия , тесты ловят проблемы , но вот как посчитать это правильно в наших условиях- не знаю (

Спасибо, подумаю как применить к нашим условиям)

понимаешь, дело не в эффективности, а в процессе и желаемом уровне качества. Есть требования, они могут быть покрыты тестами, чтобы удостовериться что фича работает. Задизайнили, написали, забыли. Провели эксплоратори в конце.

проблема заключается лишь в том, что тебе сказали сделать что-то, ты не понимаешь ни что, ни зачем

может нужно еще раз подумать, вопросики написать, и сделать еще один звонок?

Согласен, что я размыто описал инфу и вводные данные, за что извиняюсь. Подумал , что возможно кто-то сталкивался с схожими проблемами, ещё раз сорри за офтоп