нихрена себе подходы пошли 🤔

например , у меня в мастере есть тест , который падает в 2 из 10 билдов ( по непонятной причине) . Я хочу , что бы этот тест автоматом помечался как флаки и исключался из следующих билдов , отправляя нотификашку в слак например  а далее уже не проблема составлять какой-то список таких тестов. Я читал , что в некоторых компаниях такой подход применяют , но так понимаю - что это нужно самому кодить . Вот и хотел спросить , возможно у кого-то был такой опыт

Ускоряет релизы 100%😂

А ретраи не помогают?

почитай статьи как гугл делает

Неа , тут цель не в ускорении , тест сьют и так быстро гоняется и не мешает разработчику вмерджить свой ПР. У нас  A\B тестирование и иногда скейлятся эксперименты , которые не учтены в тестах. Соответственно тест ломается у всех и все билды красные. Пока ты пофиксишь тест , попросишь всех померджить  мастер и тд. - теряется доверие к стабильности тестов. По этому идея с карантантином в этом кейсе кажется мне логичной

У нас аналогично, гоняем мульти бранчи и запретили всем мерджить пока все не пройдёт. Конечно експерименты тоже скейлят и тоже падает что-то. Как вариант отдельно гоняли тесты от релизов что бы быстрее словить такое. Карантин это Хорошо, но по опыту если отправлять туда по потом назад включить уходит куча времени

а если стопить всё из-за одного нестабильного теста — не уходит куча времени?

Читал ,у  них есть тула которая мониторит и автоматом кидает тест в карантин . Но я не нашел готового решения , по этому и решил спросить тут)

Как вы добились сделать тесты обязательными? Я сражаюсь год уже )

Я так же сделал , что каждый час контрольный прогон тестов на изолированном енве , что бы детектить такие штуки. Но даже если это быстро отлавливается , то я иногда не успеваю быстро пофиксить и получается проблемка (

Моя команда что взяла проект включила это )))) за пол года до того я каждую неделю просил предедущего тех Лида проекта сделать это