главное не забывайте принимать решения после окончания эксперимента и выпиливать все эти if нахрен, а то лапша получается

да, конечно

@BloodJazMan ну по сути ты новый code path закрываешь if enabledFeature("mySuperCoolFeature") и, либо удаляешь иф, либо удаляешь весь code path

смотря что решил в итоге

вот у меня по опыту в проектах с этим очень большие проблемы, не выпиливают заразы, ленятся и оно потом так и лежит, пахнет ;(

простите, что немного внезапно врываюсь, а как предполагаете тестировать паралельно 10 вариантов? Как понять, что метрики просели, если изменений так много, тем более автоматом, или разработчики сами будут смотреть?

Мне вот кажется что 10 коммитов в день в мастер и анпрод это чоень старнная практика.

Нужно что-то именно в подходе менять.

а что именно смущает? 10 коммитов - это много или мало?

В прод много

определение метрик это сложно в принципе, бывают люди которые условно конверсию меряют, тэгируют ее разными experiment id и смотрят

а сколько нормально?

ну по мне так релиз раз в месяц пакетно в самый раз

так а коммитов в мастер в день сколько? )

представил себе 10 одновременно стартующих экспериментов, каждый надо оценить побыстрее (за час, чтобы типо "раз-раз" и в прод) и закрыть те, которые "годные", откатить те, которые что-то сломали
все это чтобы без участия человека, с учетом ошибок из логов и каких-то оценок прибыли или чего-то около. Вдруг автор такое строит и расскажет, как делать?

у меня лично в голове проблема №1 - как оценить качество фичи за час?

есть один товарищ, который утверждает, что так в банках работают ) без обид

по базовому дизайну, можно поискать как букинг.ком делает а-б тесты.

я несколько скептичен к их логике выбора метрик и оценкам

но все ж

они делают много экспериментов в день и как-то оценивают результаты