это именно про их методику "накати-откати" или про А/Б тестирование? Я читал про обе, емнип, они используют staged-rollout, раскатывают каждое новое изменение на кусок пользователей сначала, потом везде. Но это про код, в котором, я так понимаю, участвуют фича-флаги и А/Б тесты
А/Б тестов у них может и много, но я не видел нигде, чтобы они за час понимали, насколько тест удачен или нет. Слышал, что у них очень короткое время реакции по основному показателю (бронирований в единицу времени?) но, опять-таки не слышал, чтобы они использовали только его в результатах своих тестов
в любом случае, почитаю про них еще, вдруг упустил что-то, спасибо )

Решение добавляет работы...
Ещё есть варианты?

так проблема именно в том, чтобы понять, что изменения хорошие/плохие по метрикам? Или что добавляет работы, выпиливание if-ов?

Кажется большой проблема выпиливания / создания if'ов

если интересен именно опыт badoo (но мы так не делаем, по крайней мере официально, для фич)
https://habr.com/ru/company/badoo/blog/413991/
* берем стабильную версию
* накладываем сверху 1+ "патчей" от разработчиков
* генерим из каждой пачки версию кода
* раскладываем на каждую группу машин (разработчики решают сами, куда) свою версию кода
* ждем отмашки разработчика на откат или применение изменений в мастере

новый патч/принятие старого == перераскладка

Естественно ручное тестирование в ветке, статический анализ и автотесты перед merge в master уже есть

а никакого интеграционного тестирования, кроме как на проде, нет? Не боитесь его потерять/не хотите добавить, если его нет?

Под интеграционным тестированием здесь что понимается?

стейджинг какой-то, когда тестировщики смогут проверить все 10 веток, что ни одна из них не ломает функционал из другой

Стейджинг сейчас есть, но кажется, что это снижает скорость внесения изменений.

В теории ничего же не мешает в ветку с фичей забрать функционал от master и проверять со всеми остальными фичами, которые уже подготовлены к релизу.

А как вы боритесь с отрицательным узер экспириансом если выкатили на тест в проде плохую фичу?

A/B тестирование есть, но редко. На кардинальные изменения.
Иногда до прода тестируем дизайн на фокус-группе.

По остальным случаям снижения конверсии пока разбираемся по факту.

Допустим, бывают явные баги в коде (исключения, которые могут быть отловлены такими системами, как sentry).
Случилось так, что эти кейсы всё-таки прошли в прод через QA, человеческий фактор.
Никто не определяет автоматически коммиты, которые привели к этому и автоматически не откатывает их?

наверное кто-то определяет )

Ну пользователи точно )

Rational Test Suite например, плюс AppScan, хотя явные баги выскочат ещё на стадии нагрузочного тестирования.

у трэвиса там проблемы уже второй день

У Circle CI тоже последние дни не очень проходят - https://status.circleci.com/

Ребята, а у вас тут вакансии DevOps можно постить?