Есть одна общая проблема в том что автопроверки краткосрочны, и принципиально не заточены на обнаружение багов в длинной перспективе. Но баги не знают что надо обнаруживаться быстро и ложиться под тесты.
Я встречал пару критичных багов, оба из которых никак не обнаруживались короткими тестами. Первый проявлялся в одном запросе на бэк из примерно сто тысяч запросов. Продакт овнер принял решение отказаться от этого бэкенд решения вообще и переписать пол-приложения (имевшегося на тот момент).
Под второй надо было сочетание двух или более аккаунтов у одного юзера на одну почту (этого не было в тестах, это нецелесообразно было бы гонять (таких юзеров был очень малый процент), но нашлось в продакшене, и =финансовый= вес этого бага в проде оказался достаточен для хотфикса).
А, был ещё третий. Он обнаруживался только при длительном и интенсивном использовании мобильного приложения — надо было его систематически мучить больше 10 минут, причём по определённой системе. И стратегия воспроизведения нашлась не сразу. Первоначально продакт овнер решил что не стоит искать "призрака", и релизимся так. Потом по жалобам пользователей выделил команде времени на поиск. У меня ушло на это два дня, хотфикс пошёл через неделю.