Но если серьезно, мы же никогда не напирали и не напираем на CTR. Начинать с CPI+RD1 тоже вариант. Но если есть такой способ теста (CTR) и есть на него спрос, то наша задача этот инструмент сделать максимально точным, на сколько это вообще возможно. По этой причине мы долго его мучали, пробовали разное и строили корреляции.
Ну и выводы мы не раз озвучивали:
- CTR нельзя использовать для прогноза CPI. Корреляция высокий CTR -> хороший CPI есть, но даже самые высокие значения дают лишь чуть больше 50%
- CTR хорошо фильтрует плохие идеи, но если у вас высокие метрики у проекта, которые позволят окупить высокий CPI, то CTR не для вас
- CTR может дать ложноотрицательный результат - о причинах было у меня в лекции, такие вещи ловим вручную и перепроверками
- Вероятности вывели на нескольких тысячах тестов (включая тесты после низких CTRов), цифры приводили