Но если наша выборка это метрики по фолдам, тогда они между собой коррелируют

А значит iid нет, и бутстреп по вопросом?

так, я предлагал бутстрэп использовать на этапе до подсчета метрики. Как здесь, например

Хм, хорошо спасибо, поглубже вникну, но тут вроде как рассматривается обученная модель и тестовые данные, предсказания и истину на которых мы сэмплируем для получения интервалов для метрики. Тут iid, действительно, кажется. Единственная проблема, не учитывается разброс при обучении модели на разных данных, ведь он будет существенен. Но тем не менее, кажется, что данный метод корректен в своей постановке, хотя и может быть не совсем полным для сравнения моделей.

ну можно при желании учить модель на разных данных. Просто бутстрэп ообычно предполагает много реплик - поотому учить заново долго. Но вай нот.

Да, что неполный - правда.  что можно сделать не стреляя в себе ногу новым способом - это построить бутстрэп распределения для разных моделей и глазами посмотреть). А дальше идет тоже простор для допущений.

Диттерих рекомендует тест Немара если данных мало (или их долго считать), и модифицированный t-test на 5x2 cv, если скоры посчитать легко.

и по обычному k-fold cv - он позволяет его использовать, когда важно уменьшить ошибки FN, т.е. вполне можно позволить взять новую модель, которую тест определил как лучшую, но она такой не является.

для accuracy по сути

он это предлагает

в мл строгих асумпшинов почти нигде нет, методы используют по их эмпирическим подтверждениям. тот же наивный баес справился со своей задачей спам-фильтра.

ох, вы цитируете статьи, где прямо пишут6 что написано в чате, чттобы спорить с тем, что пишут в чате

мне кажется это странным

Что везде есть трейдофы я не спорю. Начать с того, что верность 5-2 теста тоже не показана строго. Они просто на каких-то искуственных выборках проверили.

теория для iid есть, небольшие нарушения iid на практике теорию не опровергают, а что ещё надо для счастливого мл? я к этому

Вам ведь дано стандартное отклонение для оценки МНК, разве это не стандартная ошибка? Зачем ещё делить, все уже поделено. МНК даёт ведь условные мат ожидания

Это к вопросу по Демешеву

Спасибо, но въехать не могу ( то есть стандарт отклонение в данном случае = стандартной ошибке?

Да

Подумайте над этим с точки зрения того, что вы ищете доверительный интервал для мат ожидания. Вам дано выборочное среднее, его стандартное отклонение и вид распределения.

Это чуть грубо, но для понимания полезно