а вы читали статью?

что скинули?

вот эту

там речь они свой 5-2cv предлагают использовать фактически только для accuracy

Более того, они же и говорят то, о чем вы с нами спорите - что просто t-test на моонте-карло кросс-валидации или kfold кроссвалидации лажает даже для accuracy

цитируя эту статью:

"Statistical methods such as the bootstrap can be used to calculate defensible nonparametric confidence intervals that can be used to both present results and compare classifiers. This is a simple and effective approach that you can always fall back upon and that I recommend in general."

Что здесь я, например, и рекомендовал.
И автор указывает у подходов, что вы указали те же минусы, что указал я.

у меня по опыту получалось, что бутстрапы дают большую дисперсию, чем Nx2, наверно потому что классическое разбиение на фолды ровнее покрывает тестами все данные, чем рандомное разбиение бутстрапа

а в чем проблема большей дисперсии?

и Nx2 в статье, что вы прислали, защщищен только для accuracy

и там прямо написано даже про то, что величина в знаменателе должна быть примерно нормально распределена.

Дело в том, что метрики на разных тестах и трейнах разные, проверка просто по средним некорректна, надо ещё разбросы учитывать, хочется аппарат статистики как-то применить

Но в бутстрепе тоже iid везде предполагается(из того что я смотрел, я сюда приложил один такой источник), то есть не совсем корректно применять и проверку гипотез с его помощью, и интервалы. Буду признателен, если устойчивым модификациями поделитесь, где метод обобщается.

а можете скинуть источник?
iid наших объектов в выборке?

Вот

ну да, здесь про саму выборку. А мы спорили, что в t-test на кросс-валидации iid не получится, даже если в выборке объекты независимые

Здесь я с вами полностью согласен

То есть и бутстреп здесь не особо подходит, верно же?

Я просто не оставляю надежду найти корректный метод)

не, я к тому, что по логике бутстрэп как раз проблемы не вызовет. У нас частое предположение, что объекты в обучающей выборке независимо брались

iid на кросс валидации не получится по определению независимости. Зависимость метрик на фолдах проявляется и через модель, и через пересечение фолдов, которые будут пересекаться по данным, это интуитивно приходит на ум.