Данных должно быть достаточно, тут согласен, потому что в худшем случае каждый раз на 1/8 где-то обучение будет. Да и проверять экспериментом независимость надо, как я уже сказал, интуиция не особо помогает тут...

Почему же? Вроде бы именно с iid скоров и начался разговор о некорректности применения т-теста и прочих для оценки качества

он начался с iid скоров, а не наблюдений

что даже при условии iid наблюдений процедура kfold дает зависимые скора

ну так я и имел в виду скоры под наблюдениями)

проблема не в достаточности, а  в том, что SVM по природе использует только небольшую их часть

ведь для т-теста и прочих скоры -- это и есть "наблюдения")

да, понял, спасибо)

Как опорные векторы, имеете в виду?

да

Тут проблема для очень малых выборок, но для разных и достаточно больших подвыборок, где объекты перемешаны по-разному, не совсем понятно в чем разница. Тогда SVM не работала бы на кросс валидации... Или я не совсем вас понял

Кстати, тут их независимость не очень нужна, они же дают скоры на разных тестах, которые ближе к независимости должны быть. От моделей требуется быть слабо зависимыми и разными, чтобы  моделировать общее поведение выбранного класса моделей.

Да все это, все эти тесты, это на самом деле вопрос творчества и внутреннего чутья, ибо не существует генерального плана или фреймворка, как лучше выбрать лучший алгоритм используя статистические методы: результат лишь показывает насколько вероятно данные выборки могут наблюдаться если гипотеза верна (нулевая), а не насколько гипотеза верна на данной выборке. Так что всегда существует вероятность, иногда близкая к нулевой, что на реальных данных, "лучший алгоритм" покажет не лучший результат.

Но неплохо было бы ознакомиться с эмпирическими результатами сначала, все же, скажем их MIT или Стэнфорда, а потом применять. Ну вот по тем же бутстрап подвыборкам и их степени независимости, вот я о чем.

ну это да

Пока что видел статью по 5 2 cv только, поэтому раньше и использовал её, хотя и сомневался в связи с упомянутый проблемой not iid

здесь вот понабирайте ключевые слова по теме что вас интересует и вам понакидает ссылок на научные работы и книги https://scholar.google.com/

Но, как я уже упоминал, iid нет почти нигде строгого, честно говоря, все на веру берётся, что нарушения малы даже в общепризнанных исследованиях, потому что в стратифицированных выборках, к примеру, в стратах нарушения интуитивно понятны.

Спасибо

наличия большого числа способоо плавать и недостатка у каждого из них не говоорит о том, что моожно просто топориком вниз.

И полезно знать эти минусы и допущения