в 90% соревнований вам даётся трейн данные, лейблы для трейна и тестовые данные без лейбла. Вы обучаете модель, а потом делаете предсказания для тестовой выборки и засылаете ваше предсказания на сервер организатора (каггла, например). Там в свою очередь тестовый набор данных подразделяется на два поднабора: паблик и приват (соотношения этого разбиения отличаются от соревнования к соревнования. Зачастую бывают 30:70 или даже 20:80). Так вот, вы засылаете свои предсказания, на сервере рассчитывается показатель качества и для паблика и для привата, но вам показывается лишь качество вашей модели на паблике. То есть по сути вы видите качество ваших предсказаний лишь по 20-30%  теста. Итоговые же места, деньги, медали распределяются исходя из качества, показанного на скрытой приватной части.

ну а после засылки предсказания, вы же видите 2 скора, как паблик так и приват же, нпример в kaggle api?

нет, только паблик. Приват вы видите лишь по окончании соревнования

ну в принципе это тот же метод для борьбы с подбором, только вид сбоку

то есть приват по сути и играет тут роль эдакого контроля, да. Но просто штука в том, что зачастую разница в качестве между соседними участниками на этих отложеннных данных невероятно маленькая, из-за чего сложно говорить, что участник с более высоким скором действительно построил модель с лучшей предсказательной способностью. Вполне возможно что ему просто чуть больше повезло на конкретно этом наборе отложенных данных.

Коллеги, всем доброй ночи !

закончил 5 курс и вспомнил, что к 1 курсу не приложил скрин по установке питона еще полгода назад.
у кого есть доступ к C1, прокликайте плез
https://www.coursera.org/learn/mathematics-and-python/peer/2yTvX/ustanovka-python/review/Lr-eI07hEeu-rxL4NzDiiw

Это не так работает

Ну у вас и для kfold тоже будет "небольшое". Те же проблемы

Да причем здесь iid наблюдений.. не про него разговор же

Ну прочтите спор, уже обсуждали

? Приват лидербоард. На паблик переобучайтесь сколько душе угодно

Думаете? Кажется, что явно больше для к фолд засчёт того, что модель обучена на фолде, а потом ещё и тестируется на другом, в результате фолды и метрики связаны... Тут же этой связи нет, но есть предполагаемая корреляции сэмплов, которая тем меньше, чем меньше размер бутстрап сэмпла... Но, в вопросе независимости интуиция плохой друг.. Тут надо или источники найти, где измерения корреляции для подобных метрик, либо самому пробовать...

Он особенный, ибо в идеале вы его трогаете 1 раз, когда модель уже лучшую (одну) проверяете. Ну или когда моделей осталось мало.

А так - если на test проверяют миллионы моделей, то проблема, разумеется будет. И она есть.

А, вы бутстрэп делаете на трэйн только. Простите, спросонья криво прочел. Ну вы фактически предлагаете делать бутстрэп оценку ту же

Нет, ещё на тесте, плюс сабсэмплы перед бутстрапом

Получаем квази разные выборки

Ну полученные модели энивей не будут независимыми

Согласен, где-то будут пересечения, но должны быть меньше... Но вот вопрос, посмотреть бы примеры экспериментов с бутстрап ом, где проводят измерения степени зависимости от размера

Представьте, что учите вы SVM. Она использует очень малую долю выборки для построения решения. У вас тогда почти любая SVM будет учить одни и те же веса.

А вообще, iid конечно это боль. Ведь даже в аб тестах, когда вы берете людей из одной соц группы, пола и прочее, из одного города, района, там сразу корреляции метрик и не строго iid