scikit-learn - ROC curve with confidence intervals - Stack Overflow
https://stackoverflow.com/questions/19124239/scikit-learn-roc-curve-with-confidence-intervals

Прошел все задания 1 курса. Жду оценки последней работы. Когда сформируется сертификат?

После оценки всех работ, необходимых для получения сертификата

Спасибо

То есть, формально, для проверки гипотез о равенство средних значений  метрик на тесте для двух разных моделей (корректные, гипотез о равном качестве моделей на тесте) с использованием repeated stratified k fold класс непараметрических критериев должен подходить, правильно я понимаю? К примеру, Манна-Уитни или перестановочный критерий. Ну, и как вами отмечалось выше, ещё и бутстрап дов интервалы дополнительно можно сравнить для двух моделей, посмотреть, нет ли пересечения.

Ну, чтобы не вводить никого в заблуждение, там проверка не всегда на равенство средних, для независимых выборок проверка на относительную несмещенность распределений, а для зависимых в случае Манна Уитни - проверяется равенство нулю разности медиан, если я все правильно помню.

ответили как вылечить?

вылечил у себя изменив параметр

У Манна-Уитни, кажется, альтернатива это сдвиг распределения на константу, так что его тоже надо осторожно применять

Это да, и не только у него, но и у перестановочного для независимых выборок. Вопрос мой был в корректности такого подхода как такового к данной задаче, потому что нужно получать p value, а т тест не очень корректен в связи с зависимостью испытаний.

в допущения маннуитни/вилкоксона тоже входит независимость наблюдений, потому есть подозрение, что нельзя и его

То есть остаётся только перестановочный критерий и проверка гипотез на основе бутстрапа... Хотя не совсем очевидно, где в U критерии такое допущение об iid, во всех моих источниках будто избегают говорить про iid. Может посоветуете норм источник, где наиболее строго подаётся все про критерии, дов интервалы и про бутстрап? Спасибо

У меня было подозрение, что это так, ибо независимость очень частое требование.
И я просто загуглил. https://statistics.laerd.com/statistical-guides/mann-whitney-u-test-assumptions.php

Обычно я гуглю, именно учебник посоветовать не смогу

Спасибо

Заглянул в пару учебников по бустрапу, там тоже во всех теоремах iid, хотя и пишут, что метод обобщается на not iid... Получается, все равно, вероятно, некорректно напрямую использовать конф интервалы для той задачи...

К-s как- то неск месяцев назад искал что то похожее про бутстрап

Вот сижу сейчас, думаю, как корректно проинтерпретировать результаты кросс-валидации для 2-х моделей)

Руки так и чешутся что-то из известного применить, но iid  нужен везде)

Конечная проверка это тестовые данные это ай ай ди