В рейтинге участвует:

групп:

каналов:

Виртуальный сервер на SSD - недорого!

Аренда выделенных и виртуальных серверов (VDS/VPS), хостинг, аренда IP-адресов, администрирование, круглосуточная поддержка

qwarta.ru подробнее

Резервное копирование с проверкой на вирусы!!!

Удобный сервис создания резервных копий на любой сервер сети интернет. Отслеживайте изменения, проверяйте на вирусы. Надежно защитите свой бизнес!

go.backupland.com

Выбираете сервер? Любая конфигурация на заказ!

Аренда физических серверов любых конфигураций под любые запросы - 1С бухгалтерия, игровые сервера, нагруженные проекты, интернет-магазины!

qwarta.ru подробнее

Size: a a a

Machine learning

7638 membersпожаловаться на группу
2021 January 04

i

igor in Machine learning
Кросвалидауию не надо интерпретировать
источник
19:57пожаловаться#1

i

igor in Machine learning
С её помощью выбираем модель
источник
19:57пожаловаться#2

SS

Sergey Salnikov in Machine learning
есть две модели, нужно сравнить их на cv. прогоняем обе модели на одинаковых сплитах cv (т.е. фиксируем random_state), получаем два массива related: на каждом фолде по два скора разных моделей. проверяем гипотезу что они имеют одинаковое среднее (если скоры имеют нормальное распределение), используем t-test (why not?), если слишком ненормальное - что-нибудь непараметрическое.
источник
20:05пожаловаться#3

K

K-S in Machine learning
Sergey Salnikov
есть две модели, нужно сравнить их на cv. прогоняем обе модели на одинаковых сплитах cv (т.е. фиксируем random_state), получаем два массива related: на каждом фолде по два скора разных моделей. проверяем гипотезу что они имеют одинаковое среднее (если скоры имеют нормальное распределение), используем t-test (why not?), если слишком ненормальное - что-нибудь непараметрическое.
Наблюдения не являются независимыми
источник
20:05пожаловаться#4

i

igor in Machine learning
Да именно
источник
20:06пожаловаться#5

SS

Sergey Salnikov in Machine learning
так нигде в ml скоры не являются независимыми
источник
20:06пожаловаться#6

i

igor in Machine learning
Это неправда
источник
20:06пожаловаться#7

DP

Dmitry Penzar in Machine learning
Sergey Salnikov
так нигде в ml скоры не являются независимыми
а кто-то часто в cv сует т-тест?
источник
20:06пожаловаться#8

DP

Dmitry Penzar in Machine learning
я честно только здесь увидел
источник
20:06пожаловаться#9

K

K-S in Machine learning
Dmitry Penzar
а кто-то часто в cv сует т-тест?
Часто
источник
20:06пожаловаться#10

i

igor in Machine learning
Может где то в курсе так было?
источник
20:07пожаловаться#11

SS

Sergey Salnikov in Machine learning
статья на хабре есть хорошая, по мерсам
источник
20:07пожаловаться#12

DP

Dmitry Penzar in Machine learning
обычно либо "ci", либо бутстрэп
источник
20:07пожаловаться#13

DP

Dmitry Penzar in Machine learning
ну если там делают t-test, то нехорошая
источник
20:07пожаловаться#14

K

K-S in Machine learning
Sergey Salnikov
так нигде в ml скоры не являются независимыми
Так или иначе мы пытаемся использовать инструмент, который требует одно, а у нас оно не выполнено.
источник
20:07пожаловаться#15

SS

Sergey Salnikov in Machine learning
так частно применяются инструменты для нормального к около-нормальным, эмпирически они работают
источник
20:08пожаловаться#16

DP

Dmitry Penzar in Machine learning
Sergey Salnikov
так частно применяются инструменты для нормального к около-нормальным, эмпирически они работают
и?
источник
20:08пожаловаться#17

DP

Dmitry Penzar in Machine learning
проблема не в нормальности, а в зависимости
источник
20:08пожаловаться#18

DP

Dmitry Penzar in Machine learning
аналогия ложная, некоторые допущения легче относятся к своим нарушениям, некоторые - строже
источник
20:09пожаловаться#19

K

K-S in Machine learning
Sergey Salnikov
так частно применяются инструменты для нормального к около-нормальным, эмпирически они работают
Так там в пределе действительно аппроксимация начинает работать, а зависимые сэмплы независимыми никогда не станут
источник
20:09пожаловаться#20