В рейтинге участвует:

групп:

каналов:

Виртуальный сервер на SSD - недорого!

Аренда выделенных и виртуальных серверов (VDS/VPS), хостинг, аренда IP-адресов, администрирование, круглосуточная поддержка

qwarta.ru подробнее

Резервное копирование с проверкой на вирусы!!!

Удобный сервис создания резервных копий на любой сервер сети интернет. Отслеживайте изменения, проверяйте на вирусы. Надежно защитите свой бизнес!

go.backupland.com

Выбираете сервер? Любая конфигурация на заказ!

Аренда физических серверов любых конфигураций под любые запросы - 1С бухгалтерия, игровые сервера, нагруженные проекты, интернет-магазины!

qwarta.ru подробнее

Size: a a a

Machine learning

7630 membersпожаловаться на группу
2021 January 03

i

igor in Machine learning
K-S
Оцените две модели, которые вы хотите сравнить между собой, на кросс-валидации. И потом сравните т-тестом для зависимых наблюдений (так как кол-во фолдов скорее всего будет небольшим (5-7), то ещё в начале проверьте полученные по cv скоры на нормальность. Например, тестом Шапиро-Уилка)
А если нет нормальности то что?
источник
15:49пожаловаться#1

K

K-S in Machine learning
igor
А если нет нормальности то что?
Если  всего 4200 наблюдений как у топик стартера и в качестве модели используется логрег, то тут довольно быстро и легко можно провести кросс-валидацию не на 5-7 фолдов, а на значительно бОльшее количество.
источник
15:52пожаловаться#2

i

igor in Machine learning
Да но модели зависимы будут и не важно сколько
источник
15:54пожаловаться#3

K

K-S in Machine learning
Я к тому, что требование нормальности для т-теста с большим размером выборки уже будет неактуальным
источник
15:56пожаловаться#4

i

igor in Machine learning
Для ти теста есть ещё требования например iid?
источник
17:03пожаловаться#5

i

igor in Machine learning
А тут оно не выполняется
источник
17:08пожаловаться#6

i

igor in Machine learning
Особенно для многих фолдов
источник
17:08пожаловаться#7

DP

Dmitry Penzar in Machine learning
можно бутстрэпные конфиденс интервалы посмотреть
источник
17:08пожаловаться#8

DP

Dmitry Penzar in Machine learning
А любой тест предполагающий независимость будет нехорош, да
источник
17:09пожаловаться#9

K

K-S in Machine learning
igor
Для ти теста есть ещё требования например iid?
Это можно во многом решить посредством RepeatedKFold. Бьем условно нашу выборку n раз на 5 фолдов.
источник
17:13пожаловаться#10

K

K-S in Machine learning
Каждое новое разбиение из n — случайно и независимо
источник
17:13пожаловаться#11

DP

Dmitry Penzar in Machine learning
Это не совсем так, выборка то разбиваемая та же.
источник
17:14пожаловаться#12

K

K-S in Machine learning
Dmitry Penzar
Это не совсем так, выборка то разбиваемая та же.
Так а t тест для связанных выборок

https://docs.scipy.org/doc/scipy/reference/generated/scipy.stats.ttest_rel.html

В чем проблема?
источник
17:16пожаловаться#13

DP

Dmitry Penzar in Machine learning
У вас предположение ттеста, что наблюдения независимы
источник
17:16пожаловаться#14

DP

Dmitry Penzar in Machine learning
В связном ттесте - что пары xi,yi независимы
источник
17:17пожаловаться#15

DP

Dmitry Penzar in Machine learning
Или разницы, как удобнее думать
источник
17:17пожаловаться#16

DM

Dmitrii Mikhailov in Machine learning
Добрый вечер! Проверьте, пожалуйста C5W1 https://www.coursera.org/learn/data-analysis-applications/peer/6WeUy/proghnozirovaniie-urovnia-sriedniei-zarabotnoi-platy-v-rossii/review/6iEbFE3LEeuv6gq_GPYHCQ
Coursera
Coursera | Online Courses & Credentials From Top Educators. Join for Free | Coursera
Learn online and earn valuable credentials from top universities like Yale, Michigan, Stanford, and leading companies like Google and IBM. Join Coursera for free and transform your career with degrees, certificates, Specializations, & MOOCs in data science, computer science, business, and dozens of other topics.
источник
17:22пожаловаться#17

K

K-S in Machine learning
Dmitry Penzar
Это не совсем так, выборка то разбиваемая та же.
Да, формально так.
источник
17:24пожаловаться#18

K

K-S in Machine learning
В смысле вы правы
источник
17:26пожаловаться#19

DP

Dmitry Penzar in Machine learning
Для рокаук кстати есть быстрый способ подсчета бутстрэп ci, там не надо модель перестраивать.
источник
17:26пожаловаться#20