Телеграмм чат группы datasciencecourse страница 4588

Dmitry Penzar

ну вот я не уверен

Почему же? Среднее ни о чем говорит от слова совсем. А так хоть стд по фолдам доп информацию даёт о стабильности

20:16пожаловаться #1

Dmitry Penzar in Machine learning

так и дайте ее ввиде mean+-std

20:17пожаловаться #2

K-S

Это не правда

20:17пожаловаться #3

Среднее говорит

20:17пожаловаться #4

igor

Среднее говорит

Что-то говорит, конечно, но информативность низкая. Особенно чем меньше размер выборки, тем меньше информативность

https://arxiv.org/pdf/1811.12808.pdf

20:18пожаловаться #5

Sergey Salnikov in Machine learning

20:19пожаловаться #6

Среднее это достаточная статистика

20:19пожаловаться #7

На выборке из ста сэмплов у вас тот же рок аук может скакать от 0.8 до 0.5 по фолдам

20:19пожаловаться #8

И среднее в 0.65 ни о чем не скажет

20:19пожаловаться #9

Sergey Salnikov in Machine learning

Dietterich’s 5x2-Fold Cross-Validated Paired t-Test

20:19пожаловаться #10

Во вторых для распределения пуассон это ещё и разброс

20:19пожаловаться #11

K-S

И среднее в 0.65 ни о чем не скажет

Есть ещё неравенство маркова для среднего

20:20пожаловаться #12

Всему свое место

20:20пожаловаться #13

А причём тут распределение дискретной сл.в ?

20:20пожаловаться #14

Мы ж говорим о среднем в контексте оценки качества модели

20:20пожаловаться #15

Pavel Savin in Machine learning

igor

Есть ещё неравенство маркова для среднего

Боюсь, там априорное среднее используется

20:21пожаловаться #16

Sergey Salnikov in Machine learning

среднее не всегда интерпретируемо, если сравниваются time series, то скоры на разных time-фолдах совсем разные

20:22пожаловаться #17

Sergey Salnikov in Machine learning

их нужно сравнивать непараметрическими

Approximate Statistical Tests for Comparing Supervised Classification Learning Algorithms - MIT Press Journals & Magazine

20:22пожаловаться #18

Sergey Salnikov in Machine learning

во, нашёл Dietterich 5x2: https://ieeexplore.ieee.org/document/6790639

ieeexplore.ieee.org

IEEE Xplore, delivering full text access to the world's highest quality technical literature in engineering and technology. | IEEE Xplore

Statistical Significance Tests for Comparing Machine Learning Algorithms - Machine Learning Mastery

20:24пожаловаться #19

Sergey Salnikov in Machine learning

вот тоже на эту тему: https://machinelearningmastery.com/statistical-significance-tests-for-comparing-machine-learning-algorithms/

Machine Learning Mastery

Comparing machine learning methods and selecting a final model is a common operation in applied machine learning.

Models are commonly evaluated using resampling methods like k-fold cross-validation from which mean skill scores are calculated and compared directly. Although simple, this approach can be misleading as it is hard to know whether the difference between mean skill scores is real or the