Size: a a a

Machine learning

2021 January 18

K

K-S in Machine learning
Демагогия 100 уровня
источник

RN

Roman Nm in Machine learning
igor
Если нужно предсказать сколько телевизора купят и прогноз будет 2.3454 телика это странно
Вы вообще какой тезис отстаиваете?
источник

DP

Dmitry Penzar in Machine learning
K-S
Демагогия 100 уровня
я вообще не понимаю, о чем спор. В начале человек спутал метрику качества и функцию ошибки. Начался какой-то адцкий сюр далее. Рассуждения об оптимизации и тд;
источник

SB

Semyon Bezyazichnyi in Machine learning
киньте, пожалуйста, файл stochastic_variables.ipynb
источник

SB

Semyon Bezyazichnyi in Machine learning
у меня он открывается как текстовый
источник

А

Артем in Machine learning
Semyon Bezyazichnyi
у меня он открывается как текстовый
В каком смысле как текстовый? Открывайте через Jupiter и смените расширение и всё будет хорошо
источник

SB

Semyon Bezyazichnyi in Machine learning
скачивается как текстовый
источник

AR

Anton Rogozin in Machine learning
Semyon Bezyazichnyi
скачивается как текстовый
читаем закреп
источник

А

Артем in Machine learning
Semyon Bezyazichnyi
скачивается как текстовый
Измените расширение у файла после скачивания
источник

SB

Semyon Bezyazichnyi in Machine learning
понял, большое спасибо
источник

i

igor in Machine learning
Roman Nm
Вы вообще какой тезис отстаиваете?
Не бросаться тезисами
источник

RN

Roman Nm in Machine learning
igor
Не бросаться тезисами
Ну не бросайтесь
источник

ЕО

Егор Овчинников... in Machine learning
Tim
Все так, верно. Функции ошибки, применяемые в регрессии, как раз и являются одними из метрик качества — их надо минимизировать. А в классификации принято наоборот — брать те метки качества, которые необходимо максимизировать — это как раз перечисленные доля правильных ответов, точность, полнота и площади кривых
Спасибо
источник

ЕО

Егор Овчинников... in Machine learning
Sergey Salnikov
минимизируется одна функция ошибки, для некоторых моделей требуется,, чтобы она должна быть дифферинцируемой. а метрик качества может быть несколько, в том числе и совпадать с функцией ошибки. например - задача классификации, функция ошибки - logloss, а метрики качества нужны например roc_auc, recall и precision. метрика качество - это то, ради чего, собственно, модель и строится.
Спасибо
источник

ЕО

Егор Овчинников... in Machine learning
Svetlana Astafyeva
Функция ошибки - это то, что вы минимизируете при регрессии и максимизируете при классификации. Измеряется на обучающей выборке и в соответствии с заданными условиями подбираются параметры модели так, чтобы добиться лучшего качества.
Далее, на тестовой выборке проверяется, достигается ли то же или сопоставимое качество работы модели.
Для этого уже используются метрики качества.
Или вы о чем-то другом спрашивали?
Спасибо
источник

ЕО

Егор Овчинников... in Machine learning
Alexander Petrenko
Если очень по простому, функции потерь дифференцируемы и за счёт этого они используются при обучении, модели. То есть модель в процессе обучения рассчитывает функцию потерь и путём подбора параметров уменьшает ее значение. То есть модель как бы знает значение функции потерь и стремится его уменьшить. А вот функция качества, если она не совпадает с функцией потерь (accuracy , recall, precision, roc-auc, f1...)как бы не известна модели и на прямую модель не оптимизирует качество.

Можно сказать ещё так, что функция потерь участвует в обучении модели а функция качества нет - она только лишь даёт оценку качества модели.

Ещё один пример: в задачах классификации, если мы используем логистическую регрессию в обучении в качестве функции потерь применяется функция кросс-энтропии(logloss), а вот метрикой качества у нас может быть и roc-auc, если нам требуется предсказать вероятность принадлежности объекта к классу, а может быть f1, в случае если нам не нужна вероятность отнесения объектов к классу, но классы при этом имеют дисбаланс, а можно использовать accuracy, если классы сбалансированы.

Можно ещё сказать, что тип функции потерь как бы определяется выбором модели, а метрика по которой оценивается качество модели определяется некой логикой. И как выше говорили, одну и туже модель можно оценивать разными метриками.
Спасибо!
источник

ЕО

Егор Овчинников... in Machine learning
Всем, огромное спасибо за ответы!
источник

ЕО

Егор Овчинников... in Machine learning
Еще один "глупый" вопрос... В большинстве случаев в источниках указывается в регуляризации RSS, но вчера пару раз наткнулся на "функция потерь + регуляризационный параметр". Вопрос: при регуляризации используется выбранная нами функция потерь, а не RSS всегда и везде?
источник

K

K-S in Machine learning
Егор Овчинников
Еще один "глупый" вопрос... В большинстве случаев в источниках указывается в регуляризации RSS, но вчера пару раз наткнулся на "функция потерь + регуляризационный параметр". Вопрос: при регуляризации используется выбранная нами функция потерь, а не RSS всегда и везде?
RSS (т.е. Residual sum of squares) — это и есть ваш MSE, только без усреднения
источник

ЕО

Егор Овчинников... in Machine learning
Я понимаю.)
источник