Я тоже

C7W6 ТАКСИ
Проверьте мою работу пожалуйста!!!
https://www.coursera.org/learn/data-analysis-project/peer/NHXek/oformlieniie-proiekta/review/f8BEWlkEEeu4cRI2iU2vaQ

Всем привет! Проверьте, пожалуйста, работы по идентификации интернет пользователей.

#C6W3
https://www.coursera.org/learn/data-analysis-project/peer/XyyH0/vizual-nyi-analiz-dannykh-i-postroieniie-priznakov/review/97Au4VK8Eeuz_gpjgPWinQ

#C6W5
https://www.coursera.org/learn/data-analysis-project/peer/Wdk4b/sorievnovaniie-po-idientifikatsii-pol-zovatieliei-i-sgdclassifier/review/GbLTIlQ9Eeuj2wrVIIYZWQ

#C6W7
https://www.coursera.org/learn/data-analysis-project/peer/1y5AE/otchiet-o-vypolniennom-proiektie/review/RvLcD1RQEeuj2wrVIIYZWQ

Всем привет. Объясните пожалуйста разницу между метрикой качества и функцией ошибки в задачах регрессии, классификации... Если не сложно с примерами. Мы качество измеряем в регрессии: MAE, RMSE и т.д., В логистической logloss. В задачах классификации - accuracy, precision, recall, roc-auc и т.д. Поправьте пожалуйста и объясните убогому!!!

Все так, верно. Функции ошибки, применяемые в регрессии, как раз и являются одними из метрик качества — их надо минимизировать. А в классификации принято наоборот — брать те метки качества, которые необходимо максимизировать — это как раз перечисленные доля правильных ответов, точность, полнота и площади кривых

минимизируется одна функция ошибки, для некоторых моделей требуется,, чтобы она должна быть дифферинцируемой. а метрик качества может быть несколько, в том числе и совпадать с функцией ошибки. например - задача классификации, функция ошибки - logloss, а метрики качества нужны например roc_auc, recall и precision. метрика качество - это то, ради чего, собственно, модель и строится.

Так в регрессии в качестве функции ошибки и метрики качества выступает например RMSE? То есть она решает нам и то и другое?

Функция ошибки - это то, что вы минимизируете при регрессии и максимизируете при классификации. Измеряется на обучающей выборке и в соответствии с заданными условиями подбираются параметры модели так, чтобы добиться лучшего качества.
Далее, на тестовой выборке проверяется, достигается ли то же или сопоставимое качество работы модели.
Для этого уже используются метрики качества.
Или вы о чем-то другом спрашивали?

#c1w2 ребята всем привет. Как и многие не могу решить это задачку про сходство текстов. Текст очистил, словарь сделал, проблема на стадии заполнения матрицы.  Кто может показать как правильно делать? Спасибо

Зачем максимизировать ошибку? Если её можно минимизировать?

Функция ошибки должна быть непрерывной, чтобы её можно было дифференцировать и идти к минимуму по градиенту. Но она часто не очень информативная, поэтому для определения качества модели используются метрики.

Чтобы найти минимум не обязательно дифференцировать

Никто не говорит, что обязательно. Но альтернатива - полный перебор (ну или перебор с некоторыми эвристиками) гораздо хуже.

Если очень по простому, функции потерь дифференцируемы и за счёт этого они используются при обучении, модели. То есть модель в процессе обучения рассчитывает функцию потерь и путём подбора параметров уменьшает ее значение. То есть модель как бы знает значение функции потерь и стремится его уменьшить. А вот функция качества, если она не совпадает с функцией потерь (accuracy , recall, precision, roc-auc, f1...)как бы не известна модели и на прямую модель не оптимизирует качество.

Можно сказать ещё так, что функция потерь участвует в обучении модели а функция качества нет - она только лишь даёт оценку качества модели.

Ещё один пример: в задачах классификации, если мы используем логистическую регрессию в обучении в качестве функции потерь применяется функция кросс-энтропии(logloss), а вот метрикой качества у нас может быть и roc-auc, если нам требуется предсказать вероятность принадлежности объекта к классу, а может быть f1, в случае если нам не нужна вероятность отнесения объектов к классу, но классы при этом имеют дисбаланс, а можно использовать accuracy, если классы сбалансированы.

Можно ещё сказать, что тип функции потерь как бы определяется выбором модели, а метрика по которой оценивается качество модели определяется некой логикой. И как выше говорили, одну и туже модель можно оценивать разными метриками.

Целочисленное программирование имеет множество средств решения разных забач

Да, а параметры модели чаще всего с плавающей точкой

Если нужно предсказать сколько телевизора купят и прогноз будет 2.3454 телика это странно

видел кто табличные данные по числу пользователей/еще какой инфе у  порнхаб, ну или где напарсить можно. в инсайтах у них ток графики.

Здравствуйте.
Я уже не помню, в чем заключается задание.
Вы можете написать, что за матрицу надо собрать и какие данные имеются?
Кстати, в курсе на степике есть задачи, которые помогают решить эту задачу.

https://stepik.org/course/Практикум-по-математике-и-Python-3356/
Вот тут