В рейтинге участвует:

групп:

каналов:

Виртуальный сервер на SSD - недорого!

Аренда выделенных и виртуальных серверов (VDS/VPS), хостинг, аренда IP-адресов, администрирование, круглосуточная поддержка

qwarta.ru подробнее

Резервное копирование с проверкой на вирусы!!!

Удобный сервис создания резервных копий на любой сервер сети интернет. Отслеживайте изменения, проверяйте на вирусы. Надежно защитите свой бизнес!

go.backupland.com

Выбираете сервер? Любая конфигурация на заказ!

Аренда физических серверов любых конфигураций под любые запросы - 1С бухгалтерия, игровые сервера, нагруженные проекты, интернет-магазины!

qwarta.ru подробнее

Size: a a a

Machine learning

7660 membersпожаловаться на группу
2021 January 12

SA

Svetlana Astafyeva in Machine learning
Sergey Djuja
В задании:
Линейная регрессия и стохастический градиентный спуск

Предлагают:

Отмасштабируйте столбцы матрицы X, вычтя из каждого значения среднее по соответствующему столбцу и поделив результат на стандартное отклонение

Зачем нам предлагают это сделать?
Это чем-то поможет сделать стохастический градиентный спуск??
C2-W3.Prakticheskie_rekomendacii_po_linejnym_modelyam.pdf
(3.61 Мб)
источник
21:22пожаловаться#1

SA

Svetlana Astafyeva in Machine learning
Там прямо в самом начале файла объясняется, зачем надо масштабировать признаки
источник
21:23пожаловаться#2

ИБ

Илья Биро in Machine learning
Плюс это выравнивает значимость признаков в модели, условно линейная модель в одном случае она будет сравнивать величины в диапазоне -0.1 до +0.5 с величинами от 5000 до 10000. Интуитивно понятно становится что первая величина будет крайне мало влиять на функционал ошибки, хотя она может быть довольно важной.
Масштабирование приводит к балансу между влиянием признаков
источник
21:23пожаловаться#3

i

igor in Machine learning
Alexey
Я правильно понимаю, что регуляризация нужна для уменьшения дисперсии оценок, поэтому большие значения регрессоров это плохо? но странно все равно - большие значения == высокая дисперсия?
Вряд ли
источник
21:24пожаловаться#4

ИБ

Илья Биро in Machine learning
Она конечно может выровнять значимость весами, но лучше провести эту процедуру предварительно, чтобы облегчить жизнь и себе и минимизатору:)
источник
21:24пожаловаться#5

A

Alexey in Machine learning
Артём Глазунов
Не регрессоры растут, а коэффициенты, веса w
да, веса конечно. просто - почему растут
источник
21:25пожаловаться#6

АГ

Артём Глазунов... in Machine learning
Илья Биро
Плюс это выравнивает значимость признаков в модели, условно линейная модель в одном случае она будет сравнивать величины в диапазоне -0.1 до +0.5 с величинами от 5000 до 10000. Интуитивно понятно становится что первая величина будет крайне мало влиять на функционал ошибки, хотя она может быть довольно важной.
Масштабирование приводит к балансу между влиянием признаков
В линейных моделях веса будут балансировать, но градиентный спуск просто будет давать большие градиенты в разных направлениях, сходиться не будет. А вот в метрических, кнн, к примеру, там да, важно одинаковое влияние признаков на расстояние.
источник
21:25пожаловаться#7

A

Alexey in Machine learning
почему не падают к нулю например...
источник
21:25пожаловаться#8

DP

Dmitry Penzar in Machine learning
Alexey
да, веса конечно. просто - почему растут
не веса растут, а ошибки
источник
21:25пожаловаться#9

DP

Dmitry Penzar in Machine learning
их оценок
источник
21:26пожаловаться#10

A

Alexey in Machine learning
но штрафуем мы за высокие веса
источник
21:26пожаловаться#11

АГ

Артём Глазунов... in Machine learning
Dmitry Penzar
их оценок
Да, именно оценки
источник
21:26пожаловаться#12

DP

Dmitry Penzar in Machine learning
так вы о чем вообще? если вы про мультиколлинеарность, то у вас обычный МНК будет давать оценки параметров с бОльшей ошибкой
источник
21:27пожаловаться#13

ИБ

Илья Биро in Machine learning
На деле все числа выше 10^3 это довольно плохой знак для вычислений, хотя бы с точи зрения оптимального расхода ресурсов при вычислении
источник
21:27пожаловаться#14

A

Alexey in Machine learning
Илья Биро
Плюс это выравнивает значимость признаков в модели, условно линейная модель в одном случае она будет сравнивать величины в диапазоне -0.1 до +0.5 с величинами от 5000 до 10000. Интуитивно понятно становится что первая величина будет крайне мало влиять на функционал ошибки, хотя она может быть довольно важной.
Масштабирование приводит к балансу между влиянием признаков
да, логично - лучше чтобы разброса в коэфф не было, но в л1 регуляризация это сумма может быть и 500+500 = 1 +999
источник
21:27пожаловаться#15

ИБ

Илья Биро in Machine learning
С точки зрения минимизации там выходит не самая благоприятная ситуация
источник
21:28пожаловаться#16

K

K-S in Machine learning
регуляризация и масштабирование признаков - это разные вещи. О чем вообще речь?
источник
21:29пожаловаться#17

SD

Sergey Djuja in Machine learning
Svetlana Astafyeva
C2-W3.Prakticheskie_rekomendacii_po_linejnym_modelyam.pdf
(3.61 Мб)
это третья неделя, а я сейчас делаю первую )
в задании просто сказано - масштабируйте )
но спасибо, сейчас разберусь )
источник
21:29пожаловаться#18

DP

Dmitry Penzar in Machine learning
K-S
регуляризация и масштабирование признаков - это разные вещи. О чем вообще речь?
и еще зачем-то добавлена коллинеарность)
источник
21:29пожаловаться#19

A

Alexey in Machine learning
о регуляризации... и коэфф регрессии - при нестрогой мультиколл они растут, почему?
источник
21:29пожаловаться#20