K
Size: a a a
2021 January 12
K
отличный курс, да
только я тут при чем? 😂
DP
промахнулся
DP
Alexey
ага, меня заинтересовало - почему большие.. и что такое большие..
АГ
Артём Глазунов
Тут он объясняет в матрично виде, борьба с вырожденностью матрицы, т.е. грубо более устойчивое решение
A
отличный курс, да
я его посмотрел и тоже не понял, почему коэфф растут. тут - https://www.coursera.org/learn/ekonometrika/lecture/1dtYm/4-1-3-ridzh-i-lasso-rieghriessiia - он начинает с того, что коэфф большие и давайте штрафовать за "слишком большие - далекие от нуля"
DP
Артём Глазунов
Ещё раз)
переправил
DP
это я полез смотреть вашу ссылку
DP
ну там все сказано, да
АГ
Alexey
я его посмотрел и тоже не понял, почему коэфф растут. тут - https://www.coursera.org/learn/ekonometrika/lecture/1dtYm/4-1-3-ridzh-i-lasso-rieghriessiia - он начинает с того, что коэфф большие и давайте штрафовать за "слишком большие - далекие от нуля"
Тут смысл не в росте коэффициентов, а в неустойчивом решении с большой дисперсией, КОТОРОЕ МОЖЕТ вызывать большие по модулю значения. Посмотрите лекцию Соколова, там через матрицы понятно вполне
K
Alexey
я его посмотрел и тоже не понял, почему коэфф растут. тут - https://www.coursera.org/learn/ekonometrika/lecture/1dtYm/4-1-3-ridzh-i-lasso-rieghriessiia - он начинает с того, что коэфф большие и давайте штрафовать за "слишком большие - далекие от нуля"
так он по сути и предлагает бороться с последствиями мультиколлинеарности (большой дисперсией оценок). А давайте-ка мы прижмем наши оценки поближе к нулю - так и заборем в какой-то мере
АГ
На пальцах вроде с симптомом боремся, а вот через матрицы видно, что в реальности боремся именно с тем, чем надо
i
Артём Глазунов
На пальцах вроде с симптомом боремся, а вот через матрицы видно, что в реальности боремся именно с тем, чем надо
это снижает VC размерность и получается лучше. А чтобы побороть мультиколинеарност достаточно отбелить данные и ее просто не будет.
DP
регуляризация помогает не переобучаться, ибо большие веса обычно - признак переобучения.
Что она убирает мультиколлинеарность, кажется все же побочный вин.
Что она убирает мультиколлинеарность, кажется все же побочный вин.
DP
Но надо поглядеть. Но слова автора про то, что коллинеарность приводит к бОльшим значениям коэффициентов - спорные
DP
это снижает VC размерность и получается лучше. А чтобы побороть мультиколинеарност достаточно отбелить данные и ее просто не будет.
если придираться, что эффективную VC-размерность. Обычную она не трогает
A
ибо большие веса обычно - признак переобучения: возникает тот же вопрос - почему? и что такое большие...
SS
коллинеарность приводит к неустойчивым решениям, что может вылиться к большим коэфам
АГ
Alexey
ибо большие веса обычно - признак переобучения: возникает тот же вопрос - почему? и что такое большие...
Это чтобы на пальцах объяснить, почему штраф вводим на них просто.