Size: a a a

Machine learning

2020 November 20

SS

Sergey Salnikov in Machine learning
как раз на картинке показано, спс
источник

SS

Sergey Salnikov in Machine learning
по идее, cb не смещенный (т.к. достаточно capacity модель), поэтому над ним можно это провернуть
источник

IK

Ivan Krokhalyov in Machine learning
K-S
собственно поэтому случайный лес и работает лучше отдельных случайных деревьев. Хотя деревья и являются между собой скоррелированными
Если грубо представить прогноз дерева как одинаково распределенные случайные величины, то

D( (X1+...+Xn)/n )=n*DX/n2=DX/n
источник

SS

Sergey Salnikov in Machine learning
в предположении взаимной независимости, иначе ещё корреляция добавляется
источник

IK

Ivan Krokhalyov in Machine learning
да, согласен, ну думаю специфичным построением деревьев корреляция там сводится к минимуму в случайном лесе
источник

IK

Ivan Krokhalyov in Machine learning
Может не ноль, но около того
источник

I

Ibp in Machine learning
но это - уменьшение дисперсии в модели можно рассматривать относительно только вроде одной этой самой модели, если сравнивать модели между собой, то вот ансамбли могут и относительно одиночной модели повышать дисперсию получается, а ошибка общая уменьшается. Поэтому в первую очередь нужно на величину ошибки смотреть, а потом если она одинаковая - сравнивать дисперсии. Так что ли выходит. Вот на нижнем рисунке, ансамбль из простых линейных моделей
источник

K

K-S in Machine learning
если вы говорите, что дисперсия увеличивается, а ошибка уменьшается, то это может быть вызвано только одним -- уменьшением смещения. Рассмотрим теперь тот же случайный лес. У решающих деревьев и без того смещение очень низкое и их ансамблирование никак на него не влияет. Расходится как-то с вашей логикой
источник

SS

Sergey Salnikov in Machine learning
по-видимому, разговор о разном ансамблировании, в RF и  GB - немного разные идеи
источник

I

Ibp in Machine learning
нет я не про то, просто ошибка у каждого алгоритма своя, скажем вот если я использую ансамбль, то и нужно смотреть про дисперсию в этом ансамдбле нельзя ее сравнивать с дисперсией в другом алгоритме, допустим простой регрессии. Или Можно только в том случае, если абсолютное значение ошибок предсказаний ну мае допустим близки или совпадают
источник

K

K-S in Machine learning
Sergey Salnikov
по-видимому, разговор о разном ансамблировании, в RF и  GB - немного разные идеи
да, но мы ведь говорим о блендинге сидов, а это по сути и есть идея из случайного леса
источник

I

Ibp in Machine learning
ну конечно да и ансамбли разные бывают
источник

SS

Sergey Salnikov in Machine learning
просто рисунок снизу - это ансамбль линейных моделей по методу GB
источник

ЕЕ

Елена Елена... in Machine learning
ошибка
источник

АШ

Алексей Шмаков... in Machine learning
Елена Елена
ошибка
В скобках t нужно писать в питоне 3
источник

АШ

Алексей Шмаков... in Machine learning
Print (t)
источник

АШ

Алексей Шмаков... in Machine learning
Елена Елена
ошибка
Кстати, там подсказка внизу. Did you mean print (t)?
источник

EA

Eliah Avvakumov in Machine learning
Извините, но почему бы не прочитать сообщение?
источник

АШ

Алексей Шмаков... in Machine learning
Eliah Avvakumov
Извините, но почему бы не прочитать сообщение?
Ого. Как агрессивно.
источник

ЕЕ

Елена Елена... in Machine learning
ее как читают?
источник