K
Корелированных? Давайте вспомним формулу дисперсию суммы
Собственно чтоб самому не расписывать вот https://habr.com/ru/company/ods/blog/324402/
Size: a a a
2020 November 20
K
собственно поэтому случайный лес и работает лучше отдельных случайных деревьев. Хотя деревья и являются между собой скоррелированными
i
Случайный лес? Речь о случайном сиде. Случайный сид это не случайный лес
K
так здесь суть та же. Только усредняем не скоррелированные деревья, а скоррелированные нейросетки, допустим
i
Нет не та же
K
и в чем различие же?)
i
Усредеям и получаем большую дисперсию. Вот в этом разница
K
... перечитайте про bias variance tradeoff выше тогда
K
представьте, что это случайный лес из нейросеток
K
базовый алгоритм сути не меняет
I
такое впечатление что вы о разных дисперсиях тут беседуете Ж)
SS
каждый скор обсчета на каком-то сиде - это случайная величина, как показывает практика - примерно нормально распределённая, поэтому после n запусков получаем выборочную дисперсию в n раз меньше
K
по факту, конечно, не в n раз, поскольку сетки скоррелированные между собой получаются. Но все равно дисперсия уменьшается
I
высокая дисперсия - это другими словами - переобучение, а высокое смещение - получается - недообучение
K
обычно, конечно, алгоритмы, обученные на разных сидах, получаются чересчур скоррелированными. Поэтому ясное дело их усреднение никакого профита не приносит (но и не ухудшает качество, ясное дело). Но в данной сореве, сетки, по всей видимости, попадают в достаточно разные локальные минимумы при разной инициализации -- поэтому тут это и работает
SS
на логреге не пробовал усреднять по сидам?
I
получается если добавляете в модель случайность вызванную чем то : данными или каким то вероятностным способом влияющим на алгоритм, что делает сид, то вы уменьшаете переобучение, то есть уменьшаете дисперсию, вроде так
K
Sergey Salnikov
на логреге не пробовал усреднять по сидам?
нет, но там это не должно особо работать. У линейных моделек самих по себе дисперсия небольшая
SS
а, ну да, и биас большой, tradeof
K
угу