на курсере в его курсе "теорвер для начинающих" есть видео семинаров, но там разбор задач, которые самому не решить, это скорее лекция по практике

В градиентном бустинге на каждой новой итерации предсказываются значения антиградиента, оптимизируемой нами функции. В случае использования квадратичного лосса в задаче регрессии производная у нас как раз и будет равняться привычному нами остатку (домноженному на -2 только). В случае же, например, решения задачи бинарной классификации мы уже будем приближать антиградиент логлосса на каждой итерации.

Потому собственно бустинг и градиентный

b(n+1) улучшает не b(n), а a(n) = sum w b(n)

b - забовый алгоритм, a - наше решение, оно строится как сумма (с весами) базовых алгоритом. каждый следующий базовый алгоритм улучшает не предыдущий базовый алгоритм, а всё наше решение (сумма всех предыдущих базовых)

А, понял, спасибо
А зачем тогда градиентный спуск?
Обучали бы деревья/регрессии на разности между правильным ответом и суммой прогнозов предыдущих алгоритмов....?

по видимому для оптимизации обучения: чтобы не случайным образом подбирались веса, а в заданном направлении. ибо каждый градиент имеет направление

Так..а что все таки оптимизирует градиентный спуск в градиентом бустинге?
Веса при алгоритмах, параметры в самих алгоритмах?

То есть мы получается новый алгоритм всегда обучаем на разности между правильным ответом и ошибкой предыдущего алгоритма, но только за один шаг градиентного спуска?