Size: a a a

Machine learning

2020 July 04

IB

Ilya Brodskiy in Machine learning
K-S
В градиентном бустинге мы совершаем градиентный спуск в пространстве базовых алгоритмов. Добавление каждого нового базового алгоритма — это эдакое обновление нашей общей композиции алгоритмов. Каждый базовый алгоритм при этом на каждой итерации приближает вектор антиградиента.
Я не очень алгоритм понимаю, у нас получается 2 типа неизвестных параметров:
Веса алгоритмов и параметры самих алгоритмов
Как настраивается одно и как настраивается другое и в каком порядке?))
источник

K

K-S in Machine learning
Ilya Brodskiy
Я не очень алгоритм понимаю, у нас получается 2 типа неизвестных параметров:
Веса алгоритмов и параметры самих алгоритмов
Как настраивается одно и как настраивается другое и в каком порядке?))
Я ваш ход мыслей вообще не уловил. У нас есть наш вектор антиградиента в некоторой точке (этот вектор в град бустинге ещё называют вектором смещений/остатков (в регрессии)/псевдоостатков) и мы обучаем обычное регрессионное дерево для предсказывания этого вектора. Само регрессионное дерево строится по тем же принципам что и всегда: ищем точки расщепления с максимальным уменьшением среднеквадратичной ошибки
источник

IB

Ilya Brodskiy in Machine learning
K-S
Я ваш ход мыслей вообще не уловил. У нас есть наш вектор антиградиента в некоторой точке (этот вектор в град бустинге ещё называют вектором смещений/остатков (в регрессии)/псевдоостатков) и мы обучаем обычное регрессионное дерево для предсказывания этого вектора. Само регрессионное дерево строится по тем же принципам что и всегда: ищем точки расщепления с максимальным уменьшением среднеквадратичной ошибки
Я этого и понять не могу
Зачем нам вектор остатков считать градиентным спуском, если остаток это разность целевой переменной и суммы прогнозов других алгоритмов??
источник

K

K-S in Machine learning
Ilya Brodskiy
Я этого и понять не могу
Зачем нам вектор остатков считать градиентным спуском, если остаток это разность целевой переменной и суммы прогнозов других алгоритмов??
Что вы имеете в виду под «вектор остатков считать градиентным спуском»?

Вы имеете в виду, почему остатки — это градиент?
источник

MU

Mariia Udalova in Machine learning
Ребята, если у кого есть немного времени, проверьте, пожалуйста https://www.coursera.org/learn/mathematics-and-python/home/welcome C1W1
источник

.

.... in Machine learning
Ссылка неправильная
источник

AG

Alina Golkina in Machine learning
Добрый вечер! Подскажите, плиз, у меня поиск по сетке GridSearchCV подобрал оптимальные параметры, получила определенное качество модели, random_state , seed указала,  но при этом вручную меняя параметры, получаю качество лучше, чем выдал оптимайзер....может такое быть или у меня уже к вечеру в голове каша((
источник

MU

Mariia Udalova in Machine learning
источник

IB

Ilya Brodskiy in Machine learning
K-S
Что вы имеете в виду под «вектор остатков считать градиентным спуском»?

Вы имеете в виду, почему остатки — это градиент?
Ну как я понял, таргеты для обучения алгоритмов вычисляются градиентным спуском?
источник

K

K-S in Machine learning
Ilya Brodskiy
Ну как я понял, таргеты для обучения алгоритмов вычисляются градиентным спуском?
Таргеты — это производные со знаком минус
источник

O

Osmu in Machine learning
математика явно нужна
источник

AO

Alex Ololo in Machine learning
Вычисляются веса
источник

K

K-S in Machine learning
Формулировка «таргеты вычисляется градиентным спуском» — явная мешанина. Таргеты — это антиградиенты. В случае с регрессией они равны остатку (домноженному на -2), но это просто частный случай. Возьмите производную от (y-y_hat)^2 по y_hat, где y_hat — это прогноз нашей композиции
источник

АГ

Артём Глазунов... in Machine learning
Alina Golkina
Добрый вечер! Подскажите, плиз, у меня поиск по сетке GridSearchCV подобрал оптимальные параметры, получила определенное качество модели, random_state , seed указала,  но при этом вручную меняя параметры, получаю качество лучше, чем выдал оптимайзер....может такое быть или у меня уже к вечеру в голове каша((
Надо понимать, что среднее качество на кросс-валидации, качество на холд аут датасете и на тесте могут быть совершенно различными. На кросс валидации должно быть меньше, чем на холд аут, потому что обучающая выборка меньше была.
источник

AG

Alina Golkina in Machine learning
Артём Глазунов
Надо понимать, что среднее качество на кросс-валидации, качество на холд аут датасете и на тесте могут быть совершенно различными. На кросс валидации должно быть меньше, чем на холд аут, потому что обучающая выборка меньше была.
Я без кроссвалид проверяю , обучаю на том же трейне и тот же тест.
источник

АГ

Артём Глазунов... in Machine learning
Alina Golkina
Я без кроссвалид проверяю , обучаю на том же трейне и тот же тест.
GridSearchCV без кросс-валидации, или что имеется в виду?
источник

AO

Alex Ololo in Machine learning
Alina Golkina
Добрый вечер! Подскажите, плиз, у меня поиск по сетке GridSearchCV подобрал оптимальные параметры, получила определенное качество модели, random_state , seed указала,  но при этом вручную меняя параметры, получаю качество лучше, чем выдал оптимайзер....может такое быть или у меня уже к вечеру в голове каша((
грид серч. такая себе тема. можем запросто поимать пик случайно и модель переобучится ( это как при тестировании не делать поправку на множественность)
потому лушче при валидации смотреть на на изменение метрики каким нить тестом (например тестом стьюдента)
источник

AG

Alina Golkina in Machine learning
Артём Глазунов
GridSearchCV без кросс-валидации, или что имеется в виду?
Я же оптимайзер обучаю на train, считаю качество на test, тоже самое делаю без оптимайзера
источник

AG

Artyom Gruzdev in Machine learning
Ilya Brodskiy
Ну как я понял, таргеты для обучения алгоритмов вычисляются градиентным спуском?
источник

AG

Alina Golkina in Machine learning
Alina Golkina
Я же оптимайзер обучаю на train, считаю качество на test, тоже самое делаю без оптимайзера
Нереально долго считает, поэтому я уже частями подбираю и вручную.🤦‍♀не кидайте тапками
источник