Телеграмм чат группы datasciencecourse страница 4593

2021 January 05

N

Nikita in Machine learning

упс

источник

00:49пожаловаться #1

K

K-S in Machine learning

Sergey Salnikov

ну да, но всё равно, получается мы обучаем на train-test части несколько моделей, и сравниваем их на контроле - какая модель лучше. да, там скор будет отличаться от cv, но насколько оправдано сравнение моделей на одном фолде?

На самом деле отчасти вы правы, во многих соревнованиях выигрывают зачастую не модели с наилучшей обобщающей способностью, а модели просто показавшие лучшее качество на каком-то конкретном куске данных. Такая жизнь ... :/

источник

00:52пожаловаться #2

I

Ibp in Machine learning

наверное по этому соревнования и реальные задачи преследуют разные цели

источник

00:54пожаловаться #3

K

K-S in Machine learning

А чем вам соревнования — не реальные задачи?

источник

00:54пожаловаться #4

I

Ibp in Machine learning

на соревнованиях, вообще можно перебором без всяких моделей получить высокий результат, поэтому там и есть часто ограничения на количество отправляемых решений в день

источник

00:56пожаловаться #5

K

K-S in Machine learning

😂😂ну-ну)) перебором — высокий скор

источник

00:56пожаловаться #6

K

K-S in Machine learning

Нет, нельзя

источник

00:57пожаловаться #7

I

Ibp in Machine learning

ну не перебором уж прямо в лоб а используя hill climbing алгоритм

источник

00:57пожаловаться #8

K

K-S in Machine learning

Ограничение делают для того, чтобы не пробивали паблик лб

источник

00:57пожаловаться #9

K

K-S in Machine learning

Но приват ведь по прежнему скрыт

источник

00:57пожаловаться #10

K

K-S in Machine learning

А пробинг лидерборда хоть и может помочь, но не критически.

Во всех соревнованиях итоговый скор все равно подсчитывается по приватному скрытому скору. То есть пробинг по сути может помочь лишь в понимании баланса классов в тесте, например

источник

00:59пожаловаться #11

I

Ibp in Machine learning

https://machinelearningmastery.com/hill-climb-the-test-set-for-machine-learning/

Machine Learning Mastery

How to Hill Climb the Test Set for Machine Learning - Machine Learning Mastery

Hill climbing the test set is an approach to achieving good or perfect predictions on a machine learning competition without touching the training set or even developing a predictive model.

As an approach to machine learning competitions, it is rightfully frowned upon, and most competition platforms impose limitations to prevent it, which is important.

Nevertheless, hill climbing the test set is something

источник

01:01пожаловаться #12

I

Ibp in Machine learning

статья об этом

источник

01:01пожаловаться #13

I

Ibp in Machine learning

K-S

А чем вам соревнования — не реальные задачи?

ну главное отличие, что в практике главное не конкретный результат на каких то данных а модель умеющая работать на более обобщенных данных, ну то есть показывающая хор результат в динамике, что ли

источник

01:04пожаловаться #14

K

K-S in Machine learning

Ibp

ну главное отличие, что в практике главное не конкретный результат на каких то данных а модель умеющая работать на более обобщенных данных, ну то есть показывающая хор результат в динамике, что ли

да вообще не факт. В энтерпрайзе -- да, перформанс модели, как правило, не самый важный показатель. А если речь о каком-либо рисерче (на каггле таких соревнований достаточно) именно наибольшая предиктивная сила -- главная цель

источник

01:08пожаловаться #15

I

Ibp in Machine learning

ну может быть, но в целом мы не знаем же как устроители отбирали данные для финального скора, по какому принципу

источник

01:09пожаловаться #16

K

K-S in Machine learning

Ibp

https://machinelearningmastery.com/hill-climb-the-test-set-for-machine-learning/

Machine Learning Mastery

How to Hill Climb the Test Set for Machine Learning - Machine Learning Mastery

Hill climbing the test set is an approach to achieving good or perfect predictions on a machine learning competition without touching the training set or even developing a predictive model.

As an approach to machine learning competitions, it is rightfully frowned upon, and most competition platforms impose limitations to prevent it, which is important.

Nevertheless, hill climbing the test set is something

так речь о паблик лидерборде. А итоговые места распределяются исходя из скоров на приватном лб

источник

01:10пожаловаться #17

K

K-S in Machine learning

Ibp

ну может быть, но в целом мы не знаем же как устроители отбирали данные для финального скора, по какому принципу

не очень понимаю. Что вы имеете в виду под "в целом мы не знаем же как устроители отбирали данные для финального скора, по какому принципу"?

источник

01:10пожаловаться #18

I

Ibp in Machine learning

K-S

так речь о паблик лидерборде. А итоговые места распределяются исходя из скоров на приватном лб

а в чем кстати разница?

источник

01:10пожаловаться #19

I

Ibp in Machine learning

K-S

не очень понимаю. Что вы имеете в виду под "в целом мы не знаем же как устроители отбирали данные для финального скора, по какому принципу"?

данные для теста

источник

01:11пожаловаться #20