АГ
Хорошо бы взять cv на 30 фолдов и проверять стат значимость отличий средних метрик критериями, но это затратно...
Size: a a a
2020 July 04
АГ
При этом надо понимать, что значит заметно лучше... Там доверительный интервал ведь качества, случайность...
АГ
Параметры при доводке можно подбирать по грид серч, но желательно ознакомиться со всеми результатами, как я уже писал. Среднее легко настраивается на выбросы, как было подмечено...
AO
можно не одно на 5 фолдах, а 10 разбений по 5 фолдов - о с разным рандом стейт)
и на каждом фолде сравнивать два алгоритма с разными параметрами
и на каждом фолде сравнивать два алгоритма с разными параметрами
АГ
можно не одно на 5 фолдах, а 10 разбений по 5 фолдов - о с разным рандом стейт)
и на каждом фолде сравнивать два алгоритма с разными параметрами
и на каждом фолде сравнивать два алгоритма с разными параметрами
Можно, но это затратно, к сожалению
SS
можно и с одним рандом-стейтом, Repeated(Stratified)KFold же есть
AO
Артём Глазунов
Можно, но это затратно, к сожалению
это так) но грид серч так же делает. полным перебором
AO
не?
AG
Alina Golkina
Может я не так объяснила: Вот я получила best параметры гридсерчем, потом на этих параметрах обучила модель, на тесте получила определенное качество...потом на этом же train/test при других параметрах полусила качество намного лучше. .или так нельзя проверить...
делайте вложенную проверку
AO
Sergey Salnikov
можно и с одним рандом-стейтом, Repeated(Stratified)KFold же есть
я не знал) я руками через for )
SS
если нужно сравнивать алгоритмы, то надо хорошая точность, низкая дисперсия, поэтмоу n_splits и n_repeats не жалеем
SS
рано или поздно всё приходится переписывать руками, т.к. попадаются нестандартные естиматоры без нормального sklearn враппера
SS
на некоторых алроритмах даже порядок полей менят качество, поэтому feature selection - тоже в арсенале
AO
Sergey Salnikov
на некоторых алроритмах даже порядок полей менят качество, поэтому feature selection - тоже в арсенале
поясните, плиз. не понял это
SS
единственная сложность - для "ручного" cv надо писать хороший распараллеливающий код
SS
например ffmlib и vopal wabbit работают через файлы, нужно сначала конвертировать dataframe во внеший файл, потому вызывать внешнюю программу с этим файлом
SS
да, есть sklearn-обертка для vw, но она жутко тормозит
АГ
В конце концов, при автоматическом подборе по cv все сводится к большему числу оценок и более точно посчитанным статистикам... Но не всегда это вычислительно возможно, к сожалению... Поэтому считаю простым грид серч и смотрю на все значения на всех фолдах, после чего делаю выводы...
АГ
Можно, конечно, байесовские оптимизации использовать, там меньше оценок должно быть, но их не пробовал пока
AG
Спасибо ребят! Мне еще ооочень много изучать и изучать)))