Size: a a a

AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2

2020 September 06

MC

Maxim Cheparin in AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2
Михаил
Очень интересует след. вопрос, известно что PR auc более чувствителен к дисбалансным выборкам чем ROC auc, раз в одном случае у них одинаковый recall, то как интуитивно понять что более чувствительно FPR(у roc auc) или precision(у pr auc)? Заранее спасибо
что значит "более чувствителен"? auc-pr больше подходит при дисбалансе

если правильно понял тебя, то точность и полнота не зависят от соотношения размеров классов.

а tpr, fpr зависят, см классический пример: 1000100, 100 статей по математике - хотим их выделить. плохой алгоритм, дающий правильный ответ на 95 математических и 50000 нематематических статьях, имеет tpr=0.95, fpr=0.05, что близко к идеальному алгоритму, у которого tpr=1, fpr=0.
в общем, если positive класс крайне маленький, то auc-roc, измеряя долю неверно принятых ответов относительно общего числа отрицательных, может выдавать неадекватную оценку.
источник

М

Михаил in AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2
Maxim Cheparin
что значит "более чувствителен"? auc-pr больше подходит при дисбалансе

если правильно понял тебя, то точность и полнота не зависят от соотношения размеров классов.

а tpr, fpr зависят, см классический пример: 1000100, 100 статей по математике - хотим их выделить. плохой алгоритм, дающий правильный ответ на 95 математических и 50000 нематематических статьях, имеет tpr=0.95, fpr=0.05, что близко к идеальному алгоритму, у которого tpr=1, fpr=0.
в общем, если positive класс крайне маленький, то auc-roc, измеряя долю неверно принятых ответов относительно общего числа отрицательных, может выдавать неадекватную оценку.
Спасибо за ответ, fpr вроде в примере 0.5 выходит? но в любом случае precision 0.0019, пример это хорошо, но я боюсь что без примера, интуитивно, я не смогу ответить поч pr auc лучше в дисбалансной выборке
источник

MC

Maxim Cheparin in AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2
Михаил
Спасибо за ответ, fpr вроде в примере 0.5 выходит? но в любом случае precision 0.0019, пример это хорошо, но я боюсь что без примера, интуитивно, я не смогу ответить поч pr auc лучше в дисбалансной выборке
не, в примере 50к, а не 500к, поэтому 0.05
источник

MC

Maxim Cheparin in AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2
Михаил
Спасибо за ответ, fpr вроде в примере 0.5 выходит? но в любом случае precision 0.0019, пример это хорошо, но я боюсь что без примера, интуитивно, я не смогу ответить поч pr auc лучше в дисбалансной выборке
потому что precision & recall не зависят от баланса классов, по определению, специально ввели такие понятия, чтобы все четко было
>я не смогу ответить поч pr auc лучше в дисбалансной выборке

а fpr, tpr могут, например, в примере выше
источник

N

Nursultan in AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2
А кто-нибудь пробовал проходить собеседование в toptal по ML?
источник

М

Михаил in AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2
Maxim Cheparin
потому что precision & recall не зависят от баланса классов, по определению, специально ввели такие понятия, чтобы все четко было
>я не смогу ответить поч pr auc лучше в дисбалансной выборке

а fpr, tpr могут, например, в примере выше
ок, спасибо за ответы
источник

B

Biose in AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2
Подскажите пожалуйста методологию динамического подбора порога для, например, фильтрации валидных баундинг боксов на основе того, как себя показывает сеть
источник

B

Biose in AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2
Давным давно с чем-то подобным сталкивался в работе с yolo3, но улетели уже знания, не уверен что правильно выражаю свою мысль
источник
2020 September 07

КЧ

Кирилл Чертоганов... in AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2
Ребят, как удалить полностью анаконду на windows
источник

КЧ

Кирилл Чертоганов... in AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2
8.1
источник

КЧ

Кирилл Чертоганов... in AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2
?
источник

MC

Maxim Cheparin in AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2
когда идешь в мой компьютер и сверху вкладка удалить или изменить программу - через нее не работает?
источник

MC

Maxim Cheparin in AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2
(т.е. сверху она на винде 7)
источник

A

Alexandr in AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2
Кирилл Чертоганов
Ребят, как удалить полностью анаконду на windows
Через управление программами(в панели)
источник

КЧ

Кирилл Чертоганов... in AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2
Alexandr
Через управление программами(в панели)
Ok
источник

LK

Lyubov K. in AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2
Подскажите как учесть влияние праздничных дней на временной ряд?
источник

V

Vladimir in AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2
Lyubov K.
Подскажите как учесть влияние праздничных дней на временной ряд?
Использовать коэффициент сезонности например
источник

СВ

Сергей Васильев... in AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2
Переслано от Сергей Васильев...
как у keras.models.Sequential спросить количество параметров (Total params)? Знаю есть метод summary(), но он скорее всего не подойдет, т.к, судя по документации, он ПЕЧАТАЕТ, а не возвращает значение
источник

СВ

Сергей Васильев... in AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2
Переслано от Сергей Васильев...
например сайкитовский classification_report() может вернуть строку или словарь, у которого можно по ключу спросить всё что нужно
источник

СВ

Сергей Васильев... in AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2
Переслано от Сергей Васильев...
а с параметрами хз как быть
источник