Size: a a a

2020 September 23

R

Renarde in Data Engineers
Dmitry Zuev
как посчитать эффект от новой модели которой еще нет на тестовой и контрольной группе?
до применения модели рассекаем базу 90-10, так чтобы по ARPU и lifetime (например) группы были близки. Принимая в учет реальность, тут должен быть какой-нибудь хороший непараметрический тест.
дальше применяем модель на 90 (или на 10?), и считаем uplift по метрикам - и voila
источник

DZ

Dmitry Zuev in Data Engineers
Renarde
до применения модели рассекаем базу 90-10, так чтобы по ARPU и lifetime (например) группы были близки. Принимая в учет реальность, тут должен быть какой-нибудь хороший непараметрический тест.
дальше применяем модель на 90 (или на 10?), и считаем uplift по метрикам - и voila
нет модели, что применять то?
источник

AZ

Anton Zadorozhniy in Data Engineers
Как интересно веб реклама работает, или какие нибудь predictive maintenance кейсы
источник

K

KrivdaTheTriewe in Data Engineers
Anton Zadorozhniy
У меня в питче AnalyticOps есть такой слайд прям, правда там не про число фич а про стоимость обучения модели, но месседж тот же)
Где вы вы планируете выступать ?
источник

DZ

Dmitry Zuev in Data Engineers
Anton Zadorozhniy
Как интересно веб реклама работает, или какие нибудь predictive maintenance кейсы
так и работает. Но это не значит что оно прям сильно хорошо
источник

DZ

Dmitry Zuev in Data Engineers
В слайдах на конфах у всех все красиво
источник

R

Renarde in Data Engineers
Dmitry Zuev
нет модели, что применять то?
ну сначала ее надо построить, очевидно что первая пристрелка не требует 10к фичей в проде. Откуда бюджеты - ну есть же у вас R&D расходы, без них ML только на личном энтузиазме делается
источник

AZ

Anton Zadorozhniy in Data Engineers
Dmitry Zuev
В слайдах на конфах у всех все красиво
Я вас понял, «все врут и власти скрывают»
источник

AZ

Anton Zadorozhniy in Data Engineers
Ну норм
источник

K

KrivdaTheTriewe in Data Engineers
Dmitry Zuev
как посчитать эффект от новой модели которой еще нет на тестовой и контрольной группе?
Мы аб делали
источник

AZ

Anton Zadorozhniy in Data Engineers
KrivdaTheTriewe
Где вы вы планируете выступать ?
Да я два раза в неделю выступаю с этим, но вроде вот хотел на след спарк москоу заявиться
источник

DZ

Dmitry Zuev in Data Engineers
Renarde
ну сначала ее надо построить, очевидно что первая пристрелка не требует 10к фичей в проде. Откуда бюджеты - ну есть же у вас R&D расходы, без них ML только на личном энтузиазме делается
я про это и говорю, что в мл очень много рнд. и бабки в рнд считать дело очень неблагодарное. и обычно там какие то эфемерные цифры чтобы лпр было довольно
источник

DZ

Dmitry Zuev in Data Engineers
Anton Zadorozhniy
Я вас понял, «все врут и власти скрывают»
нет, просто плохие кейсы никто не показывает
источник

AZ

Anton Zadorozhniy in Data Engineers
Dmitry Zuev
нет, просто плохие кейсы никто не показывает
Но это не значит что красивые кейсы вранье
источник

R

Renarde in Data Engineers
Dmitry Zuev
я про это и говорю, что в мл очень много рнд. и бабки в рнд считать дело очень неблагодарное. и обычно там какие то эфемерные цифры чтобы лпр было довольно
тут соглашусь, но никто не мешает сделать мини-тест на малой выборке и прокатить небольшой пилот на одном регионе
источник

DZ

Dmitry Zuev in Data Engineers
И часто умалчивает про статистическую значимость и цену нормальных экспериментов
источник

AZ

Anton Zadorozhniy in Data Engineers
За плохие увольняют, рассказывать некому
источник

DZ

Dmitry Zuev in Data Engineers
KrivdaTheTriewe
Мы аб делали
что тестили? есть примерный дизайн эксперимента?
источник

DZ

Dmitry Zuev in Data Engineers
Renarde
тут соглашусь, но никто не мешает сделать мини-тест на малой выборке и прокатить небольшой пилот на одном регионе
Ну когда уже АРХИТЕКТОР все решил на два квартала минимум и случается "бляяяя, дс хотят 100к фич"
источник

AZ

Anton Zadorozhniy in Data Engineers
Я был СТО/кофаундером компании которая выставляла модели как эндпоинты апи, за каждое обращение - чардж, нет модели - нет денег, сколько заработала модель можно посмотреть в отчете; компания трудится до сих пор, довольна успешна; но так-то считать экономику ДС не надо, вы правы
источник