как посчитать эффект от новой модели которой еще нет на тестовой и контрольной группе?
до применения модели рассекаем базу 90-10, так чтобы по ARPU и lifetime (например) группы были близки. Принимая в учет реальность, тут должен быть какой-нибудь хороший непараметрический тест. дальше применяем модель на 90 (или на 10?), и считаем uplift по метрикам - и voila
до применения модели рассекаем базу 90-10, так чтобы по ARPU и lifetime (например) группы были близки. Принимая в учет реальность, тут должен быть какой-нибудь хороший непараметрический тест. дальше применяем модель на 90 (или на 10?), и считаем uplift по метрикам - и voila
ну сначала ее надо построить, очевидно что первая пристрелка не требует 10к фичей в проде. Откуда бюджеты - ну есть же у вас R&D расходы, без них ML только на личном энтузиазме делается
ну сначала ее надо построить, очевидно что первая пристрелка не требует 10к фичей в проде. Откуда бюджеты - ну есть же у вас R&D расходы, без них ML только на личном энтузиазме делается
я про это и говорю, что в мл очень много рнд. и бабки в рнд считать дело очень неблагодарное. и обычно там какие то эфемерные цифры чтобы лпр было довольно
я про это и говорю, что в мл очень много рнд. и бабки в рнд считать дело очень неблагодарное. и обычно там какие то эфемерные цифры чтобы лпр было довольно
тут соглашусь, но никто не мешает сделать мини-тест на малой выборке и прокатить небольшой пилот на одном регионе
Я был СТО/кофаундером компании которая выставляла модели как эндпоинты апи, за каждое обращение - чардж, нет модели - нет денег, сколько заработала модель можно посмотреть в отчете; компания трудится до сих пор, довольна успешна; но так-то считать экономику ДС не надо, вы правы