​​Практический подход к проведению A/B тестов и их оптимизации.
#product #ab

Давно не было чисто продуктовых материалов и сегодня исправлю это упущение. Всё равно достойных материалов по геймдеву в руки не попадалось давно. Речь пойдет про A/B тесты, а точнее о том, как на практике реализовать подход к ним, чтобы проводить их систематически и оптимизировать подход к выбору гипотез. Описанный подход используется в skyeng и для многих будет избыточен, но определенные этапы, на мой взгляд, стоят того, чтобы внедрить.

Этап планирования.
1. Брейншторм идей (1 день)
Составляется список метрик, которые хотелось бы подтянуть, проводится брейншторм с привлечением команды и набрасывается список гипотез для каждой метрики

2. Описание гипотез (2 дня)
Если всё начинается с неформализированных идей в стиле "А давайте сделаем вот так", то на данном этапе приводится к описанию конкретной юзерстори для данной гипотезы, описание как будем проверять и оценивать успешность

3. Командная приоритезация по RICE (2 дня)
Проводится RICE приоритезация с участием команды, трема довольно объемная, отдельно останавливаться не буду сейчас, можно найти в нете, к примеру тут
Важный момент - оценка проводится каждым членом команды, после происходит обсуждение, где каждый может защитить свои расчет, после все производят переоценку.

4. Приоритезация по ROI (3 дня)
Дальше стоит прикинуть влияние на ROI изменения каждой метрики. К примеру берем отвал на первом уровне и прогнозируем как его уменьшение на один процентный пункт повлияет на доход игры. Затем мы оцениваем каждую гипотезу и прикидываем на сколько процентных пунктов она изменит метрику. От отдела разработки мы узнаем ориентировочную стоимость данного эксперимента.

Для того, чтобы оценивать влияние реализации каждой гипотезы стоит начать проводить эксперименты и оценивать результат по факту. Накопив некоторый опыт получится оценивать по аналогии. В итоге получаем таблицу соотношение трудозатрат и теоретических результатов, на основе которой подбираем гипотезы, которые войдут в спринт.

5. Расчет влияния на метрики (2 дня)
Составляем табличку где указываем текущее состояние метрик проекта и теоретическое, после внедрения выбранных гипотез.

6. Проджект план (2 дня)
Дальше составляется проджект-план, в которым гипотезы декомпозируются на задачи, выделяются роли и всё это наносится на календарь. Главная задача не столько получить четкий план с дедлайна, сколько понять где происходит пересечение ресурсов и продумать эти моменты.

Этап реализации.
7. Валидация гипотезы, custdev (1 неделя)
Формулируются вопросы касательно каждой гипотезы, задаются клиентам. Полученные инсайты используются при проектировании, становится ясно на что обратить больше внимания.
Может проводиться и на более ранних этапах, но поскольку это значительно дороже по ресурсам, чем планирование разработки функционала, лучше делать после создания проджект-плана, когда есть точное понимание затрат ресурсов

8. Коридорный тест / UX-тест (1 неделя)
Когда дизайнер заканчивает первую итерацию макетов их есть смысл показать стороннему человеку, в идеале не из IT, чтобы получить фидьэк о исправить UX/UI ошибки до передачи в разработку.

9. Качественные тесты (2 недели)
Собирается прототип функционала, возможно далекий от идеала по оптимизации, но достаточный для того, чтобы проверить отвечает ли он требованиям к тесту

10. A/B тест (2 месяца)
Сам A/B тест, выделяются 2 группы пользователей, одни получают продукт без применения гипотез, другие с ним.

11. Внедрение результата

Источник (30 мин.): https://www.youtube.com/watch?v=C1hlw6bz1Tc&feature=youtu.be

​​Продуктовые каналы. Grow Horse.
#product #channel
Последнее время не получается так часто писать посты, как хотелось бы, потому буду периодически рассказывать про каналы, которые сам читаю. Сегодня расскажу в двух словах про канал @growhorse. Денис пишет всё, что связано с развитием продукта, от процесса поиска гипотез ( https://t.me/growhorse/115 ) до исследований на тему того, что влияет на рост продукта ( https://t.me/growhorse/169 ).

Тут автор сделал подборку лучших постов за год - https://t.me/growhorse/101
Рекомендую начать знакомство с неё.

​​Ивенты коллаборации в играх. Суть, примеры и результаты.
#product #gd

Сегодняшний материал от game refinery на тему ивентов коллабораций. У меня довольно скептическое отношение к тому что он пригодится многим из нас, но считаю что это не повод оставить без внимания, поскольку тема в целом любопытная.

Итак, ивенты-коллаборации. Вся суть сводится к тому, что при правилном использовании они могут усилить монетизацию и вовлечение на время ивента, помочь привлечь обратно старую аудиторию и новых игроков, если подобранный продукт обладает релевантной вашему аудиторией.

Логика реализации сводится обычно к тому, что создаются дополнительные игровые активности и режимы, за которые игрок получает ивентовую валюту, которая в свою очередь дает им возможность получить тематические скины, персонажей и прочий контент. Для повышения эффективности используют гача механику в выдаче и специальные акционные предложения в банке.

По имеющейся информации ивенты такого типа очень популярны в Японии и наращивают популярность на рынках Китая и США.

В статье источнике можно глянуть несколько примеров с графиками, вот некоторые из них:
- Identity V + Persona 5 / Danganronpa, ивент отлично отработал на монетизацию, дав кратковременный прирост с $3K до $49K и с $9K до $65K на IOS в США
- Dragalia Lost + Fire Emblem / Megaman / Monster Hunter, отличный результат, одни из самых больших пиков на графиках revenue совпадают со стартами коллабораций
- UNO + BTS, BTS владельцы прав на массу музыкального контента, в популярной карточной игре подготовили ивентовый контент в виде обложек карт, автарок и т.д и это опять дало очень хороший результат
- Tennis Clash + Gucci, а вот сотрудничество известным брендом одежды не дало ощутимого результата

Источник(англ.): https://www.gamerefinery.com/take-your-games-retention-to-the-next-level-with-collaboration-events/

Также из полезной информации стартовала раздача бесплатых билетов на White Nights, снова проводимый онлайн, зарегистрироваться можно тут - https://wnconf.com/en/#testimonials

Но и это еще не конец. Не успел закончиться поиск мэйлом (MRGV) игр, которые можно накачать трафиком и получить прибыль, как стартовал хакатон от Azur Games (кстати неплохие ребята, на мой взгляд) с той же целью. Сейчас в целом появился тренд на проведение подобных ивентов, целью которых является найти жизнеспособные ГК и получить прибыль. Данная схема работала и раньше у многих паблишеров через прямое обращение, но теперь многие компании занялись ее популяризацией. Условия их обычно сводится к тому, что вы делаете прототип и/или геймплейный ролик, компании тестируют CPI и если он позволяет закупаться по приемлемым ценан, вы получаете определенную сумму и долю с прибыли от проекта. Так вот если данная тема интересна - напишите в личку, попробую в ближайшем материале немного струкурировать инфу на о запуске игры в соло или небольшой командой.

Семинар про MVP и инструменты для проверки гипотез

В этот четверг пройдет онлайн семинар про то, зачем и как можно проверять гипотезы в продуктах. Дадут набор актуальных инструментов и практик. Рассказывать будет Леша Арефьев (CPO Столото и автор канала @alexcouncil )

Для кого

Джунам/мидлам продактам будет интересно. Плюс, начинающим стартаперам. Синьорам продактам лучше не приходить, все знают итак.

Детали

Когда: 16 июля в 19:30 (мск)
Сколько будет длиться: ~1,5 часа
Сколько стоит: донат, сами решите сколько платить или не платить вовсе после того, как пройдете семинар

Добавляйте себе в Календарь - https://bit.ly/3iLzUhX
---
Внимание! Доступно будет только 100 мест на конфе. Если вам не хватит места, не огорчайтесь, после семинара Леша выложит запись в своем канале @alexcouncil

​​Разработка небольшой игры. 10 советов по подготовке геймплейных роликов.
#product #hypercasual #marketing

- Стоит ли использовать элементы моушн дизайна?
- В первом паке должен быть ролик с чистым геймплеем, можно дополнительно делать другие ролики с усилителями, но знать меру

- Почему у двух похожих роликов при равном CTR возможен различающийся на порядок CPM?
- Это связано с тем, что в процессе обучения на один из них может литься дорогая аудитория, на другой более дешевая. Либо зависит от плэйсмента.

- Почему Playrix могут делать мислиды (ролики показывающие геймплей, которого нет в игре), а в гиперказуалках этого делать не стоит?
- У игр Playrix специфическая аудитория любителей матч3, ее сложно удивить показывая геймплей, поэтому акцент делается на других вещах. В данном случае есть смысл сравнить с рекламой кроссовок nike, когда в ней показывается все что угодно, что отвечает ценностям аудитории, кроме самих кроссовок.

- Как влияет звуковое оформление?
- Хороший ролик отработает и без звука, плохому звук не поможет. Звуковой ряд играет роль усилителя и экспериментировать с ним стоит, но нужно учитывать, что музыка может как понравиться, так и нет, поэтому нужно быть осторожным. В идеале подчеркнуть звуками игровые моменты.

После того, как рекламные ролики готовы наступает момент когда стоит узнать насколько хорошо они привлекают аудиторию и какую. Тест CTR можно провести самостоятельно, если есть опыт в закупке трафика и необходимый бюджет, либо обратиться к одному из паблишеров. Поскольку в данном материале я опирался на вебинар от My Games прикладываю их форму связи https://mygames-x.typeform.com/to/O0beAN . Если  CTR > 5% они готовы обсудить сотрудничество и проинвестировать дальнейшую разработку.

В источнике разбирается еще десяток роликов на предмет слабых и сильных моментов, так что если тема интересна рекомендую заглянуть.

Источник (рус, 1ч 30м): https://www.youtube.com/watch?v=JYdX12Fhf7Y

​​Создание игры на основе арта.
#product #art

Всем привет! Сегодня для разнообразия небольшой материал с GDC от индиребят о том, как они построили процесс создания игры от арта. Огромный плюс данного подхода в том, что он снижает затраты на само прототипирование и при этом позволяет сначала найти реальную аудиторию и лишь потом ввязываться в разработку.

Всё началось с того, что пробовали рисовать каждый день картинку без ограничений, за исключением количества цветов, начав с миимального и увеличивая его каждый день.

Получающиеся в результате арты постили в твиттер, оценивая каждый по 4м критериям:
- насколько он понравился им самим (чтобы нравилось над этим работать, уменьшить проблему выгорания)
- насколько сильной была реакция в твиттере, была она позитивная или нет
- простота создания
- ограничения, накладываемые на гейм дизайн, возможность применения в различных жанрах

Ребята определили, что обычный твит связанный с играми имел порядка 20 лайков, 1-2 коммента и 1-5 ретвитов. Поэтому целью они себе поставили найти то, что покажет себя лучше.

Несколько примеров артов, которые они тестировали и какие были результаты можно посмотреть на видео (время кадров - 7.57, 8.41, 9.07, 9.37, 9.46)

В итоге подобрали 3 наиболее удачных стилистики, из них выбрали ту, которая будет наиболее запоминающейся и не связывает руки в выборе жанра.

Следующим шагом они создают еще один арт, проработанный в той же стилистике, чтобы удостовериться в неслучайности результата.

До того как приступить к разработке они продумали базовые элементы геймплея и подготовили несколько гифок, чтобы  посмотреть на отклик аудитории в соц сетях.

На процесс выбора визуала ушло порядка двух месяцев. Затем наступила стадия создания прототипа. По наблюдения ребят им обычно требуется порядка 6ти прототипов, чтобы найти оптимальный.

Дальше ребята опубликовали страницу игры в стиме, наполнили скриншотами и собрали короткое видео о том, как будут выглядеть основные моменты игры. Аудиторию привлекали через твиттер, получилось порядка 5к добавлений в вишлисты.

На запуске они получили 6к продаж за 2 месяца, проект был замечен несколькими крупными стримера и их комьюнити выросло вдвое.

Когда будут делать следующую попробуют немноо усовершенствовать процесс - стандартизировать размер концептов, попробовать использовать кикстартер для дополнительной валидации идеи.

Источник (англ.): https://www.youtube.com/watch?v=4m-_WTKd8rE

​​Механики слотов в Archero.
#gamedesign #gambling

Всем привет! Сегодня будет небольшой материал по Archero от Game refinery. Как-то раз я уже публиковал материал по archero ( https://t.me/product_gamedev/289 ), но сегодняшний выделяется тем, что разбирает механики игры, унаследованные от игр казино и слотов.

Почему этот момент так важен, на мой взгляд? Я на себе ощущал влияние данных механик и в итоге продержался около месяца в игре, несмотря на то что к core геймплею такого типа достаточно равнодушен. Данный подход использует проверенные наработки азартных игр для усиления удержания и в то же время вносит разнообразие в гринд, повышая реиграбельность.

Каждый раз начиная подземелье или получая новый уровень игрок получает на выбор одну из 3х способностей, ощутимо влияющих на проходжения. Способности накапливаются и создают синергию. После поражения они сбрасываются. Получение способности представляет собой однократный спин слотов и пока они крутятся игрок находится в предвкушении, надеясь что выпадет именно та способность, которая ему нужна.

Помимо этого есть возможность получать дополнительные награды находя местные аналоги колеса фортуны, где вращая рулетку игрок может получить дополнительные способности и ресурсы.

Находясь в мете игрок может прокачивать характеристики (таланты), но это опять же содержит фактор случайности. Нажав кнопку прокачать игрок наблюдает как таланты начинают подсвечиваться один за другим, делая это всё медленнее до тех пор, пока выделение не остановится на каком-то одном.

Источник(англ.): https://www.gamerefinery.com/archero-excels-in-engagement-by-creating-an-anticipation-for-rewards/

​​Apple. IDFA. Новый этап в работе с рекламой.
#product #marketing

Последнее время не подворачивалось достойных материалов, но неожиданно помогли ребята из apple, решив что самый подходящий момент усложнить жизнь разработчикам. Изменения коснутся всех, кто зарабатывает на показе рекламы или привлекает пользователей в том или ином виде используя IDFA. За основу возьму материал от Deconstructor of Fun.

Начиная iOS 14 разработчики обязаны будут спрашивать пользователя о том согласен ли он на трекинг рекламного идентификатора. Согласно данному исследованию в лучшем случае стоит рассчитывать, что треть пользователей согласится на это и как следствие трекинг пользователя по IDFA утратит эффективность, что нанесет удар по маркетинговым кампаниям.

Расчет ROAS (возврат инвестиций в рекламу) также становится достаточно ненадежным, поскольку нет точных методов оценить стоимость показа каждого ролика.

В Apple подготовили специльный sdk для работы с рекламой - SKAadNetwork. Пока всё выглядит довольно сыро и непроработанно. Разработчики получат самый минимум информации и должны будут всё больше полагаться на алгоритмы сеток, к которым и раньше были вопросы. Из своей практики могу сказать, что вопросы далеко не беспочвенные.

Facebook’s Value Optimization потеряет эффективность, для оценки траффика будет 24 часа, за которые нужно сконвертить пользователя (в активацию или платеж), что скажется на кампаниях, ориентированных на позднюю монетизацию.

Разделить органику и закупленных пользователей будет практически невозможно.

Ретаргетинг значительно усложнится, подталкивая разработчиков к тому, чтобы вводить собственную авторизацию между своими проектами и собирая email пользователей.

Что делать?
- подготовить окно запроса разрешения для IDFA так, чтобы конверсия была максимальна (можно использовать все те практики, которые применялись для поднятия окна оценки)
- быть готовыми регулярно выпускать апдейты с новыми версиями SDK ( SKAadNetwork )
- собирать контактные данные пользователей для возможности связаться с ними
- держать руку на пульсе и следить за изменениями
- продолжать работать с google play, где пока не произошли подобные изменения

Еще материалы по теме: https://mobiledevmemo.com/mobile-advertising-without-the-idfa-a-comprehensive-overview/

Источник(англ.): https://www.deconstructoroffun.com/blog/2020/8/25/idfa-what-your-company-needs-to-do-yesterday

Как создать продуктовую, рыночную и маркетинговую стратегию с JTBD
#product #JTBD

Всем привет! Давно не было постов чисто продуктовой тематики, поэтому внесу немного разнообразия. Недавно прослушал доклад Юрия Дрогана о фреймворке Jobs to Be Done и нашел несколько моментов, которые, на мой взгляд, могут быть полезны. Несмотря на то, что фреймворк не новый, многие применяют его неправильно.

Одна из самых частых ошибок — плохо определенные задачи пользователя. Задачи клиента не должны включать в себя готовые решения. Например, задача «покупать продукты рядом» включает в себя решение — рядом. Также задачи клиента не должны включать слова «быстро», «дешево», «качественно», «надежно». Нет таких клиентов, которые сказали бы: «А можно мне похуже, помедленнее и т.д.».

Формат задачи должен быть: глагол+объект/предмет+контекст. Например: управлять расходами семьи.

Первое, с чего нужно начинать любое JTBD исследование — разобраться, какую задачу решает ваш продукт. Важно уметь думать не на уровне продукта, а на уровне задачи пользователя. Если пользователь говорит «я хочу поменять кнопку», просто спросите: а какую глобальную задачу вы хотите решить?

Еще один важный инсайт: ценность — это когда вы забираете задачу пользователя, предлагая более простую работу. Например, найдя проблему «запутанные провода наушников», не изобретайте распутыватель наушников — предложите людям AirPods :)

Если любопытна данная тема рекомендую посмотреть полностью.

Если лень смотреть весь доклад, подпишитесь на канал @epicgrowth — один из каналов, которые читаю сам. Суть из докладов ребята сокращают до размера поста, что очень круто.

Источник: https://bit.ly/3jqRebD