Каждый месяц мы устраиваем AMA (ask me anything) сессию на reddit — отвечаем на любые вопросы об аналитике приложений. Мы решили отобрать самые интересные вопросы, и привести ответы на них здесь. Для каких типов игр нужна аналитика? Как правильно проводить эксперименты? Как увеличить retention? Ответы на эти, и многие другие вопросы — под катом.


[–]jakkarth
Нужна ли аналитика для всех типов игр? Я допускаю, что полезно использовать аналитику в таких больших и сложных играх, как World of Warcraft, но нужна ли она в казуальных мобильных играх, в которые люди играют по 5 минут? Где критическая масса, по достижении которой требуется аналитика? Есть ли какие-то жанры или типы монетизации, которые труднее анализировать, чем другие?
devtodev:
Моё мнение — аналитика важна вне зависимости от размера игры. Конечно, чем больше проект, тем более сложная аналитика ему требуется. Когда вы готовите игру к запуску, вы ещё не знаете её будущего масштаба, но это не значит, что вам не нужна аналитика.
К слову, не стоит недооценивать объём казуальных мобильных игр, где люди играют время от времени. Почитайте пост Пола Мерфи, основателя компании Dots, например. Я представляю, какая большая и сложная аналитика выстроена у них в компании.
А отвечая на ваш последний вопрос, я скажу, что глубина и сложность аналитики зависит скорее от масштаба проекта, нежели от жанра.

[–]seardluin
Какие метрики вы бы посоветовали использовать в игре жанра RPG под PC, в которой нет встроенных покупок, однако есть возможность игры онлайн? Стали бы вы анализировать оффлайн-игру, или же только онлайн-составляющую?
devtodev:
Я думаю, что вы в любом случае заинтересованы в лояльности пользователей, например, для накопления базы пользователей для последующих игр. Поэтому я бы рекомендовал отслеживать как онлайн, так и оффлайн-метрики.
Какие метрики использовать?
В первую очередь, метрики аудитории: DAU, MAU, лояльный DAU (за вычетом пользователей-однодневок).
Затем я бы рекомендовал использовать метрики удержания и активности игроков: retention от 7 до 90 дней, sticky factor, количество сессий на пользователя.

[–]Novamonk1
Как можно понять, получают ли пользователи удовольствие от игры?
[–]koorb Как вы измеряете пользовательский фан?
devtodev:
Таких метрик, как удовольствие или фан, попросту не существует, а потому мы не можем их измерить. Мы можем лишь каким-то образом их приблизить, аппроксимировать существующими метриками:
Retention (1 день, 7 дней, 30 дней и выше).
Sticky Factor. Он рассчитывается как отношение DAU к MAU. Хорошая метрика, говорящая о регулярности входов пользователей. Имеет сильную корреляцию с доходом игры.
Количество сессий в день. Считается, что для хорошего здорового игрового мобильного проекта оптимальное значение — 3 сессии на пользователя в день. В играх с более продолжительной сессией (скажем, RPG) — две сессии. В играх с короткой сессией (казуальные игры, раннеры) — 4-5 сессий.
Средняя длина сессии и среднее время, проводимое пользователем в игре в день (длина сессии * количество сессий).
K-фактор как показатель виральности. Если пользователю нравится игра, он с большей вероятностью расскажет о ней друзьям. Обычно K-фактор рассчитывается как среднее количество отправляемых приглашений, умноженное на среднюю конверсию из приглашения в регистрацию. Однако для мобильных проектов трудно отследить пользовательскую базу, охваченную приглашением, а потому K-фактор рассчитывается как отношение количества новых органических пользователей к (DAU — Новые пользователи).
Эти метрики я бы не рекомендовал использовать для сравнения удовольствия, получаемого пользователями от двух разных игр. Но они прекрасно подойдут для замера изменений в отношении пользователей одной конкретной игры к изменениям в ней.

[–]gruegoo
С чем мне сравнивать значения моих метрик? Я хочу сравнить показатели DAU/MAU и процент платящих с другими показателями в индустрии, но не знаю, откуда взять данные. Речь не только про конкретно эти метрики, но вообще про поиск образцов для сравнения.
devtodev:
Я бы тоже хотел иметь неиссякаемый источник бенчмарков по всей индустрии, это было бы действительно полезно. Но на практике приходится просто искать информацию в интернете самостоятельно.
Хороший ресурс — Quora.com, это сервис вопросов и ответов. Там вы можете задать вопрос про значения метрик в том или ином жанре, в той или иной стране. Аудитория этого сервиса с удовольствием делится информацией. Вот пример.
Также рекомендую подписаться на блоги devtodev и других аналитических сервисов. Там вы часто можете найти статьи с данными, которые можно использовать для бенчмаркинга. Вот примеры: статья GameAnalytics и запись вебинара devtodev.

[–]Jerseywhat
Как вы считаете, как правильно организовывать эксперименты?
Какую роль должны играть аналитики в этом процессе? Решать, какие именно эксперименты запускать, выставлять приоритеты?
Если команда хочет запустить несколько экспериментов одновременно, вы будете пытаться как-то анализировать их результаты, или же предложите разделить эксперименты во времени? Запускать множество экспериментов параллельно, или же запустить один эксперимент с множеством различных вариантов (например, группа A: высокая сложность, низкие затраты, группа B: средняя сложность, низкие затраты, и так далее)?
Как вы работаете со статистической значимостью? Что лучше, подождать, пока не наберётся достаточно большая выборка, чтобы результат был значимым, или же поскорее выбрать один из вариантов, не дожидаясь окончания эксперимента?
devtodev:
Я считаю, задача аналитика не в том, чтобы предлагать варианты для тестирования, а в том, чтобы предоставлять достаточный объём информации геймдизайнеру для того, чтобы тот сам предложил различные гипотезы. И впоследствии именно аналитик должен оценивать результат.
Я сторонник того, чтобы запускать унитарные тесты. Да, это займёт больше времени, однако результаты будут более достоверными. Если запускать множество экспериментов одновременно, то высок риск, что выборка для каждого варианта будет слишком мала, и результаты могут оказаться ошибочными.
Это вопрос масштаба проекта. Обычно, небольшие проекты хотят принимать решения и вносить изменения мгновенно, а большим проектам требуется больше времени. Как аналитик, я бы не рекомендовал принимать важные решения в спешке. Но возможно, это просто профессиональная деформация от того, что как правило приходится иметь дело с большими проектами.

[–]bimbompaul
Я знаю, есть два способа расчёта retention — классический и скользящий (rolling). В чём разница? Какой из них лучше считать на практике?
devtodev:
Добрый день!
В случае с классическим retention пользователь считается удержанным на первый день, если он входил в приложение через день после первого визита. В скользящем же retention пользователь считается удержанным на первый день, если он входил в приложение через день после первого визита или позже. Поэтому значения rolling retention всегда выше.
Оба retention служат одной цели — измерение удержания пользователей, и они сильно свзаны друг с другом. Трудно представить, что множество пользователей не будет входить первые дни, а затем начнёт регулярно использовать приложение. Чем выше классический retention, тем выше скользящий, и наоборот.
Вот пример значений классического и скользящего retention для разных проектов. Если ваш проект основан на долгосрочном удержании и коммуникации с пользователем, я бы рекомендовал использовать скользящее удержание. Если же вам нужны ориентиры и бенчмарки, то лучше использовать классическое удержание, просто потому что большинство бенчмарков в интернете приведены именно для классического.

[–]cairmen
Отличная тема для рубрики ‘вопрос-ответ’!
По твоему мнению, с помощью каких метрик можно обнаружить наиболее простые пути к увеличению дохода и удержания?
devtodev:
Сами по себе метрики не увеличат вам доход и удержание, но они позволят вам сгенерировать идеи, как этого достичь.
Давайте обсудим. Ключ к успешной монетизации — это долгосрочное удержание (чем дольше пользователь с вами, тем выше и шансы его оплаты, и средний его чек). Наиболее простой способ увеличить долгосрочное удержание — это оптимизация краткосрочного удержания.
Ну а проще всего увеличить краткосрочное удержание с помощью оптимизации первой сессии пользователя (FTUE, first time user experience).
Ещё одна причина для оптимизации FTUE — это тот факт, что именно во время первой сессии закладываются основы активации пользователей, которая, в свою очередь, ведет к успеху в монетизации.
Итого, попробуйте оптимизировать первую сессию пользователей:
взгляните на свой продукт глазами пользователя-новичка: что он чувствует, о чём думает спустя одну, две, три минуты в вашем сервисе?
интегрируйте пользовательские события в ваш туториал (наша практика показывает, что много пользователей покидает туториал просто по техническим причинам, и ваша задача — это понять и оптимизировать)
покажите преимущества вашего продукта перед всеми остальными
интригуйте пользователя, дайте ему понять, что дальше будет только интереснее.
Для измерения успеха используйте следующие метрики:
процент пользователей, успешно прошедших туториал;
1-day retention (как классический, так и rolling);
процент конверсии в первую покупку.

[–]aschearer
Какие три метрики вы бы выделили среди тех, что лучше всего описывают состояние игры, и почему?
devtodev:
Добрый день! Давайте посмотрим на игру как на модель — на входе новые пользователи, на выходе деньги. Поэтому, если выбирать три метрики, то это будут:
новые пользователи;
процент платящих пользователей;
средний доход с платящего пользователя (ARPPU).
Если я знаю эти метрики, я могу посчитать ключевые показатели и сравнить бизнесы друг с другом. А если вы позволите добавить четвёртую метрику, я бы добавил retention.

[–]BikerMouseFromMars
С каких книг вы бы порекомендовали начать изучать игровую аналитику?
devtodev:
Больше всего мне нравится вот эта книжка.
Также рекомендую книгу “Цель” Элияху Голдратта. Она не про игры, а в целом про поиск узких мест в бизнесе, а это актуально для всех.

[–]svero6
У меня несколько больших вопросов сразу.
Каковы стандартные метрики для MMO-игр? И насколько сильно отличаются друг от друга значения метрик игр-хитов, средних игр (например, платформеров) и неудачных игр?
Если у вас есть внутриигровой магазин, продающий виртуальные товары за виртуальную валюту, как вы будете оптимизировать цену продажи? Как вы поймете, что та или иная цена слишком высока? Или слишком низка? Обычно для таких целей применяются AB-тесты, но в онлайн-играх пользователи много общаются друг с другом, и если вы будете экспериментировать с ценами, это не останется незамеченным и сломает вам эксперимент. Как еще можно оптимизировать цену, кроме как изменить ее и посмотреть, что произойдет?
Наконец… Как понять, какой объём товара давать пользователям бесплатно? Допустим, в Hearthstone вы зарабатываете золото, выигрывая матчи, и это золото вы можете потратить на покупку комплектов карт или других товаров внутри игры (вместо того, чтоб покупать их за реальные деньги). В других играх вы копите виртуальную валюту, выполняя миссии, и так далее. Как понять, сколько давать золота пользователям? Как это оптимизировать?
devtodev:
Спасибо за интересные вопросы!
> Каковы стандартные метрики для MMO-игр? И насколько сильно отличаются друг от друга значения метрик игр-хитов, средних игр (например, платформеров) и неудачных игр?
Прежде всего, для MMO-игр я бы порекомендовал использовать стандартный набор метрик.
Также рекомендую обращать внимание на внутриигровую валюту, динамику ее трат и накоплений. Не позволяйте среднему балансу валюты на счетах игроков расти, иначе наступит день, когда вам придется повышать цены.
Что касается разницы между хитовыми, средними и неудачными играми, рекомендую статью GameAnalytics, в которой вы можете увидеть, как отличаются значения метрик.
> Если у вас есть внутриигровой магазин, продающий виртуальные товары за виртуальную валюту, как вы будете оптимизировать цену продажи?
Хороший вопрос. Вы правы, первая идея — это провести AB-тест, но это невозможно в проектах, где пользователи много общаются друг с другом.
Я бы рекомендовал применить ABC/XYZ-анализ для ваших виртуальных товаров. Это позволит вам выделить категории товаров, где вы можете легко изменить цену (подсегменты BY, CY, BZ, CZ).
Если же говорить про подсегменты с буквой A, то тут тяжело что-то менять, когда игра уже запущена. Поэтому лучше сформировать и полностью просчитать потребительскую корзину до запуска. Скажем, во время беты.
> Как понять, какой объём товара давать пользователям бесплатно?
Это больше гейм-дизайнерский, нежели аналитический вопрос. Со своей позиции могу лишь порекомендовать несколько ссылок на материалы, которые могут помочь вам найти ответ:
www.dubitlimited.com/blog/2010/12/31/design-a-social-game-economy-how-much-should-a-virtual-t-shi-html
www.quora.com/How-do-you-set-prices-for-virtual-goods-in-social-games
Freemium Economics (Eric Seufert)
Virtual Economies: Design and Analysis (Vili Lehdonvirta,Edward Castronova)
Free-to-Play: Making Money From Games You Give Away (Will Luton)
Real economics in virtual worlds: A massively multiplayer online game case study, runescape (Tanla E. Bilir.)

[–]thealchemistbr
Я работаю над игрой, в которой игрокам нужно выстраивать пирамиды из чисел особым образом. В игре три уровня сложности. Какие метрики стоит использовать? Как мне увеличить retention? И как мне выбирать модель монетизации на основе этой информации? Спасибо!
devtodev:
Добрый день!
> Какие метрики стоит использовать?
Если ваша игра — это не MMO со сложной экономикой, вам вполне хватит стандартного набора метрик. Особое внимание я бы рекомендовал обратить на метрики сессий (количество сессий в целом и на игрока, средняя длина сессии). Мне кажется, для казуального геймплея это важно. Если я неправ — дайте знать.
> Как мне увеличить retention?
Существует множество способов увеличить retention. Один из наиболее эффективных — оптимизация туториала. Научите ваших пользователей играть, покажите им преимущества вашей игры. Хороший туториал — это хороший однодневный retention, а значит, хорошее долгосрочное удержание, а значит, деньги.
Также могу порекомендовать ежедневные квесты, регулярные задания. Ну и deep-linking с push-уведомлениями никто не отменял.
Вот наш вебинар про retention, там есть еще советы, как можно увеличить этот показатель. is our webinar about retention, there you can find some more advices how to increase it.
> И как мне выбирать модель монетизации на основе этой информации?
Всё же обычно модель монетизации выбирается до того, как вы стали собирать данные. Для казуальных игр наиболее популярной и эффективной моделью является, разумеется, free-to-play. Если вы запускаете f2p-игру с долгосрочным удержанием, у вас есть все шансы, чтобы преуспеть. Посмотрите, например, как это удалось Clash of Clans.

Заключение
Это большая часть полюбившихся нам вопросов, но, конечно, далеко не все, на которые мы можем ответить с помощью аналитических инструментов. Если вас интересует что-то еще, будем рады ответить в комментариях или личных сообщениях.