В течение последних 13 лет я работаю в My.Com. Это очень большая компания, состоящая из более чем 10 разнообразных студий, делающих игры, в первую очередь мобильные. Такой масштаб подразумевает большую плотность запусков новых игр, где-то по 3-4 игры в год. Как вы понимаете, работа с таким потоком требует огромного умения оперативно и точно оценивать проекты на каждом этапе их создания.

И здесь главная сложность связана с проектами, демонстрирующими спорные результаты. Если со слабыми/сильными всё понятно, то вот с оценкой последних всегда возникают проблемы, так как задача уходит из плоскости оценки прямых показателей в плоскость оценки возможного потенциала проекта.

Например, если у казуального проекта Retention 1-го дня 20 %, то это, определенно, слабый проект, который необходимо закрыть. А если это мидкорная игра с Ret1 30 %? Тут всё не так очевидно.

Эту мидкорную игру, конечно, можно закрыть, но тогда есть вероятность, что мы лишимся хита, потому что потенциал игры может быть еще не раскрыт и разработчикам нужен еще год, чтобы превратить гадкого утенка в лебедя.

Если же дать разработчикам этот самый год, а красивый лебедь, в итоге, не получится, то компания потеряет средства и упустит выгоду, так как разработчики за этот год могли сделать еще одну игру, которая как раз и стала бы лебедем.

Чтобы грамотно выходить из этой развилки, нужно уметь оценивать не текущее состояние проекта, а его потенциал. Но как его увидеть, оценивая по отраслевым стандартам? К сожалению, никак. Отраслевые стандартные слишком поверхностны и универсальны, чтобы «заглядывать в душу» отдельно взятого проекта. Чтобы увидеть потенциал, мало простого увеличительного стекла, здесь нужен мощный микроскоп.

Моя практика показывает, что сегодня все решения по спорным проектам принимаются на основе интуиции, кредита доверия, или же через бесконечно длинные Soft Launch, что делает процесс принятия решения дорогим, непредсказуемым, а иногда даже мучительным. Поэтому мне бы хотелось сегодня поговорить об этом «микроскопе» и рассказать о своем опыте его применения.

Возможности отдельно взятого человека переоценены

Начнем наш разговор с того, что подвергнем сомнению ваши текущие представления об умении видеть потенциал проекта и предсказывать успех тех или иных игр. У всех нас, конечно же, есть свое мнение на этот счет, но, с большой вероятностью, оно ошибочно, так как опирается на субъективное восприятие проекта, что делает ваше мнение заложником всевозможных когнитивных искажений.

Мы в My.com прошли огромный путь, прежде чем осознали, что экспертов, способных анализировать потенциал игр на поточной основе, не существует. Несомненно, периодически случается успех, и вокруг него сразу появляются люди, которые начинают с умным видом рассказывать, как они верили в этот успех или же предсказывали его. Но если посмотреть историю всех высказываний этих людей, то увидите много умозаключений, которые к успеху не привели… Так как же можно решить эту задачу?

Я лично нашёл решение с помощью нашего собственного трекрекорда. Моя студия является частью компании My.com, и у меня, как и у всех других разработчиков, есть доступ к статистике не только своих проектов, но и к проектам союзных студий. Из них я выделил те, которые соответствуют моим критериям успешности, и стал препарировать их данные в поиске общих формул успеха.

Критерии успешности

Сначала нужно определиться с критериями игры, которую можно считать успешной. В моей системе координат это игры, которые зарабатывают от $1 000 000 net в месяц и имеют маржинальность >30 % спустя год после глобального релиза.

У My.com такие проекты появляются достаточно регулярно, поэтому данных для изучения оказалось достаточно и первые выводы сформировались очень быстро. Я обратил их в две следующие аксиомы:

1. Успешной игры без успешного маркетинга не существует.
2. Успешного маркетинга без успешной игры не существует.

Да, как показало исследование наших внутренних продуктов, успешные продукты всегда объединяют в себе историю успешного маркетинга и успешной игры. Хоть эти сферы и не зависят друг от друга напрямую, но именно на их пересечении формируется необходимый нам уровень успеха.

Поэтому хочу обратить ваше внимание, что сравнивать успешность тех или иных проектов по игровым метрикам в отрыве от маркетинговых метрик абсолютно бесполезно. Это всё равно, что рассуждать о цвете предмета, рассматривая его тень.

Следовательно, дальнейшее препарирование успеха я производил уже с точки зрения маркетинга и с точки зрения игровых метрик.

Оценка успеха продукта с позиции маркетинга

Анализ маркетинга наших успешных игр достаточно быстро показал, что их формула успеха заключается в способности проекта привлекать много дешевых регистраций. За счет этого объема формировались целевые показатели по выручке, а последующая оптимизация обеспечивала нужную маржинальность.

Чтобы описать эффект, позволяющий привлекать в проект большой объем трафика, нам понадобится такой параметр, как Install Rate (IR) рекламы. На мой взгляд. именно этот показатель наиболее ярко отражает маркетинговый успех игры. Я его считаю следующим образом:

IR = CTR * CR

Где CTR — это конверсия из показа в клик; CR — конверсия из клика в установку.

Таким образом, чем выше IR, тем легче проект привлекает пользователей и тем дешевле они ему обходятся.

Чтобы получить высокий Install Rate, нужно обеспечить высокую кликабельность рекламы и высокую конверсию из стор пейджа. Добиться этого можно только в том случае, если и реклама, и стор пейдж несут в себе месседж, который одновременно и цепляет аудиторию, и формирует правильные ожидания от продукта. Последнее необходимо, чтобы удержать приведенного пользователя. Можно создать цепляющий месседж, но если он не будет оправдывать реальных ожиданий пользователей при последующем входе в игру, то они уйдут, и окупить затраты на их привлечение не получится.



Этот график хорошо иллюстрирует сильную связь между CTR и CR. Здесь можно увидеть тот самый конфликт цепляющего месседжа и реальных ожиданий от игры, когда запуск маркетинговой кампании с очень высоким CTR вызывает обрушение CR.

Как показывает моя практика, первым признаком успеха игры является наличие высокого CTR у видеореклам, демонстрирующих её геймплей (>1 %). После этого задача стор пейджа сводится к тому, чтобы поддержать и сильней раскрыть месседж, сформированный этими видеорекламами. Если всё сделано правильно, то получится CR в районе 30—40 %, а сам Install Rate будет в районе 0,4—0,5. Это значение можно считать признаком того, что проект с точки зрения маркетинга будет иметь успех, и его развитием надо заниматься, даже если существует ряд других проблем.

Как собирать значения Install Rate?

Для этого я советую тестировать видеорекламу на видеосетках, так как их таргетинги достаточно общие, потому и результаты будут максимально беспристрастны. Также такой подход позволит вам сравнивать разные проекты друг с другом. Но не ошибитесь тут и не забудьте учесть этап жизненного цикла сравниваемых проектов! Если вы сопоставляете проекты разных возрастов, то получите некорректные выводы. Не учитывать жизненный цикл — очень грубая ошибка, которую часто совершают даже профессионалы. Для примера посмотрите, как менялось ROI маркетинговых кампаний у двух наших хитов всего лишь год спустя после запуска:



Такая сильная разница в окупаемости говорит о том, что на старте проект привлекает целевую аудиторию, которая стоит очень дешево и платит хорошо. Но со временем она заканчивается, и окупаемость начинает падать даже несмотря на продуктовые доработки проекта за прошедший год. Поэтому, сравнивая проекты друг с другом, обязательно делайте поправку на время жизни проекта.

Можно ли повлиять на показатель Install Rate?

Поскольку IR является отражением реакции аудитории, то это внешняя вводная, на которую нельзя влиять, её можно только посчитать. Это следствие той работы, которая была проведена продюсером на этапе Preproduction, когда одобрялась игровая концепция, сеттинг и дата выхода продукта на рынок. Это проклятие или благословение, которое наложил продюсер на проект, когда дал разработке «зелёный свет».

Разумеется, я говорю об этом так категорично только при условии, что:

• Проведенная работа по позиционированию проекта и производства рекламных материалов сделана на должном уровне и не содержит грубых ошибок.
• Мы говорим про долгосрочный период. Потому что на коротких дистанциях Install Rate можно периодически раскачивать через создание особо удачных рекламных материалов, но рано или поздно они выгорают и проект опускается на свой базовый уровень. А в долгосрочной перспективе мы можем лишь затормозить снижение Install Rate.

На этом графике хорошо иллюстрируется невозможность сильно влиять на IR. Мы видим, что на старте проект имеет высокое значение IR, но спустя некоторое время происходит сильная коррекция в сторону понижения (сливки целевой аудитории собраны) и IR выходит на свой базовый уровень. После этого формируется долгосрочная тенденция на его постепенное понижение даже несмотря на периодические успешные рекламные активности.

Оценка успеха продукта с позиции игровых метрик

В отличие от маркетинговых метрик, игровые метрики сравнивать очень непросто. За всё мое время работы в компании у нас было множество холиваров в попытке выработать единую концепцию оценки качества игры. Но ни одна из этих попыток не увенчалась успехом, поскольку все они разбивались о жанровое различие.

Хоть все наши продукты и называются играми, по факту они представляют собой совершенно разные продукты, которые объединяет разве что присутствие элемента развлечения. Все игры развлекают игроков, но в каждом жанре по-своему. Из этого вытекает абсолютно естественное правило, что оценивать качество игры корректно в рамках её жанра. Но! Если вы проанализируете историю жанров мобильных игр, то увидите, что они постоянно эволюционируют, а особо гремучие комбинации появляются, когда жанры смешиваются и образуют новые жанры и поджанры.

Это происходит из-за конкуренции на мобильном рынке, которая вознаграждает, в первую очередь, те игры, которые первыми дают уникальный игровой опыт, способный монетизироваться в долгосрочной перспективе. Всё это погружает мобильные игры в среду крайней эластичности, тем самым размывая определения жанра и представление его в виде каких-то игровых метрик.

Поэтому, когда мы говорим про мобильные игры и формирование критериев оценки их метрик, мы попадаем в крайне хаотичную среду, которая не позволяет принимать математически аргументированные сравнения. Всё, что мы можем делать в этих обстоятельствах, это грубо сравнивать игровые метрики по пороговым значениям, что позволит поделить игры на плохие и хорошие, но не оценить спорные игры с точки зрения их возможного потенциала.

Как же быть? Есть ли здесь ответ, аргументированный математикой, а не кредитом доверия к разработчикам? Я думаю, есть.

В нашей студии мы пришли к этому пониманию не сразу, причем пришли не системно, а, скорее, случайно, за что стоит сказать спасибо Google Play — его исследование рынка стало отправной точкой для нашего собственного, которое и привело нас к ответу.

Это произошло в 2017 году в Бразилии. Там Google Play организовал конференцию для своих разработчиков и поделился разнообразной информацией. Один из слайдов этой презентации рассказывал о существовании 4 групп проектов, успешность которых характеризуется кривой удержания в первые 10 минут игры.

Мы в то время были одержимы проблемой улучшения удержания в игре Juggernaut Wars, поэтому исследование Google Play нас очень вдохновило, поскольку предлагало посмотреть на удержание с необычной стороны: насколько высоко его значение в первую минуту игры и какова динамика роста с каждой последующей минутой.

Согласно Google Play, чем сильней рост от минуты к минуте и чем выше начальное значение, тем хитовей игра. Вооружившись этой концепцией, мы проанализировали свой портфель, и это сработало! Мы получили следующий график, на котором положение кривых наших топовых проектов и одного средненького очень точно отражало их последующий кассовый успех.



«Вот это да!» — подумали мы в тот момент. Оказывается, можно оценить хитовость игры по первым 10 минутам!

Чтобы прочувствовать важность этого вывода, заострите внимание на том, что даже одна минута, проведенная в игре, обладает стабильной математической вероятностью возвращения пользователя на следующий день. И если мы говорим про хит, то даже этой минуты достаточно, чтобы сформировать существенную разницу в удержании относительно нехитовой игры. А что может увидеть игрок за эту минуту? Практически ничего, это будет первое впечатление от сеттинга и основной механики. Он увидит то, что невозможно изменить, не переделав полностью проект. Это можно сравнить с наличием у игры своей ДНК.

Так родилась гипотеза о существовании у проекта ДНК, которую можно интерпретировать как ту самую метрику, способную математически выразить потенциал игры.

ДНК проекта — это фундаментальный набор качеств игры, который определяет вероятность возвращения пользователя после первой минуты, а также определяет степень роста вероятности возвращения с каждой последующей минутой, проведенной в игре. Чем выше начальное значение и чем сильней рост от минуты к минуте, тем качественней ДНК игры и тем сильней её потенциал.

Такой микроуровень анализа позволяет стереть жанровые границы и оценивать игровой проект почти что на физиологическом уровне. Оценивая тягу игрока к возвращению в проект после одной минуты, а также замеряя рост этой тяги с каждой последующей минутой, мы работаем с бессознательной реакцией игрока. На таком промежутке времени игровых данных еще катастрофически мало, чтобы игрок мог сделать осознанный выбор, но бессознательно он его всё же делает. Если игровая концепция и её реализация достаточно сильная, то она будет даже на бессознательном уровне затягивать игрока, и чем дольше он будет находиться в игре, тем сильней будет ее влияние.

В какой же момент можно измерять ДНК?

Эта концепция начинает работать, когда у проекта есть хотя бы 10 минут геймплея релизного качества.

Получается, если обеспечить надлежащую работоспособность, то замерить хитовость игры, теоретически, можно уже на этапе Vertical Slice. Практически же замерить получится не раньше Closed Alpha, поскольку для постройки графика необходимо обеспечить большой объем выборки, чтобы сгладить возможные флуктуации. Это исследование строится на анализе классического удержания первых 10 минут и для него необходимы репрезентативные когорты пользователей для каждой из 10 минут. И чтобы обеспечить формирование всех этих когорт и снять риск флуктуаций вам потребуется минимум 40 000 регистраций. Как только вы сможете обеспечить такой объем регистраций на 10 минутный геймплей релизного качества, вы сможете узнать ДНК проекта.

Как интерпретировать значения ДНК?

На выходе у вас будет кривая, абсолютные значения которой имеют ценность только при сравнении с другими кривыми, посчитанными в тех же условиях. Когда идет работа с поминутным удержанием, задача становится очень проектнозависимой, когда огромное значение начинают играть нюансы настроек логина и разлогинивания пользователей на сервере. Поэтому максимум данных вы получите при сравнении проектов, сделанных в рамках схожих серверных решений.

Но даже если сравнивать не с чем, вы можете оценить проект с точки зрения постоянства роста. Для успешной игры важно, чтобы с каждой проведенной минутой удержание росло: чем больше люди проводят времени в игре, тем сильней она должна им нравиться. Если же роста удержания нет, или наблюдается его падение, то это признак наличия в игре фундаментальных проблем, которые я называю червоточинами. Вот пример одного из наших проектов, где эта червоточина ярко выражена.



Тут видно, что за 10 минут игры роста удержания практически не наблюдается. Если у наших хитовых игр оно вырастает на 250 %, то у этой всего на 20 %. Одновременно с этим мы видим, что удержание второй минуты существенно ниже удержания первой минуты, а это говорит о том, что игра не только не увлекает аудиторию, но и грубо теряет уже заинтересованных пользователей. Пока у проекта есть такая червоточина, эффективно усваивать аудиторию он не сможет.

Заключение

Работая в большой компании, которая объединяет в себе более 10 разнообразных студий, каждая из которых трудится одновременно над несколькими проектами, я получил возможность изучить весь наш положительный опыт и посмотреть на случившиеся истории успеха с точки зрения аналитики и собственного опыта.

Моей задачей было научиться объективно оценивать проекты не только с позиции откровенно слабых/сильных проектов, но и сформировать подход для оценки спорных проектов с помощью анализа их возможного потенциала, который, в силу ряда причин, может быть еще не раскрыт.

Я надеюсь, проделанная мной работа будет помогать разработчикам принимать взвешенные решения по таким судьбоносным вопросам, как начало или закрытие проектов. Ведь любая работа над игрой — это не только труд, но и время. И если трудолюбия разработчикам игр не занимать, то время — самый ограниченный ресурс, используйте его с умом. Удачи!