Сейчас, работая в исследовательской компании, я иногда встречаю разработчиков, которые уверенно заявляют, что им не нужны никакие исследования аудитории, раз у них есть статистика. У них за спиной данные от сотен тысяч или даже миллионов игроков и это придает им уверенности. Но все ли так однозначно? Совсем неоднозначно, потому что статистика показывает, что делают игроки, но не отвечает на вопросы “почему”.

В 2013 на моем самом масштабном проекте World of Battles (MMO RTS) мы получали статистику о каждом значимом действии игрока (а их были сотни тысяч), поведении приложения и сервера. Часть статистики была доступна “вживую”, а часть появлялась постфактум на следующий день в процессе автоматической обработки данных на сервере.

Проект был большой и я, как и другие ответственные сотрудники, собирали и анализировали эти данные. Эта статистика показала нам многие сильные и слабые места игры. По ходу получения ответов на основе статистики у нас возникало множество новых вопросов. В этой статье я напишу о том, чего мне не хватало для анализа поведения пользователей игры во время работы над World of Battles.

Когда появляется статистика?

Статистика игры появится сразу же после того как у вас будет работающий клиент и, если необходим, сервер. Сначала это будут просто логи для отладки, но позже необходимо будет обязательно продумать и настроить систему статистики, которая позволит вам держать руку на пульсе работы вашего приложения. Ведь сама программа не скажет вам что с ней не так, равно как и ее пользователи.


На этом рисунке показано то, что известно о работе игры до того, как начали изучать и анализировать данные от массива пользователей

Начинаем собирать игровую статистику, какая она бывает?

Статистика производительности

• Статистика сервера — данные о работе сервера, например состояние или загруженность систем
• Статистика клиентов — данные о работе клиента, например, производительность, падения приложения

Статистика сообщества

Картина активности сообщества — обобщенные данные пользования чатами, форумом, срез постов и активности в социальных сетях, информация о трансляциях и ресурсах фанатов

Статистика пользователей

Метрики пользователей — стратегический взгляд на активность пользователей. Это DAU, MAU, ARP(P)U, ССU, Retention Rate, Average Session time и многие другие показатели

Статистика игрового процеcса

• Поведение игроков — данные о количестве сыгранных игр (или уровней), посещение тех или иных экранов, достигнутых уровнях и так далее
• Экономика — данные о внутриигровой экономике, как об экономике Soft, так и Hard- валюты
• Баланс — баланс игры имеет очень много граней и статистика может покрыть лишь некоторые из них, к примеру баланс успешности в играх, баланс боя, финансовый баланс, баланс скорости прогресса

Что позволяют сделать обработанные данные?

• Узнать основные метрики жизнедеятельности продукта
• Узнать о его наиболее слабых местах
• Строить гипотезы по оптимизации на основе полученных данных

На этом рисунке показано то, что Вы будете знать об игре после ознакомления и анализа данных

К примеру, во время работы над World of Battles, благодаря статистике, мы узнали, что определенные вещи не покупаются игроками, но мы не знали точных причин — либо это цена, либо это сила вещей, либо их внешний вид. И без проведения плейтестов мы бы так и гадали над причинами низкой покупаемости определенных вещей.

Теперь попробуем посмотреть на продукт глазами пользователей, как это сделать?

Мы находим представителей целевой аудитории, и даем поиграть вашу игру. Весь процесс записываем на видео, а также собираем отзывы игроков по ходу и в конце тестирования.

Какие же есть основные инструменты плейтестов?

Видеозапись — этот инструмент позволяет наглядно увидеть активность игрока в вашей игре. Очень важна видеозапись первой игровой сессии, именно она покажет как ведут себя новички — большинство ваших пользователей.



На проекте World of Battles игра под видеозапись показала нам, что наш первый интерфейс мог быть понятен только разработчикам и хардкорщикам из 90-х и то, что некоторые важные экраны игроки вообще не открывают.

Анкетирование и интервью — эти инструменты позволяют собрать количественные результаты и ответы на наиболее волнующие разработчиков вопросы, такие как оценки сложности, графики, музыки, баланса и т.д.
Также они дают ответы на вопросы “Почему?”. Например, почему игроки не платят? Почему перестают играть? Будут ли советовать игру своим друзьям и что про нее скажут?



После опроса респондентов World of Battles мы узнали, что скорость битв в игре медленная, а скорость передвижения отрядов вообще никуда не годится. Игрокам было нудно ждать пока один отряд убьет в бою другой и особенно пока они перемещаются по карте. Мы же привыкли к игре, совсем это не замечали и никакая статистика нам не говорила об этой проблеме.

Фокус-группа — этот инструмент позволяет глубоко и детально проработать любые интересующие разработчика вопросы, начиная от отношения к существующим механикам и заканчивая планами на будущие обновления. При хорошей организации процесса от респондентов можно получить даже подсознательную информацию.



Во время обсуждения боёвки World of Battles на фокус-группе мы узнали почему игроки выбирают те или иные элитные отряды, какими они видят гигантов, а также какие карты и почему им кажутся более интересными, чем другие.

Есть еще одно очень важное преимущество плейтестов перед статистикой и заключается оно в том, что статистика игрового процесса доступна только со своих проектов, или проектов издателя. А плейтест можно провести на любом существующем продукте и в результате можно заведомо узнать какие из механик и элементов успешной игры более популярны, а какие менее, хорош ли баланс и так далее.

Итог

В сухом остатке можно сказать о том, что статистика позволяет увидеть проблемы, а плейтесты понять их причины и впоследствии правильно исправить. Т.е. только используя комбинацию статистики и плейтестов можно увидеть полную и четкую картину происходящего.