Сейчас, работая в исследовательской компании, я иногда встречаю разработчиков, которые уверенно заявляют, что им не нужны никакие исследования аудитории, раз у них есть статистика. У них за спиной данные от сотен тысяч или даже миллионов игроков и это придает им уверенности. Но все ли так однозначно? Совсем неоднозначно, потому что статистика показывает, что делают игроки, но не отвечает на вопросы “почему”.
В 2013 на моем самом масштабном проекте World of Battles (MMO RTS) мы получали статистику о каждом значимом действии игрока (а их были сотни тысяч), поведении приложения и сервера. Часть статистики была доступна “вживую”, а часть появлялась постфактум на следующий день в процессе автоматической обработки данных на сервере.
Проект был большой и я, как и другие ответственные сотрудники, собирали и анализировали эти данные. Эта статистика показала нам многие сильные и слабые места игры. По ходу получения ответов на основе статистики у нас возникало множество новых вопросов. В этой статье я напишу о том, чего мне не хватало для анализа поведения пользователей игры во время работы над World of Battles.
![](https://habrastorage.org/files/a70/627/aa1/a70627aa12d84dd99b8c78997bb642d1.jpg)
Статистика игры появится сразу же после того как у вас будет работающий клиент и, если необходим, сервер. Сначала это будут просто логи для отладки, но позже необходимо будет обязательно продумать и настроить систему статистики, которая позволит вам держать руку на пульсе работы вашего приложения. Ведь сама программа не скажет вам что с ней не так, равно как и ее пользователи.
![](https://habrastorage.org/files/3ea/4de/83b/3ea4de83b93f4adb8e929d102ef3e571.jpg)
На этом рисунке показано то, что известно о работе игры до того, как начали изучать и анализировать данные от массива пользователей
Картина активности сообщества — обобщенные данные пользования чатами, форумом, срез постов и активности в социальных сетях, информация о трансляциях и ресурсах фанатов
Метрики пользователей — стратегический взгляд на активность пользователей. Это DAU, MAU, ARP(P)U, ССU, Retention Rate, Average Session time и многие другие показатели
Что позволяют сделать обработанные данные?
![](https://habrastorage.org/files/045/870/d10/045870d10dae44d7a724251c5d710651.jpg)
На этом рисунке показано то, что Вы будете знать об игре после ознакомления и анализа данных
К примеру, во время работы над World of Battles, благодаря статистике, мы узнали, что определенные вещи не покупаются игроками, но мы не знали точных причин — либо это цена, либо это сила вещей, либо их внешний вид. И без проведения плейтестов мы бы так и гадали над причинами низкой покупаемости определенных вещей.
Мы находим представителей целевой аудитории, и даем поиграть вашу игру. Весь процесс записываем на видео, а также собираем отзывы игроков по ходу и в конце тестирования.
Какие же есть основные инструменты плейтестов?
Видеозапись — этот инструмент позволяет наглядно увидеть активность игрока в вашей игре. Очень важна видеозапись первой игровой сессии, именно она покажет как ведут себя новички — большинство ваших пользователей.
![](https://habrastorage.org/files/1f4/55c/a63/1f455ca63add44078536d9d53f7cf65d.jpg)
На проекте World of Battles игра под видеозапись показала нам, что наш первый интерфейс мог быть понятен только разработчикам и хардкорщикам из 90-х и то, что некоторые важные экраны игроки вообще не открывают.
Анкетирование и интервью — эти инструменты позволяют собрать количественные результаты и ответы на наиболее волнующие разработчиков вопросы, такие как оценки сложности, графики, музыки, баланса и т.д.
Также они дают ответы на вопросы “Почему?”. Например, почему игроки не платят? Почему перестают играть? Будут ли советовать игру своим друзьям и что про нее скажут?
![](https://habrastorage.org/files/74b/f3c/c0a/74bf3cc0aa9f45cebf1d950f2fb8c0cd.jpg)
После опроса респондентов World of Battles мы узнали, что скорость битв в игре медленная, а скорость передвижения отрядов вообще никуда не годится. Игрокам было нудно ждать пока один отряд убьет в бою другой и особенно пока они перемещаются по карте. Мы же привыкли к игре, совсем это не замечали и никакая статистика нам не говорила об этой проблеме.
Фокус-группа — этот инструмент позволяет глубоко и детально проработать любые интересующие разработчика вопросы, начиная от отношения к существующим механикам и заканчивая планами на будущие обновления. При хорошей организации процесса от респондентов можно получить даже подсознательную информацию.
![](https://habrastorage.org/files/fb2/31b/5d3/fb231b5d350a41ee928b6d389195328a.jpg)
Во время обсуждения боёвки World of Battles на фокус-группе мы узнали почему игроки выбирают те или иные элитные отряды, какими они видят гигантов, а также какие карты и почему им кажутся более интересными, чем другие.
Есть еще одно очень важное преимущество плейтестов перед статистикой и заключается оно в том, что статистика игрового процесса доступна только со своих проектов, или проектов издателя. А плейтест можно провести на любом существующем продукте и в результате можно заведомо узнать какие из механик и элементов успешной игры более популярны, а какие менее, хорош ли баланс и так далее.
В сухом остатке можно сказать о том, что статистика позволяет увидеть проблемы, а плейтесты понять их причины и впоследствии правильно исправить. Т.е. только используя комбинацию статистики и плейтестов можно увидеть полную и четкую картину происходящего.
![](https://habrastorage.org/files/b9d/b2f/10f/b9db2f10f7264acc991f4683cdc7b008.jpg)
В 2013 на моем самом масштабном проекте World of Battles (MMO RTS) мы получали статистику о каждом значимом действии игрока (а их были сотни тысяч), поведении приложения и сервера. Часть статистики была доступна “вживую”, а часть появлялась постфактум на следующий день в процессе автоматической обработки данных на сервере.
Проект был большой и я, как и другие ответственные сотрудники, собирали и анализировали эти данные. Эта статистика показала нам многие сильные и слабые места игры. По ходу получения ответов на основе статистики у нас возникало множество новых вопросов. В этой статье я напишу о том, чего мне не хватало для анализа поведения пользователей игры во время работы над World of Battles.
![](https://habrastorage.org/files/a70/627/aa1/a70627aa12d84dd99b8c78997bb642d1.jpg)
Когда появляется статистика?
Статистика игры появится сразу же после того как у вас будет работающий клиент и, если необходим, сервер. Сначала это будут просто логи для отладки, но позже необходимо будет обязательно продумать и настроить систему статистики, которая позволит вам держать руку на пульсе работы вашего приложения. Ведь сама программа не скажет вам что с ней не так, равно как и ее пользователи.
![](https://habrastorage.org/files/3ea/4de/83b/3ea4de83b93f4adb8e929d102ef3e571.jpg)
На этом рисунке показано то, что известно о работе игры до того, как начали изучать и анализировать данные от массива пользователей
Начинаем собирать игровую статистику, какая она бывает?
Статистика производительности
- Статистика сервера — данные о работе сервера, например состояние или загруженность систем
- Статистика клиентов — данные о работе клиента, например, производительность, падения приложения
Статистика сообщества
Картина активности сообщества — обобщенные данные пользования чатами, форумом, срез постов и активности в социальных сетях, информация о трансляциях и ресурсах фанатов
Статистика пользователей
Метрики пользователей — стратегический взгляд на активность пользователей. Это DAU, MAU, ARP(P)U, ССU, Retention Rate, Average Session time и многие другие показатели
Статистика игрового процеcса
- Поведение игроков — данные о количестве сыгранных игр (или уровней), посещение тех или иных экранов, достигнутых уровнях и так далее
- Экономика — данные о внутриигровой экономике, как об экономике Soft, так и Hard- валюты
- Баланс — баланс игры имеет очень много граней и статистика может покрыть лишь некоторые из них, к примеру баланс успешности в играх, баланс боя, финансовый баланс, баланс скорости прогресса
Что позволяют сделать обработанные данные?
- Узнать основные метрики жизнедеятельности продукта
- Узнать о его наиболее слабых местах
- Строить гипотезы по оптимизации на основе полученных данных
![](https://habrastorage.org/files/045/870/d10/045870d10dae44d7a724251c5d710651.jpg)
На этом рисунке показано то, что Вы будете знать об игре после ознакомления и анализа данных
К примеру, во время работы над World of Battles, благодаря статистике, мы узнали, что определенные вещи не покупаются игроками, но мы не знали точных причин — либо это цена, либо это сила вещей, либо их внешний вид. И без проведения плейтестов мы бы так и гадали над причинами низкой покупаемости определенных вещей.
Теперь попробуем посмотреть на продукт глазами пользователей, как это сделать?
Мы находим представителей целевой аудитории, и даем поиграть вашу игру. Весь процесс записываем на видео, а также собираем отзывы игроков по ходу и в конце тестирования.
Какие же есть основные инструменты плейтестов?
Видеозапись — этот инструмент позволяет наглядно увидеть активность игрока в вашей игре. Очень важна видеозапись первой игровой сессии, именно она покажет как ведут себя новички — большинство ваших пользователей.
![](https://habrastorage.org/files/1f4/55c/a63/1f455ca63add44078536d9d53f7cf65d.jpg)
На проекте World of Battles игра под видеозапись показала нам, что наш первый интерфейс мог быть понятен только разработчикам и хардкорщикам из 90-х и то, что некоторые важные экраны игроки вообще не открывают.
Анкетирование и интервью — эти инструменты позволяют собрать количественные результаты и ответы на наиболее волнующие разработчиков вопросы, такие как оценки сложности, графики, музыки, баланса и т.д.
Также они дают ответы на вопросы “Почему?”. Например, почему игроки не платят? Почему перестают играть? Будут ли советовать игру своим друзьям и что про нее скажут?
![](https://habrastorage.org/files/74b/f3c/c0a/74bf3cc0aa9f45cebf1d950f2fb8c0cd.jpg)
После опроса респондентов World of Battles мы узнали, что скорость битв в игре медленная, а скорость передвижения отрядов вообще никуда не годится. Игрокам было нудно ждать пока один отряд убьет в бою другой и особенно пока они перемещаются по карте. Мы же привыкли к игре, совсем это не замечали и никакая статистика нам не говорила об этой проблеме.
Фокус-группа — этот инструмент позволяет глубоко и детально проработать любые интересующие разработчика вопросы, начиная от отношения к существующим механикам и заканчивая планами на будущие обновления. При хорошей организации процесса от респондентов можно получить даже подсознательную информацию.
![](https://habrastorage.org/files/fb2/31b/5d3/fb231b5d350a41ee928b6d389195328a.jpg)
Во время обсуждения боёвки World of Battles на фокус-группе мы узнали почему игроки выбирают те или иные элитные отряды, какими они видят гигантов, а также какие карты и почему им кажутся более интересными, чем другие.
Есть еще одно очень важное преимущество плейтестов перед статистикой и заключается оно в том, что статистика игрового процесса доступна только со своих проектов, или проектов издателя. А плейтест можно провести на любом существующем продукте и в результате можно заведомо узнать какие из механик и элементов успешной игры более популярны, а какие менее, хорош ли баланс и так далее.
Итог
В сухом остатке можно сказать о том, что статистика позволяет увидеть проблемы, а плейтесты понять их причины и впоследствии правильно исправить. Т.е. только используя комбинацию статистики и плейтестов можно увидеть полную и четкую картину происходящего.
![](https://habrastorage.org/files/b9d/b2f/10f/b9db2f10f7264acc991f4683cdc7b008.jpg)
Поделиться с друзьями
saw_tooth
>Сейчас, работая в исследовательской компании, я иногда встречаю разработчиков, которые уверенно заявляют, что им не нужны никакие исследования аудитории, раз у них есть статистика. У них за спиной данные от сотен тысяч или даже миллионов игроков и это придает им уверенности. Но все ли так однозначно?
Каждый раз встречаю таких, когда пишу администраторам/модераторам WG в ветку вопросов по WOT
Krutyvus
Когда-то и я был таким администратором :(
Но сейчас понимаю, что так дела не делаются
Nadoedalo
Раньше и я был администратором как ты… но потом мне прострелили колено.
</offtop>
Сколько это денег-то стоит? Для инди-разработчика «дать поиграть родным/друзьям/знакомым» это вроде и плейтест, а вроде и нет. Как часто их нужно проводить? Какие навыки/специалисты нужны для проведения качественного анализа полученной информации? Анкетирование, вопросы фокус-группе(как и её набор), вот это всё?
«Проведите плей-тесты и всё поймёте» — это примерно как рисование совы в 3 шага.
Krutyvus
Если Вам интересно в целом как проводить плейтесты рекомендую почитать Jessy Shell «The art of game Design: A book of lenses».
Книга есть в PDF в интернете.
Родные, друзья и знакомые не обязательно целевая аудитория и точно не те, кто будут относиться к вашему продукту хладнокровно, как они относятся к чужим играм.
Но даже в таком процессе есть резон — Вы сможете увидеть самые очевидные проблемы в интерфейсе приложения. Т.е. если совсем-совсем нет денег, то лучше так, чем никак.
Относительно оптимальной частоты — все зависит от масштаба проекта и его уникальности.
Оптимальный минимум это 3 раза.
Первый раз — конкурентный анализ
Второй — проверка графики Core-Loop и основных механик
Третий — проверка целостного продукта перед его релизом с запасом времени на устранение найденных проблем.