К этому моменту у вас уже должно было сложиться неплохое понимание прогнозного моделирования и его применения к играм. Если же нет, смотрите: часть 1 и часть 2 этой статьи. Мы сформировали хорошую базу, а в заключительной части попытаемся спрогнозировать прогнозирование и посмотрим, какое будущее ждет стремительно развивающуюся индустрию.
Даже после того, как всё уже сказано и сделано, прогнозирование больших данных остается чем-то неизведанным. Мы с вами находимся всего лишь на ранних этапах раскрытия потенциала этой технологии. Поэтому, если вы сомневаетесь, применять прогнозирование в вашей игровой компании или нет, у меня для вас отличная новость: вы шагнули только на первую ступеньку, но уже оказались впереди многих ваших конкурентов.
А плохая новость заключается в том, что это настолько неисследованная область, что на данный момент еще не существует достаточно квалифицированных специалистов, которые могут правильно и в полном объеме интерпретировать полученные данные. Да и самих данных, с которыми можно работать, не так уж много. Чтобы создавать модели прогнозирования, нужны опытные пользователи. В социальной прогнозной аналитике, описанной в предыдущей части, их роль выполняют социальные «киты». Это пользователи, у которых есть крупные социальные связи, и тем самым они способны существенно влиять на других игроков. Подтверждая или опровергая те или иные прогнозы, «киты» способны многому научить разработчиков игр при составлении моделей того или иного рода. Прогнозирование улучшается благодаря действиям игрока (повторяющиеся сценарии), а модель ориентирована на опытных пользователей. Без них невозможно усовершенствовать модели прогнозирования.
Для многих разработчиков камнем преткновения является не отсутствие данных, а недостаток квалифицированных аналитиков. В нашем университете (Дмитрий Уильямс – доктор философии в Мичиганском университете. – Прим. ред.) этому еще просто не обучают. Мы готовим либо хороших технических специалистов, которые могут работать с данными, либо хороших интерпретаторов. И очень редко тех, кто умеет и то, и другое. Некоторые исследователи пошли в этом вопросе еще дальше. На мой взгляд, больше всего не хватает как раз людей, которые понимают правильные вопросы. Найти людей с техническими навыками легко, а вот взять все бизнес-процессы и приспособить к ним данные – намного сложнее. Вот где пригодились бы социологи.
Впрочем, главная проблема – это отсутствие простых и эффективных инструментов для создания моделей. Эти инструменты не работают как приложения для анализа типа «настройка за полчаса», которые устанавливаются быстро и легко. Они объемные и громоздкие, и для их создания необходимо время. Разработчикам игр не так уж просто взять и начать пользоваться этими инструментами: нужно досконально изучить своих игроков и потратить много времени на сбор полезных данных, прежде чем отдача станет видна. Вам придется иметь дело с интеграцией или SDK (software development kit), и на выходе разработанные инструменты должны быть понятны и доступны на всех уровнях менеджмента. Легче сказать, чем сделать, но всё же такое возможно.
Звучит не очень весело, правда? Как я уже сказал ранее, прогнозирование – это не магия. Игровое прогнозирование в частности – это смесь науки и упорной работы. Тем не менее, не всё так мрачно: появляется множество хороших онлайн-инструментов и идет процесс накопления опыта. На передовой сейчас находятся исследователи, которые пытаются истолковать данные и построить лучшие модели, чтобы вывести эту индустрию на конкурентный уровень. И пути назад уже нет.
В конце концов, мы придем к тому, что прогнозирование превратится в товар и станет привычной частью любой информационной панели. Надеюсь, социальная ценность сможет вплотную приблизиться по показателям к K-Score или LTV.
Вы спросите: если прогнозирование действительно такое ценное, должны ли на него переключиться все компании, занимающиеся аналитикой?
Скажем так: между производительностью и доступностью для понимания идет постоянная борьба. Проще говоря (как вы уже могли узнать из предыдущих публикаций), аналитика становится сложнее. По мере ее развития мы получаем всё более значимые и точные результаты, но эти результаты часто идут в ущерб способности понимать.
Например, новые модели информатики, о которых мы сейчас говорим, затмевают обычные социологические методики и принципы бизнес-школы. Поверьте, мы добиваемся уровня точности в 90 %, используя некоторые модели, которые вы ни за что бы не создали с помощью традиционных методик (например логит-модели, регрессия).
Но есть и обратная сторона медали. Эти модели нетрадиционные, поэтому мы не получаем понятных результатов: они выводятся в таблицах, условных операторах, массивах правил и прочих длинных и непостижимых форматах. Буквально ни один человек не в состоянии постичь эти данные. Я потратил большую часть своей карьеры, пытаясь разобраться в данных и понять человеческую природу геймеров. И тем не менее, прочитав две страницы, полные выражений if-then, я ничего не понял.
Так как же можно доверять моделям, которые мы не понимаем? Потратив уйму времени на исследование и тестирование, мы уже просто знаем, что оно работает. Неважно как, главное – результат. Эти модели достаточно точные, уверенно проходят тестирование и повторные испытания. Это черный ящик, который действительно работает.
Вернемся к играм. Представьте, что вам нужно узнать, потратит ли деньги игрок А в следующем месяце. У вас есть две модели: одна говорит с точностью 85 %, что потратит, но вы не сможете узнать причину, а другая – с точностью 40 %, но объясняет почему. Какую концепцию вы выберете?
С практической точки зрения это довольно простой вопрос. Я в каждом случае буду выбирать модель с самым высоким процентом точности. Если вы достаточно упорны и собираетесь проверять их, то сможете в процессе тестирования разработать алгоритм, который поможет узнать причину.
Не поймите меня неправильно: я опытный разработчик моделей, и мне тоже хочется знать все ответы. Но если я могу получить модели со степенью надежности 80 % безо всяких объяснений, это будет стоить того. Я бы хотел, чтобы отдельная область на панели инструментов отвечала мне на вопрос «почему?», и я буду упорно работать над тем, чтобы она стала доступной для команд разработчиков и коммьюнити-менеджеров. Они лучше всех понимают игру, поэтому им нужны инструменты, которые можно легко усвоить. Это более разумный и практичный вход в кроличью нору.
Как я уже говорил в самом начале цикла статей, никто не в силах предсказать будущее. Но если взять всю имеющуюся информацию о повторяющихся сценариях и прогнозах, добавить туда весь опыт в сфере обработки данных, мы станем намного ближе к тому, чтобы сделать это.
Даже после того, как всё уже сказано и сделано, прогнозирование больших данных остается чем-то неизведанным. Мы с вами находимся всего лишь на ранних этапах раскрытия потенциала этой технологии. Поэтому, если вы сомневаетесь, применять прогнозирование в вашей игровой компании или нет, у меня для вас отличная новость: вы шагнули только на первую ступеньку, но уже оказались впереди многих ваших конкурентов.
А плохая новость заключается в том, что это настолько неисследованная область, что на данный момент еще не существует достаточно квалифицированных специалистов, которые могут правильно и в полном объеме интерпретировать полученные данные. Да и самих данных, с которыми можно работать, не так уж много. Чтобы создавать модели прогнозирования, нужны опытные пользователи. В социальной прогнозной аналитике, описанной в предыдущей части, их роль выполняют социальные «киты». Это пользователи, у которых есть крупные социальные связи, и тем самым они способны существенно влиять на других игроков. Подтверждая или опровергая те или иные прогнозы, «киты» способны многому научить разработчиков игр при составлении моделей того или иного рода. Прогнозирование улучшается благодаря действиям игрока (повторяющиеся сценарии), а модель ориентирована на опытных пользователей. Без них невозможно усовершенствовать модели прогнозирования.
Для многих разработчиков камнем преткновения является не отсутствие данных, а недостаток квалифицированных аналитиков. В нашем университете (Дмитрий Уильямс – доктор философии в Мичиганском университете. – Прим. ред.) этому еще просто не обучают. Мы готовим либо хороших технических специалистов, которые могут работать с данными, либо хороших интерпретаторов. И очень редко тех, кто умеет и то, и другое. Некоторые исследователи пошли в этом вопросе еще дальше. На мой взгляд, больше всего не хватает как раз людей, которые понимают правильные вопросы. Найти людей с техническими навыками легко, а вот взять все бизнес-процессы и приспособить к ним данные – намного сложнее. Вот где пригодились бы социологи.
Впрочем, главная проблема – это отсутствие простых и эффективных инструментов для создания моделей. Эти инструменты не работают как приложения для анализа типа «настройка за полчаса», которые устанавливаются быстро и легко. Они объемные и громоздкие, и для их создания необходимо время. Разработчикам игр не так уж просто взять и начать пользоваться этими инструментами: нужно досконально изучить своих игроков и потратить много времени на сбор полезных данных, прежде чем отдача станет видна. Вам придется иметь дело с интеграцией или SDK (software development kit), и на выходе разработанные инструменты должны быть понятны и доступны на всех уровнях менеджмента. Легче сказать, чем сделать, но всё же такое возможно.
Звучит не очень весело, правда? Как я уже сказал ранее, прогнозирование – это не магия. Игровое прогнозирование в частности – это смесь науки и упорной работы. Тем не менее, не всё так мрачно: появляется множество хороших онлайн-инструментов и идет процесс накопления опыта. На передовой сейчас находятся исследователи, которые пытаются истолковать данные и построить лучшие модели, чтобы вывести эту индустрию на конкурентный уровень. И пути назад уже нет.
В конце концов, мы придем к тому, что прогнозирование превратится в товар и станет привычной частью любой информационной панели. Надеюсь, социальная ценность сможет вплотную приблизиться по показателям к K-Score или LTV.
Вы спросите: если прогнозирование действительно такое ценное, должны ли на него переключиться все компании, занимающиеся аналитикой?
Скажем так: между производительностью и доступностью для понимания идет постоянная борьба. Проще говоря (как вы уже могли узнать из предыдущих публикаций), аналитика становится сложнее. По мере ее развития мы получаем всё более значимые и точные результаты, но эти результаты часто идут в ущерб способности понимать.
Например, новые модели информатики, о которых мы сейчас говорим, затмевают обычные социологические методики и принципы бизнес-школы. Поверьте, мы добиваемся уровня точности в 90 %, используя некоторые модели, которые вы ни за что бы не создали с помощью традиционных методик (например логит-модели, регрессия).
Но есть и обратная сторона медали. Эти модели нетрадиционные, поэтому мы не получаем понятных результатов: они выводятся в таблицах, условных операторах, массивах правил и прочих длинных и непостижимых форматах. Буквально ни один человек не в состоянии постичь эти данные. Я потратил большую часть своей карьеры, пытаясь разобраться в данных и понять человеческую природу геймеров. И тем не менее, прочитав две страницы, полные выражений if-then, я ничего не понял.
Так как же можно доверять моделям, которые мы не понимаем? Потратив уйму времени на исследование и тестирование, мы уже просто знаем, что оно работает. Неважно как, главное – результат. Эти модели достаточно точные, уверенно проходят тестирование и повторные испытания. Это черный ящик, который действительно работает.
Вернемся к играм. Представьте, что вам нужно узнать, потратит ли деньги игрок А в следующем месяце. У вас есть две модели: одна говорит с точностью 85 %, что потратит, но вы не сможете узнать причину, а другая – с точностью 40 %, но объясняет почему. Какую концепцию вы выберете?
С практической точки зрения это довольно простой вопрос. Я в каждом случае буду выбирать модель с самым высоким процентом точности. Если вы достаточно упорны и собираетесь проверять их, то сможете в процессе тестирования разработать алгоритм, который поможет узнать причину.
Не поймите меня неправильно: я опытный разработчик моделей, и мне тоже хочется знать все ответы. Но если я могу получить модели со степенью надежности 80 % безо всяких объяснений, это будет стоить того. Я бы хотел, чтобы отдельная область на панели инструментов отвечала мне на вопрос «почему?», и я буду упорно работать над тем, чтобы она стала доступной для команд разработчиков и коммьюнити-менеджеров. Они лучше всех понимают игру, поэтому им нужны инструменты, которые можно легко усвоить. Это более разумный и практичный вход в кроличью нору.
Как я уже говорил в самом начале цикла статей, никто не в силах предсказать будущее. Но если взять всю имеющуюся информацию о повторяющихся сценариях и прогнозах, добавить туда весь опыт в сфере обработки данных, мы станем намного ближе к тому, чтобы сделать это.
demonit
ни о чем