Салют, Хабр! На связи Сергей Глуховской из команды аналитики виртуального ассистента SberDevices. В этой статье, на примере одного из продуктов виртуального ассистента — «Сочини сказку», покажу, как мы с командой поэтапно выстроили путь от процессов и требований бизнеса к готовым дашбордам, опираясь на методику Dashboard Map от Романа Бунина.

В сети находится множество статей про нужные аналитику hard-скиллы. Вы уже, конечно же, знаете все must-have инструменты в работе аналитика: это и SQL, и Python, и теория вероятности с математической статистикой. Знаете, как работать с базами данных, как их (данные) обрабатывать, как составлять прогнозы, делать выводы о генеральной совокупности и так далее. Однако немаловажным качеством аналитика является умение анализировать состояние продукта и помогать совершенствовать его на основе данных.

Одним из ключевых инструментов в этом процессе является построение дашборда — инструмента, который помогает быстро и наглядно отслеживать основные показатели продукта, выявлять зависимости и анализировать тренды. Для того чтобы дашборды действительно были полезны и помогали в принятии управленческих решений, нужно правильно выбрать метрики и типы отчетов.

Так с чего начать выстраивание дашбордов? Как понять, какие типы дашбордов необходимо применять и какие метрики на них отражать? Давайте разбираться.

От слов к практике

Давайте поверхностно разберемся, как устроен виртуальный ассистент. Он отвечает за общение на различные темы, фактологию, а также за развлекательный контент и узкоспециализированные продукты, интегрированные в виртуального помощника — далее будем называть их навыками.

Каждый навык в виртуальном ассистенте «отвечает» за определенную сферу и имеет собственный сценарий взаимодействия. Например, банковские навыки — за финансовые операции, навык «Видео» – за поиск фильмов, сериалов, «Музыка» – за поиск и включение музыки и так далее.

Попадание в навык происходит по специально выделенным для него фразам — интентам. Функциональным подмножеством виртуального ассистента, отвечающим за распознавание пользовательских намерений (интентов) и сопровождением пользователя в навык является Intent Recognizer.

Путь обработки интента в виртуальном ассистенте выглядит примерно так (Схема 1):

1. Пользователь отправляет запрос виртуальному ассистенту. При помощи модели для распознавания голоса, запрос преобразуется в текстовое представление и кодируется;

2. Далее запрос попадает в сервис для классификации запросов благодаря алгоритмам Intent Recognizer;

3. Классификатор, в свою очередь, определяет запрос в определенный навык;

4. В навыке формируется ответ и модель дальнейшего взаимодействия с пользователем.

Представим, что мы аналитики в одном из навыков, где работают над продуктом «Сочини сказку». Интентом для попадания в сказочный навык является запрос «Сочини сказку…». Подробнее об этом и прочих аспектах вывода навыка на умные устройства мы рассказали в сентябрьской статье, посвящённой релизу навыка на экранах. 

Определяем цели и задачи продукта

На начальном этапе важно обсудить с бизнесом, какая у продукта цель, польза и целевая аудитория.

Целевая аудитория продукта «Сочини сказку»:

• Дети в возрасте от 5 до 10 лет: приложение можно использовать для развития воображения и языковых навыков.

• Родители, которые ищут образовательные и развлекательные инструменты для своих детей.

• Воспитатели и учителя: использование в образовательных целях, как часть учебной программы или внеклассной деятельности.

• Подростки и взрослые, проявляющие интерес к продуктам на основе искусственного интеллекта.

Польза продукта:

• Развитие креативности: дети могут придумывать свои собственные сюжеты и персонажей, что стимулирует творчество и воображение.

• Улучшение языковых навыков: процесс создания и слушания сказок способствует расширению словарного запаса и улучшению навыков повествования.

• Интерактивное обучение: игровой подход к обучению делает процесс познания более увлекательным и эффективным.

• Укладывание ребёнка спать: создание сказок превращает рутину в игру, что делает процесс увлекательным как для ребёнка, так и для родителя. Это может снизить сопротивление ребёнка перед сном, так как он будет с нетерпением ждать этого времени.

Cхема взаимодействия пользователя с продуктом

После того, как мы определились с целями и задачами продукта, необходимо понять, что же происходит внутри. 

Давайте изобразим схему работы «Сочини сказку». Выделим основные блоки (Схема 2).

Теперь разберем каждый блок отдельно: 

• Привлечение
  В этом блоке рассматриваются возможные точки входа в навык. Проще говоря, здесь мы отвечаем на вопрос: «Как люди могут в него попасть?».
  Возможно, пользователь сразу попросил виртуального ассистента (на колонках SberBoom, SberBoom Mini, SberBoom Mini 2 или SberBoom Home) сочинить историю или совершил проактивное действие через другой навык.
  Если же используются экранные устройства на базе Салют ТВ, то попасть в нужный продукт, помимо голосового запуска, можно также и через специальный виджет – небольшой интерактивный элемент, который встраивают в приложение. Для «Сочини сказку» вход по виджету возможен из раздела «Игры» в меню «Детской комнаты».

• Онбординг
  Этот этап начинается, когда пользователь уже попал в продукт. Ассистент вкратце объясняет, как взаимодействовать с продуктом, какие шаги ожидают пользователя и какого результата стоит ожидать.

• Активация пользователя
  Далее идет активное взаимодействие с пользователем, определение стартовых параметров для генерации сказки и прохождение полного сценария взаимодействия. Внутри множество разных сложных механизмов, но для общей картины нам этого достаточно.

• Запрос на повторную генерацию
  После первого знакомства с навыком, вероятно, он захочет сочинить еще одну историю, для чего существует шаг перехода на этап выбора параметров новой истории.

Формирование вопросов по каждому шагу

Теперь, когда у нас есть схема взаимодействия пользователя с продуктом, можно сформулировать для каждого этапа вопросы, необходимые для того, чтобы определить релевантные метрики продукта.

Вопросы формулируются исходя из того, на каком этапе мы находимся.

Например, относительно процесса привлечения нас интересует, откуда идет наибольший трафик пользователей. На финальном этапе же хочется оценить, насколько интересно было пользователям взаимодействовать с навыком (Retention N-day, Stickness и т.д.). (Схема 3)

Метрики и срезы

После того, как были сформулированы вопросы к каждому шагу, стоит подумать: «С помощью каких метрик возможно получить ответы?»

Существует большое количество разнообразных метрик. Их можно разделить на несколько категорий:

• Экономические метрики. С помощью этих метрик можно измерить продажи, соотнести их с расходами и понять, что можно улучшить.

• Продуктовые метрики. Показывают качество и ценность, а также насколько лояльно пользователи относятся к продукту.

• Метрики привлечения. Показывают, насколько быстро, как часто, и как именно пользователи находят наш продукт.

При формирование метрик необходимо сформулировать основную цель продукта. Это поможет выделить основной показатель, который служит ориентиром для роста компании или продукта и является целевым — North Star Metric (NSM). Воспринимая ключевую метрику как цель, можно декомпозировать её на более мелкие, чтобы лучше понимать и управлять принимаемыми в разработке решениями.

Существуют и узкоспециализированные продукты, для которых общедоступные метрики нерелевантны. В таких случаях нужно искать или составлять новые способы оценки продукта. Например, в аналитике диалогового формата пользовательского взаимодействия с виртуальным ассистентом используется такая метрика, как среднее количество реплик на пользователя. Она отражает глубину диалога — на сколько шагов пользователь в среднем продвигается с начала сессии в своем взаимодействии с виртуальным помощником. Эта метрика имеет такой же расчет, как и ARPU, но в случае Ассистента числитель заменяется на общее количество реплик за период (Revenue = All count query).

Составление списка метрик рекомендуется начать с двух вещей:

• Поднять реестр имеющихся метрик или документацию с их описанием и посмотреть, что используется в смежных продуктах. Возможно, для метрик, которые нужны вашему проекту, уже есть описанный расчет;

• Обсудите с коллегами, какие метрики они считают приоритетными и за какими интересно было бы наблюдать в проекте дополнительно.

Посмотрим на примере, каким может быть набор метрик для продуктовой аналитики «Сочини сказку», опираясь на список составленных в Схеме 3 вопросов по каждому этапу продвижения в навыке.

В схеме формирования метрик (Схема 4) представлен примерный перечень метрик и срезов, которые показывают, в какой точке развития находится продукт. 

В качестве NSM для нашего продукта мы выбрали подсчёт доли сессий, в которых есть хотя бы 1 законченная сказка. В идеале метрика должна стремиться к 100%, так как в каждую сессию мы хотим донести до пользователя главную ценность — законченную историю. 

Дело в том, что пользователи могут начинать историю несколько раз, проявляя фантазию в выборе героя или стремясь создать максимально увлекательную завязку, но не добраться до завершения сказки.

Эта метрика отражает ключевую цель продукта — вовлечённость и удовлетворённость от взаимодействия. Высокий показатель завершённых сказок будет свидетельствовать о том, что пользователи находят контент интересным, понятным и потенциально захотят возвращаться к нему снова.

На основе этой ключевой метрики можно выстраивать и другие показатели, которые поддерживают её достижение. Среди них:

• воронка конверсии, показывающая, сколько пользователей проходит различные этапы от активации до завершения сказки;

• доля возвращающихся пользователей, отражающая лояльность аудитории;

• показатели качества текстовых генераций — такие, как интересность, безопасность, связность, адаптивность контента к запросу пользователя;

• другие (см. схему 4)

Совокупность этих метрик позволяет нам детально анализировать пути пользователей, выявлять узкие места и оптимизировать продукт для достижения основной цели.

Как соотносятся срез и метрика?
Метрика – это количественный или качественный показатель, с помощью которой измеряют эффективность развития бизнеса на каждом этапе. 
Срез – это категориальный признак, по которому отслеживается та или иная метрика. Примеры среза: город, страна, пол, возраст, устройство.

Роли пользователей дашбордов и бизнес-процессы

Чтобы правильно определить роли бизнес-пользователей и их потребности в дашбордах, необходимо провести стратегическую сессию. Во время этой сессии уточняется, кто из участников команды будет пользоваться дашбордами, какие метрики наиболее важны для каждого и какие есть потребности в рамках ad-hoc запросов.

Пример: менеджеры продукта (PM) ежемесячно анализируют метрики и их динамику, чтобы корректировать бизнес-план и расставлять приоритеты в развитии продукта.

Важно понимать, что должность не всегда соответствует роли. То есть нужно описывать именно роль (продакт-менеджер, аналитик), а не отдельно каждого пользователя или его должность.

В продукте «Сочини сказку» пользователям дашборда могут быть присвоены три основные роли: продакт-менеджер (PM), аналитик и контент-редактор. Каждая из этих ролей имеет свои потребности в использовании дашборда.

• Продакт-менеджер (PM): для PM важно видеть общую картину продукта. Дашборд позволяет ему эффективно представлять результаты работы на ежемесячных встречах с CPO и CEO, что делает процесс отчетности более наглядным и удобным.

• Аналитик: аналитику необходим дашборд с аналитическими инструментами, включающими большое количество графиков, сложные визуализации и элементы интерактивности. Такой дашборд поможет ему делать новые выводы и находить решения или потребность в разработке для различных задач, анализируя данные более глубоко.

• Контент-редактор: с помощью дашборда контент-редактор сможет понимать запросы пользователей, оценивать, как модель отвечает на эти запросы, а также выявлять, где поведение модели корректно, а где возникают ошибки.

• Кроме того, предусмотрено отслеживание алертов, которые сигнализируют о резком падении или неожиданном росте ключевых метрик, что позволяет оперативно реагировать на изменения в данных.

Dashboard Map

Вот мы и подошли к итоговому и, пожалуй, самому интересному шагу — составлению Dashboard Map, специализированному фреймворку, который помогает в сборе, структурировании и визуализации данных. С его помощью можно отобразить сразу все ключевые факторы: роли, процессы, метрики, а также подобрать нужные виды дашбордов.

Итак, порядок действий:

• Выписать все роли и все бизнес-процессы, которые были сформулированы на прошлых шагах;

• Составить список дашбордов, необходимых для решения задач бизнес- пользователей;

• Определиться со списком метрик и срезов, которые будут отражены на дашбордах.

Бинго! Собрав эту информацию, мы получим ответы сразу на все вопросы: «Для кого этот продукт или обновление?», «Зачем ставится та или иная задача?», «Что мы делаем для улучшения процесса?».

После того как составлен Dashboard Map, остается совместно с командой приоритизировать дашборды, а затем приступить к их реализации, опираясь на фреймворк Dashboard Canvas. Данная методика позволяет не только детально поработать над каждым дашбордом в отдельности, но и выстроить их взаимосвязь.

Резюмируем

Этапы, которые необходимо пройти при построении Dashboard Map продукта:

1. Определение схемы процессов. На первом шаге работы с продуктом необходимо составить основную схему процессов. Это поможет наглядно представить все ключевые этапы и взаимодействия.

2. Формулирование вопросов. Для каждого блока схемы следует сформулировать вопросы, которые помогут определить релевантные метрики продукта. Эти вопросы должны быть нацелены на понимание потребностей пользователей и ключевых аспектов работы проекта.

3. Определение метрик и срезов. Из сформулированных вопросов необходимо вывести метрики и срезы данных, а также выявить ключевые показатели по продукту. Это поможет более точно анализировать эффективность проекта и выявлять проблемные зоны.

4. Стратегическая сессия. Проведите стратегическую сессию с командой, чтобы обсудить полученную схему. Определите роли бизнес-пользователей и выясните, какие бизнес-потребности для этих ролей могут быть удовлетворены с помощью дашбордов. Уточните, на какие метрики пользователи обращают внимание в первую очередь.

5. Структурирование информации в Dashboard Map. Все собранные данные следует структурировать в формате Dashboard Map. Это позволит четко обозначить ключевые цели, пользователей и их задачи, а также основные метрики и показатели. Кроме того, так вы сможете определить количество необходимых дашбордов, типы визуализаций и последовательность их использования.

Таким образом, на примере навыка «Сочини сказку» мы детально проанализировали ключевые процессы, выявили потребности пользователей и определили релевантные метрики для успешного функционирования дашборда. 

До новых статей и продуктов!

За помощь в подготовке статьи хочется сказать спасибо:

• Анастасия Шахматова

• Олег Юрьев 

• Артур Мусаев

• Инна Глебкина