Всем привет! Меня зовут Сережа Казарян из команды CX-аналитики AI-центра Тинькофф. Мы используем ML-инструменты, чтобы кластеризовывать обращения клиентов, анализировать нотификации и ошибки, с которыми сталкиваются пользователи. Мы переводим их в понятные actionable-инсайты для бизнеса. Каждый день работаем над тем, чтобы клиенту стало приятнее и лучше.

Но как же измерить, что клиенту стало лучше? Один из очевидных ответов — замерить retention клиента. Но есть нюанс: созревание этой метрики может достигать нескольких месяцев или даже лет. Менее очевидный вариант — замерять лояльность клиента. Но определить, кто такой лояльный клиент, и научиться различать степень его лояльности — отдельная наука, которая может занять много времени и требовать итеративной поддержки.

Помогает концепция ага-момента. В интернете мало статей на эту тему, а еще меньше — с графиками и подсказками по практической реализации. Поэтому поделюсь своим пониманием этой концепции и расскажу, как мы находили метрику ага-момента в Тинькофф. Это был командный проект, и спасибо моим классным коллегам, что у нас все получилось. Ну а теперь — поехали!

Что такое ага-момент

Aha-moment — это момент, когда клиент осознает ценность продукта. Клиент так и говорит: «Ага????, это реально прикольно!»

Мы предполагаем, что если клиент осознал ценность продукта, то, скорее всего, это положительно отразится на метриках его использования. Например, в случае дебетовых карт — на метриках транзакционной активности и лояльности клиента в целом. Этот момент ключевой в рассматриваемой концепции. 

Меня вдохновил Evan Lewis, и я адаптировал его таблицу для российского читателя. Собрал, какие еще есть моменты и чем они различаются, — посмотрим на примере абстрактной социальной сети «Т»:

Примерами реальных метрик ага-моментов являются:

• Вотсап: использование групповых чатов; 

• Facebook: семь друзей за десять дней;

• Тикток (для зрителей): просмотр очень релевантных видео.

(*Организация признана экстремистской)

Тогда как ага-моментов может быть в продукте множество и они могут варьироваться от того, к какому сегменту принадлежит клиент, метрика ага-момента может быть для них единая. Это можно объяснить тем, что неважно, через какие фичи клиент осознает ценность продукта, — в любом случае это должно отразиться на ключевых метриках его использования. Поэтому в дальнейшем мы будем говорить скорее о том, как найти метрику ага-момента, а не сам ага-момент.

Как найти метрику ага-момента

Ага-момент — точка, когда клиент осознает, как продукт может решить его проблему и удовлетворить потребности. Так давайте поможем ему в этом.

Ага-момент можно использовать в таких задачах:

• активация клиентов — одна из ступенек в онбординге;

• геймифицированные челленджи, доводящие до ага-момента;

• доработка фич для усиления ага-моментов;

• акции или промо, целевым действием которых был бы ага-момент.

Но даже если у клиента наступил ага-момент, как мы об этом узнаем? Нужен алгоритм поиска метрики ага-момента, который мы пошагово расписали на примере продукта «Дебетовая карта» и выдуманных данных.

Определяем идеального клиента. Для этого используем анализ кривых удержания клиентов. С помощью данных кривых найдем «точку вечности» — точку, дойдя до которой клиент уже с меньшей вероятностью откажется от продукта и останется с нами как можно дольше или навечно.

Найденную точку можно интерпретировать так: наш идеальный клиент — тот, кто на шестой месяц после первой транзакции остается активным. Вероятнее всего, он останется с нами и дальше.

Результат этапа — флаг активности на 25-ю неделю после первой транзакции. На это значение будем ориентироваться, анализируя метрики пользователей.

Генерим гипотезы ага-моментов и собираем признаки. На основании собранных метрик можно сравнивать клиентов. В этом вопросе чем больше — тем лучше, но как минимум нужно собрать ключевые метрики, за которыми вы следите.

Важно, чтобы эти признаки были не просто про клиента, а про его взаимодействие с продуктом. На такие признаки проще повлиять, и они лучше подходят концептуально. Например, такие признаки, как операционка телефона или пол клиента, в таком исследовании будут бесполезными, а число сессий или сумма транзакций подойдет.

Признаки должны отражать основные гипотезы относительно ценности продукта. Подумайте: какие фичи больше всего цепляют ваших пользователей? И какими метриками это можно оценить? Эти метрики и пойдут как признаки в нашу модель.

Мы собрали пятнадцать аналитиков из разных команд продукта и брейнштормили, чтобы нагенерить гипотезы. Каждый специалист по-своему видел, какие фичи и признаки могут помочь в определении метрики ага-момента, потому что у каждого своя специфика работы.

Потом выбираем самые значимые фичи, исходя из абсолютной величины корреляции с целевым признаком. А еще можно сортировать, исходя из значений важности признаков SHAP, есть хорошая статья на эту тему: 

Способ расчета признаков зависит от бизнесовой постановки задачи. Можно ориентироваться на такой флоу: клиент совершает первую транзакцию по карте → ждем неделю, смотрим его поведение в течение этой недели после транзакции → если клиент мало использует карту, включаем в его в различные кампании. В этом случае все признаки мы будем брать в интервале до седьмого дня после совершения первой транзакции.

Ждем одну неделю, потому что хотим за минимальное время определять, надолго останется с нами клиент или нет. А еще самый большой отток клиентов происходит после первой недели — и хочется на это отреагировать.

Результат этого этапа — набор основных признаков, описывающих использование продукта и отсортированных по своей важности относительно влияния на таргет. Для дальнейшей работы можем оставить, например, топ-15 самых значимых признаков использования продукта.

Смотрим влияние собранных признаков на целевую метрику. Можно использовать такой подход: разделить клиентов на подгруппы и в зависимости от значений метрик в каждой подгруппе посчитать долю активных клиентов через шесть месяцев. Изучая динамику изменения доли активных клиентов в зависимости от значений признаков, можно найти метрику ага-момента. 

Пример динамики:

Примерно до 10-й транзакции наблюдается быстрый рост доли активных клиентов, после 10-й транзакции он становится более плавным. Величину роста можно формализовать, например, определенным порогом процентного изменения. Значит, десять транзакций — особая точка, достигая которой клиент попадает в группу, где вероятность остаться активным через шесть месяцев существенно выше и уже не особо меняется, если транзачить больше.

Аналогично можно найти особые точки по другим признакам, которые в сочетании будут формировать метрику ага-момента клиента. Например, можно взять еще и сумму транзакций за период первой недели.

В результате у нас есть гипотеза метрики ага-момента. Чтобы убедиться в ее классности и подтвердить, что метрика действительно работает, нам нужно:

а) проверить корреляцию на других выборках;

б) проверить причинно-следственную связь.

Об этом подробнее расскажу в следующей статье. 

Итог

В бизнесе не всегда можно напрямую применить ага-момент и провести какие-то мероприятия, связанные с ним. Лучше относиться к ага-моменту как к дополнительной точке зрения, которая помогает анализировать особенности поведения пользователей во время использования продукта.

При желании можно найти широкое применение полученных ага-моментов. Например, это может стать отправной точкой для определения лояльных клиентов, так как помогает выявить различные инсайты относительно поведения клиентов в использовании продукта.

А если у вас есть вопросы или инсайты, которыми вы хотите поделиться, — добро пожаловать в комментарии!