В этой статье, состоящей из трёх частей, мы рассказываем о нашем исследовании метрик, на которые стоит ориентироваться, чтобы увеличить долгосрочную выручку онлайн-магазина.
В первой части обсудили проблемы, возникающие при оценке LTV пользователей онлайн-магазина, и как можно решить их с помощью прокси-метрик. Также мы рассказали, как ищут подобные метрики компании из разных областей и поделились собственным списком найденных метрик, применимых в e-commerce.
Во второй части мы описали техническую сторону отбора прокси-метрик: объяснили, как можно найти и выбрать наиболее полезные из множества вариантов, насколько хорошо они предсказывают LTV покупателей, смогут ли магазины с разными категориями товаров их использовать и т.д.
Третья, финальная часть, получилась более прикладной. В ней мы обсудим, как отбирать метрики с точки зрения смысла для бизнеса и на их основе принимать решения, повышающие LTV пользователей, а вместе с ним и долгосрочную выручку онлайн-магазина.
Интерпретация полученных прокси-метрик с точки зрения бизнеса
Напомним, что во второй части мы отобрали следующие прокси-метрики:
Количество заказов;
Посетитель оставил email;
Тип браузера;
Тип устройства;
Давность последнего посещения сайта;
Количество разных просмотренных товаров;
Длительность взаимодействия пользователя с сайтом в днях (разница в днях между первым и последним посещением);
Количество запросов в поисковой системе сайта;
Количество добавленных в корзину товаров.
Думаем, не нужно особо объяснять наличие в нашем списке связанных с заказами признаков – их влияние на LTV понятно: согласно RFM-анализу, чем больше заказов совершил пользователь, тем он лояльнее к компании и тем вероятнее продолжит покупать у вас в будущем.
Теперь постараемся объяснить, как остальные признаки способны предсказывать LTV:
Посетитель оставил email. То, что клиент передал свои контактные данные – явный признак лояльности к магазину. В некоторых магазинах нельзя сделать заказ, не оставляя email, и можно предположить, что оставленный email – это просто следствие заказа. Но мы проверили и выяснили, что сам по себе оставленный email без совершения заказа может положительно повлиять на будущий LTV. Вероятно, это связано с тем, что зная email пользователя, магазин может коммуницировать с ним, стимулируя к дальнейшим покупкам. Однако в этом случае многое зависит от эффективности рассылок.
Тип браузера. Эта метрика может влиять на LTV, причем для каждого магазина все будет индивидуально: в одном с наибольшей вероятностью в будущем совершат покупку пользователи Safari, в другом – пользователи Firefox. Это может зависеть от категории товаров в магазине. Например, если у магазина большой ассортимент техники Apple, скорее всего, пользователи Safari будут к нему более лояльны. Другая причина заключается в том, что сайт по-разному выглядит и функционирует в зависимости от браузера.
Тип устройства. По сути, здесь только две опции: компьютер и смартфон. На примере многих магазинов мы видим, что покупатели, использующие компьютер, в будущем более склонны к покупке. Возможно, это связано с тем, что с него удобнее заказывать и в целом пользоваться сайтом, чем с мобильного устройства.
Давность последнего посещения сайта. Метрика напрямую связана с лояльностью пользователя. Например, если человек не заходил на сайт более двух месяцев, возможно, он уже забыл о нем или не нашёл интересный ему товар, поэтому вряд ли вернется в будущем.
Количество просмотренных разных товаров. Чем больше пользователь посмотрел разных товаров, тем больше эффективный размер каталога и тем лучше человек знаком с магазином и выше вероятность, что он вспомнит про него, когда захочет что-то купить.
Длительность взаимодействия пользователя с сайтом в днях. Если человек продолжительное время посещает сайт в разные дни, это говорит о том, что интернет-магазин интересен пользователю и он знает, что может найти там нужные товары.
Количество запросов в поисковую систему сайта. Регулярное взаимодействие пользователя с поисковой системой интернет-магазина говорит о том, что она работает и хорошо помогает пользователю решать его задачи.
Количество добавленных в корзину товаров. Этот признак может коррелировать с связанными с заказами признаками, так как часть корзин трансформируется в заказы. Но его покрытие может быть в разы больше, если в магазине много «брошенных корзин», то есть незавершенных заказов. Далее мы покажем, почему добавление товара в корзину даже без последующего заказа – это положительное событие для магазина.
Подведем промежуточный итог: все эти признаки в той или иной степени говорят об активности пользователя на сайте и его лояльности к интернет-магазину. На их основе можно построить модель, которую будет легко интерпретировать и использовать в дальнейшем.
Модель предсказания LTV по прокси-метрикам и формирование общего критерия оценки (OEC)
Мы построили модель логистической регрессии. При этом, чтобы по коэффициентам модели можно было количественно оценивать силу каждого признака в предсказании LTV, мы их все нормализовали и таким образом привели к единому масштабу.
Чтобы узнать вероятность совершения покупки в будущем, нужно взять линейную комбинацию признаков и применить к ней сигмоидальную функцию. Данную линейную комбинацию можно использовать для составления OEC (этот термин мы ввели в первой части исследования. По сути это то, что нужно оптимизировать магазину для достижения своих долгосрочных целей).
Например, если магазин считает, что способен повлиять на все признаки, кроме типа устройства и браузера, то его OEC может быть представлен следующим образом:
В качестве примера мы используем сильно отличающиеся друг от друга «Магазин 1» и «Магазин 2», которые ввели в предыдущей части статьи
Из формул можно увидеть, что признаки работают в одном направлении (знаки перед переменными одинаковые) для обоих магазинов. Это также оказалось справедливо и для остальных 25 магазинов из нашего исследования. Поэтому можно сказать, что по изменению прокси-метрик в некотором направлении можно сделать оценку изменения LTV для самых разных типов магазинов.
А вот значения коэффициентов по величине могут существенно отличаться. Например, для двух приведенных выше магазинов коэффициент при «Количестве разных просмотренных товаров» отличается более, чем в два раза. Это говорит о том, что данная прокси-метрика имеет разный вес в предсказании LTV в этих магазинах.
Использовать модель OEC можно напрямую. Например, провести эксперимент, измерить разницу в показателях у двух сегментов, подставить эти разницы в линейную комбинацию и посмотреть, в какую сторону меняется OEC.
Можно упростить – посмотреть на изменения отдельных прокси-метрик, отобрать сильные изменения, проконтролировать неизменность оставшихся прокси-метрик и ждать соответствующее изменение в LTV. Например, часто в тестах среднее «количество заказов» на пользователя сильно не меняется, так как доля покупателей обычно мала, но в то же время среднее «количество добавленных в корзину товаров» или среднее «количество разных просмотренных товаров» на пользователя определены для большой части пользователей и они изменятся сильнее.
Качество работы модели
Мы построили линейные модели для всех 27 магазинов. Они довольно точно предсказывают факт покупки в течение следующих 6 месяцев. Их качество для разных магазинов варьируется от 0.8 AUC до 0.93 AUC.
По графику ниже можно оценить точность работы модели на «Магазине 1» и «Магазине 2».
На графике также видно, что модель хорошо разделяет пользователей по вероятности совершения покупки в будущем. С её помощью можно выделить сегменты с очень высокой вероятностью покупки (>80%) и практически нулевой (<1%).
Проверка стабильности работы модели по времени
Во второй части статьи мы проверяли стабильность работы прокси-метрик по времени. Аналогично убедимся, что и сама модель, созданная на основе этих признаков, работает стабильно.
Из графиков видно, что модели работают стабильно по времени.
Работа модели по разным сегментам пользователей
Модель включает признаки, которые имеют полезные для предсказания LTV значения почти для всех пользователей, а не только тех, кто совершал заказ. Посмотрим, как она способна разделять посетителей по будущему LTV в трёх сегментах:
Посетитель не добавлял товары в корзину и не совершал заказов;
У посетителя были добавления товаров в корзину, но не было заказов;
У посетителя были заказы.
На графике ниже мы разбили каждый сегмент пользователей на группы по вероятности покупки в соответствии с моделью. В каждой группе показано число и процент пользователей, которые совершили покупку в следующие полгода.
Как мы видим, модель способна выделять более склонных к покупке (даже если она произойдет спустя длительный период времени) пользователей среди тех, кто ничего не покупал и не добавлял в корзину. То есть любая активность пользователя на сайте говорит о его потенциальной ценности для магазина. Отсюда напрашивается вывод, что повышая активность пользователя на сайте, магазин может рассчитывать на увеличение своей итоговой долгосрочной выручки.
Выводы
Мы провели масштабное исследование и нашли прокси-метрики, с помощью которых можно предсказывать будущую ценность пользователя интернет-магазина. Они будут также полезны для оценки ценности изменений в интернет-магазине.
Прокси-метрики характеризуют разнообразную активность пользователя на сайте. Например, «количество разных просмотренных товаров» говорит о вовлеченности пользователя, «длительность взаимодействия пользователя с сайтом в днях» и «давность последнего посещения сайта» – о возвращаемости на сайт, «посетитель оставил email» и «количество запросов в поисковой системе сайта» – об использовании функционала сайта, «количество добавленных в корзину товаров» и «количество заказов» – о решении своих текущих задач (поиск нужного товара).
Найденные нами прокси-метрики соответствуют рекомендации из обзорной статьи фокусироваться на HEART: Happiness – удовлетворенность, Engagement – вовлеченность, Adoption – использование функционала сайта, Retention – возвращаемость и Task success – решение задач.
Мы также показали, что, помимо метрик, связанных с заказами: «средний чек», «конверсия в покупателя», «выручка на посетителя» – которые мониторит и оптимизирует большинство онлайн-магазинов, есть и более полезные метрики. Большим плюсом предложенных нами метрик мы видим то, что они гораздо чувствительнее к изменениям, чем обычно используемые признаки о заказах, так как имеют полезные для предсказания LTV значения для большинства пользователей магазина.
Используя прокси-метрики, можно сформировать OEC. В статье мы предлагаем сделать это с помощью логистической регрессии, учитывая при построении формулы OEC экспертизу в конкретном бизнесе.
Для нахождения хороших прокси-метрик онлайн-магазин может провести такое же исследование или воспользоваться найденными нами прокси-метриками. Их актуальность была проверена на 27 магазинах разных типов, поэтому с высокой вероятностью они будут полезны и для многих других интернет-магазинов.
Авторы: Айбатов Серик, Носков Артем, аналитики RetailRocket