В данной статье, состоящей из трёх частей, мы поделимся нашим исследованием о метриках, на которые стоит ориентироваться для увеличения долгосрочной выручки онлайн-магазина.

В первой части обсудим проблемы, возникающие при оценке долгосрочной ценности пользователя онлайн-магазина, и как можно решить их с помощью прокси-метрик. Также расскажем, как компании из разных областей ищут подобные метрики, и поделимся собственным списком разработанных метрик, которые применимы в e-commerce.

Во второй части мы предоставим техническое описание. Как метрики работают, смогут ли их использовать магазины с разными категориями товаров, как можно отобрать полезные прокси-метрики из множества вариантов, и насколько хорошо они предсказывают долгосрочную ценность пользователей.

В третьей части обсудим бизнес-интерпретацию полученных метрик и как можно использовать их для оптимизации долгосрочной ценности пользователей, а значит и долгосрочной выручки онлайн-магазина.

Что такое прокси-метрики и зачем они нужны

Одна из ключевых метрик, которую оптимизирует большинство компаний (в том числе интернет-магазины) – это LTV, т.е. показатель прибыли, которую получает бизнес за всё время работы с клиентом.

Знание LTV позволяет прогнозировать выручку, планировать затраты на рекламу, оценивать окупаемость инвестиций, вычислять самых лояльных посетителей, сегментировать аудиторию по ценности и т.д. Соответственно, это очень важный показатель, и когда планируется какое-либо значимое изменение, важно знать, как оно повлияет на LTV.

То, как изменение повлияло на показатель, оценивают по отношению к другому изменению или его отсутствию. Обычно для этого проводится проверка гипотез с помощью тестов. Если при этом используются долгосрочные показатели – такие, как фактический LTV, мы сталкиваемся со следующими проблемами:

• Проверка гипотез занимает больше времени и, как следствие, изменения долго внедряются;

• Если проводится сразу несколько тестов, не всегда понятно, какое именно изменение в итоге увеличило или уменьшило LTV;

• При длительном тестировании нужно всё время поддерживать и рассчитывать все тестируемые версии алгоритмов;

• Онлайн-магазины часто вносят не связанные с гипотезой изменения, которые с высокой вероятностью затрагивают поведение теста;

• Чем дольше проводится тест, тем чаще возникают ошибки в работе магазина, которые делают результат недостоверным;

• В e-commerce уникального пользователя обычно идентифицируют с помощью cookie-файлов, которые часто теряются при длительном тесте. Например, в этой статье описан эксперимент Facebook, где на одного пользователя  приходилось несколько разных cookie – они попадали в разные сегменты теста и усложняли выявление реального эффекта от изменения.

Из-за перечисленных проблем тестировать улучшения, ориентируясь на изменения фактического LTV, практически невозможно. В качестве решения мы предлагаем использовать прокси-метрики LTV, на обнаружение изменений в которых требуется гораздо меньше времени.

Прокси-метрика — это косвенная мера целевой метрики, с которой она сильно коррелирует. По изменению в прокси-метрике мы как минимум должны понять направление изменения целевой метрики. Например, ВВП на душу населения может быть прокси-метрикой качества жизни в некотором регионе.

Часто наши клиенты (интернет-магазины) выбирают в качестве прокси-метрик LTV признаки, связанные с заказами: например, конверсию в покупателя, среднее количество заказов на пользователя, средний чек, среднюю выручку на пользователя в прошлом и т.д. Эти признаки коррелируют с будущим LTV, так как если пользователь совершил покупку в прошлом, то вероятность повторной покупки в будущем увеличивается.

Но остается открытым важный вопрос: нет ли прокси-метрик более полезных для оценки влияния на будущий LTV текущих изменений в магазине? Мы решили это исследовать.

Как выбирают и используют прокси-метрики вне E-commerce

С помощью прокси-метрик формируется общий критерий оценки изменений – OEC (overall evaluation criterion, подробнее – в статье от Microsoft). Это количественный показатель цели эксперимента, который должен отражать бизнес-цели компании – например, быть связанным с LTV. Он нужен, чтобы автоматизировать и формализовать процесс принятия решения о внедрении тех или иных изменений. При формировании OEC метрики всех целей эксперимента сводят к единому показателю.

Современная проблематика онлайн-экспериментов хорошо освещена в обзорной статье от сотрудников Microsoft, Google, Facebook, LinkedIn, AirBnb, Netflix, Amazon, Yandex, Uber, Twitter. В ней рассмотрены проблемы, возникающие при оценке долгосрочного эффекта, и перечислены свойства хороших прокси-метрик для OEC:

• Прокси-метрики должны быть связаны с долгосрочным целевым показателем, например, с LTV. Как минимум, должно быть понятно, в какую сторону изменится показатель при изменении метрик;

• Хорошие прокси-метрики сложно улучшить, делая «неправильные» вещи. Например, в YouTube вместо конверсии в клики (CTR) используют метрику long CTR, где клик засчитывается, только если пользователь просмотрел существенную часть видео. Это связано с тем, что CTR можно увеличить, используя «кликбейт» в названии и вводя пользователя в заблуждение о содержании ролика, что в итоге снижает удовлетворенность сервисом;

• Прокси-метрики должны быть чувствительны к изменениям, которые влияют на долгосрочный целевой показатель. Например, пользователи отдельного типа устройств могут существенно влиять на долгосрочный целевой показатель, но увеличить эту долю довольно сложно;

• Вычисление прокси-метрик не требует много ресурсов. К примеру, в качестве таких метрик не подойдут опросы общественного мнения;

• Критерий, сформированный на основе прокси-метрик, может учитывать новые сценарии. Пример негибкого критерия — в магазине продавали телевизоры и взяли метрику, основанную на диагонали экрана. Затем в ассортименте появились пылесосы, к которым эта метрика не применима, поэтому ее нельзя использовать для учёта нового вида товара.

Найти подходящие прокси-метрики для OEC не всегда просто. В материале Microsoft приведен пример, как в поисковой системе Bing от Microsoft выбрали интуитивно понятные метрики для оптимизации: количество запросов к поиску и выручку. В какой-то момент возник баг, и поисковые выдачи стали работать явно хуже – пользователям показывали по 10 рекламных строк за выдачу в начале списка. Чтобы найти нужный результат, людям приходилось делать больше запросов, соответственно, рекламы тоже стало больше, а с ней увеличилась и выручка.

Данные изменения краткосрочно увеличили количество запросов на одного пользователя на 10%, а выручку – на 30%, но если бы их внедрили, это уменьшило бы лояльность пользователей и те в конечном счете ушли бы к конкурентам. Этот пример наглядно показывает, как краткосрочные показатели могут расходиться с долгосрочными целями компании.

Подобное несложно сделать и в интернет-магазине — увеличить все цены, что, возможно, приведет к увеличению среднего чека и выручки, но в долгосрочной перспективе пользователи предпочтут конкурентов.

Еще одним минусом использования признаков о заказах в качестве прокси-метрики является их слабая чувствительность, так как часто из всего потока пользователей заказы совершает малая его часть – обычно до 5%. Поэтому, чтобы зафиксировать значимые изменения по этим метрикам, нужно проводить длительные тесты.

Существует два популярных способа, к которым компании обращаются для поиска полезных прокси-метрик долгосрочного целевого показателя:

• Использовать знания о предметной области и бизнесе. Например, поисковые системы Bing и Google таким образом определили, что для них долгосрочным целевым показателем является удовлетворенность пользователя сервисом, а прокси-метриками – количество сеансов и число поисковых запросов за один сеанс. Мало запросов за один сеанс и много самих сеансов означают, что пользователь быстро находит нужный ответ и регулярно возвращается к поисковику.

• Использовать алгоритмы машинного обучения, чтобы выявить признаки, которые будут хорошо предсказывать долгосрочную метрику. Например, в этой статье описано, как Netflix научился предсказывать, сохранит ли пользователь подписку в течение следующего месяца или нет (retention). Они обнаружили сильную корреляцию между retention и временем, которое пользователь тратит на просмотр контента (мера вовлеченности пользователя) и использовали меру вовлеченности пользователя в качестве прокси-метрики для retention. Примерно так же свои прокси-метрики вывели в LinkedIn и построили модель предсказания LTV.

Эти два способа хорошо комбинируются – можно найти ряд кандидатов в прокси-метрики с помощью машинного обучения и отобрать только те, которые имеют смысл для бизнеса.

К каким прокси-метрикам мы пришли

Чтобы найти кандидатов в прокси-метрики к LTV мы использовали алгоритмы машинного обучения. Далее мы выбрали среди них наиболее полезные и понятные бизнесу. В своем исследовании мы опирались на данные 27 магазинов с различными категориями товаров. Такое разнообразие позволило найти наиболее универсальные и полезные прокси-метрики, которые должны работать на многих магазинах.

Чтобы предсказать LTV этого набора магазинов, мы использовали следующие метрики:

• Количество заказов;

• Факт подписки пользователя;

• Давность последнего посещения магазина;

• Количество просмотренных разных товаров;

• Длительность взаимодействия пользователя с магазином;

• Сколько раз посетитель пользовался внутренним поиском магазина;

• Количество добавленных в корзину товаров.

На графике – результат работы модели, основанной на перечисленных выше прокси-метриках (пример одного из магазинов).

Мы разбили пользователей на три сегмента в зависимости от их действий в прошлом:

• Покупали

• Добавляли товары в корзину, но не покупали

• Ничего не добавляли в корзину

Затем в каждом сегменте разбили пользователей на группы по вероятности покупки в соответствии с моделью. В каждой группе показано число и процент пользователей, которые совершили покупку в следующие полгода. Как мы видим, модель умеет выделять более склонных к покупке в будущем посетителей даже среди тех, кто ничего не покупал и не добавлял в корзину.

В следующих частях мы подробно расскажем, как отбирали прокси-метрики из обширного списка кандидатов, и насколько точно они помогают предсказать LTV. Также мы опишем технические детали исследования.

Авторы: Айбатов Серик, Носков Артем, аналитики RetailRocket