Привет! Я Рамиль Сакаев — аналитик в команде Авито Авто. Мои коллеги из других продуктов используют адаптированную версию RFM-методологии, чтобы решать разные задачи, например, сегментировать аудиторию для CRM-рассылок и отправлять пользователям более релевантные коммуникации.
Для продуктов с небольшим трафиком и понятными сегментами подобная методология может быть бесполезна. Но есть и другие идеи для её использования. В статье рассказываю, как адаптированная RFM-методология помогла нам выявить недоработанные зоны CRM-коммуникаций и создать бенчмарк для маркетологов.
Содержание:
Что такое RFM и почему мы решили распространить подход коллег на смежный продукт
Мой коллега Дима Кротов уже писал статьи про RFM, а точнее, про её адаптированную версию — RFFLP. Кратко повторю, что это всё значит.
RFM — это методология сегментации трафика, которая включает в себя три параметра:
Recency (давность): когда пользователь в последний раз совершал целевое действие;
Frequency (частота): количество целевых действий, совершённых за определённый период;
Monetary (деньги): средства, потраченные пользователем в продукте за период. Если картинкой, то это будет выглядеть так:
Иллюстрация из статьи: «Как с помощью доработки RFM сделать CRM-рассылки эффективнее».
Дима усовершенствовал модель, чтобы она лучше подходила под наши задачи. Он изменил параметр frequency и вместо классического расчёта частотности одного действия, например, совершения сделки, предложил рассчитывать score пользовательской активности — взвешенную активность. Также он добавил новый параметр вместо monetary и назвал его frequency last period. Он отражает долю активности за последний период от всей активности.
Получилась такая модель:
Статья Димы: «Как с помощью доработки RFM сделать CRM-рассылки эффективнее»
Статья Сергея Медина про RFM-сегментацию в Недвижимости: «Какие сложности мы преодолели при внедрении RFM-сегментации клиентов в Авито Недвижимости».
Как мы строили сегментацию
Дима применял свою методологию в категории Авто с пробегом на Авито. С помощью RFFLP он сегментировал покупателей машин на: «текущих юзеров», «потенциальный отток», «уходящих в отток» и «потерянных», чтобы отправлять им более релевантные маркетинговые коммуникации. Мы решили переиспользовать его подход и сегментировать пользователей в категории Новых авто.
Методология и все формулы для расчёта уже были готовы, так что мы могли её адаптировать и переиспользовать для Новых авто. Первый вопрос, который перед нами встал: как распределить трафик между двумя категориями — Новыми и Подержанными авто?
Чтобы решить эту проблему, мы добавили новое поле: «Целевой продукт». В прошлый раз мы определяли вес каждого действия внутри логической категории обратно пропорционально количеству просмотров объявлений: чем реже пользователь совершал действие — тем выше была его значимость. Теперь стали рассчитывать веса внутри каждой логической категории, а затем сравнивать их между категориями.
Алгоритм определения целевого продукта такой:
F_new_cars — финальный вес взаимодействий пользователя в категории Новых авто;
F_used_cars — финальный вес взаимодействий пользователя в категории Авто с пробегом.
Если F_new_cars>=F_used_cars, тогда целевой продукт — Новые авто, иначе, наоборот.
На основании этих расчётов мы можем:
Определять целевой продукт пользователя.
Направлять его в нужную категорию.
Показывать персонализированные баннеры, триггеры и рассылки на основе RFM-сегмента.
Формулы расчёта из статьи Димы, которые мы использовали:
Иллюстрации из статьи: «Как с помощью доработки RFM сделать CRM-рассылки эффективнее».
Почему решили рассчитывать именно таким способом. Мы могли бы учитывать категорию объявления непосредственно при расчёте веса события. Однако на Авито основной трафик приходится на категорию Подержанных автомобилей, тогда как в категории Новых авто часто встречается «залётный» трафик — пользователи, которые зашли случайно и совершили всего пару действий.
Если бы мы рассчитывали веса с учётом категории объявления, это привело бы к переоценке малочисленного «залётного» трафика в пользу категории с меньшим объёмом взаимодействий. В результате пользователи, слабо заинтересованные в новых авто, могли быть ошибочно отнесены к этой категории.
Тем не менее в вашем кейсе вы можете попробовать подход с учётом категории при расчёте веса событий, но проверяйте предварительно, не проявляются ли у вас подобные искажения.
Как дизайнили A/A-тест, чтобы посчитать MDE
Мы задизайнили несколько А/A-тестов, чтобы оценить чувствительность RFFLP-сегментации. Вот как мы это делали:
Сформулировали гипотезу. Наша глобальная цель состояла в том, чтобы с помощью RFFLP CRM-маркетологи могли находить более удачные сегменты пользователей, чем те, которые они уже используют для рассылок, и отправлять пользователям подходящие маркетинговые коммуникации.
А если смотреть с точки зрения аналитика — мы стремились прокрасить воронку, особенно её низ, и подводить пользователей из выборок к целевым действиям с помощью наших CRM-коммуникаций.
Для проверки гипотезы нам нужно было подсчитать MDE, что мы и сделали с помощью A/A-тестов.
Симулировали А/А-тест. Для начала мы раздели выборки на два вида:
тестовые — горячие или холодные сегменты, сформированные по RFFLP;
контрольные — аналогичные сегменты, собранные по правилам CRM-маркетологов.
Дальше, допустим, на каждой из выборок мы запустили бы A/Б-тест, в котором тестовой группе (не путать группу с выборкой!) посылали коммуникацию, а контрольной — нет. В таком случае мы рассчитываем MDE для каждой выборки — там, где MDE меньше, тест считается более чувствительным, а значит, с большей вероятностью мы увидим прокрас.
Стоит понимать, что мы считаем MDE именно для A/A-теста, и настоящий MDE будет немного отличаться — конверсия в тестовой группе может поменяться, а также изменится дисперсия. Но давайте условимся, что это всё же тест маркетинговой CRM-коммуникации, и нам не стоит ожидать больших изменений дисперсии в тестовой группе.
Ещё уточню, что при расчёте MDE мы исключили взаимные пересечения между контрольными и тестовыми выборками.
Такое разбиение на сегменты позволило нам оценить, в каких случаях MDE оказывается ниже. В результате расчётов мы увидели, что чувствительность контрольных сегментов на оттёкшем трафике была примерно такой же, а на текущем — даже выше.
Как пришли к выводу, что RFM-сегменты можно использовать не как гипотезы, а как подробное описание покрытия трафика
Мы обнаружили, что MDE в контрольных выборках, сформированных на основе эвристик менеджеров, оказался выше, чем в тестовых, основанных на RFFLP-сегментации. Это говорит о том, что стандартные сегменты не уступают RFFLP-сегментам по чувствительности тестов, а значит — их можно продолжать использовать как сегменты для рассылок, и не переходить на RFFLP.
При этом мы заметили, что пересечения между сегментами RFFLP и стандартными аналогичными выборками оказались незначительными. Это натолкнуло нас на мысль, что мы можем сделать отдельный отчёт по покрытию для CRM-маркетологов.
Анализируя трафик в целом, мы поняли, что смотреть на метрики CRM-коммуникаций во всём трафике недостаточно информативно. Гораздо ценнее — анализировать результаты в разрезе конкретных сегментов. Именно это позволило выявить, что мы недорабатываем в определённых сегментах пользователей.
Так у нас появился новый инструмент — отчёт по сегментам, в котором мы:
сравниваем охваты RFM и стандартной сегментации;
анализируем чувствительность в разрезе сегментов;
находим зоны, где можно усилить коммуникацию или таргетировать точнее.
Основные метрики отчёта:
% пользователей, которые получили рекламные кампании из категории Новых авто;
% пользователей, которые получили рекламные кампании из категории Подержанных авто;
% пользователей, которые получили n-сообщений из категорий Новые/Подержанные авто.
Если маркетологи замечают в отчёте, что покрытие или частотность высокие, значит, сегмент «выжжен» коммуникациями. Следовательно, перед запуском новой коммуникации им стоит найти прошлые коммуникации, которые оказались неэффективными, удалить их и уже потом отправлять рассылки.
Если же покрытие на графике небольшое — значит, на эту группу пользователей нужно запускать коммуникацию. Подробнее про то, как отчёт помогает маркетологам в работе, расскажет моя коллега.
Мария Яловец, старший CRM-маркетолог
В Авто довольно развитый и зрелый коммуникационный CJM, поэтому у нас немало существующих рассылок и запланированных гипотез. Более того, рассылками занимается не один CRM-маркетолог, а целая команда, поэтому держать в голове весь контекст о коммуникативной нагрузке просто невозможно. Также есть внутренняя конкуренция за внимание пользователя — какую рассылку ему отправить: про новые авто, про подержанные или про оба типа сразу?
Следить за всем этим и вовремя менять план по коммуникациям нам помогает отчёт:
-
Позволяет оценивать нагрузку разными типами коммуникаций в специфичных разрезах. Например, мы видим покрытие 80% на сегменте активных пользователей с целевым интересом к новым авто. Возникают вопросы: а за счёт каких коммуникаций мы достигли покрытия в 80%? А отправляли ли мы вообще коммуникации про новые авто? Или, может быть, наоборот, отправили их, но аж 100 штук?
Отчёт как раз позволяет отвечать на эти вопросы. Также с помощью него мы предотвращаем конфликты между менеджерами разных стримов: например, если у кого-то возникает ощущение, что мы шлём слишком много коммуникаций про новые авто пользователям с интересом к подержанным авто.
Помогает приоритизировать гипотезы в бэклоге. Накануне планирования спринтов мы смотрим, какие сегменты сейчас наименее покрыты, а где коммуникации приходят слишком часто. На основе этих данных корректируем планы.
Даёт возможность мониторить здоровье кампаний. Если мы видим, что в каком-то разрезе метрики стали проседать, для нас это сигнал — какие-то коммуникации сломались или перестали работать так, как мы думаем. Такая «ранняя» диагностика позволяет починить кампании до того, как эффект от их поломки отразится на продуктовых метриках.
В итоге сегментация используется как бенчмарк для оценки охвата — она позволяет понять, какие группы пользователей уже задействованы в коммуникациях, где остаются «белые пятна» и какую долю целевой аудитории нам действительно удаётся вовлечь.
Вся статья кратко
Мы с командой переиспользовали адаптированную версию RFM-методологии и нашли новый способ использовать её для наших задач. Вот как это было:
Решили вопрос с распределением трафика. Чтобы разграничить трафик между двумя категориями — Новыми и Подержанными авто — мы решили рассчитывать веса внутри каждой логической категории. И после этого сравнивали их.
Благодаря этим расчётам, мы можем:
определять целевой продукт пользователя;
направлять человека в релевантную категорию;
показывать персонализированные баннеры, триггеры и рассылки на основе сегмента.
Задизайнили и симулировали A/A-тест для расчёта MDE. У нас была гипотеза, согласно которой сегментация поможет нам покрасить низ воронки и подводить пользователей из выборок к целевым действиям с помощью наших CRM-рассылок.
Раздели выборки на: горячие или холодные сегменты, сформированные по RFFLP, и аналогичные сегменты, но собранные уже по правилам CRM-маркетологов.
Исключили взаимные пересечения между контрольными и тестовыми выборками и симулировали A/Б-тест. В тестовой группе посылали коммуникацию, а контрольной — нет. В результате увидели, что чувствительность контрольных сегментов на оттёкшем трафике была примерно такой же, а на текущем — даже выше.
Поняли, что можно не переходить на RFFLP-сегментацию. По результатам теста мы увидели, что сегменты, основанные на гипотезах маркетологов, не уступают RFFLP по чувствительности тестов. Значит, их можно использовать и дальше.
Нашли другой способ использовать методологию для наших задач. Собрали отчёт по покрытию, с помощью которого CRM-маркетологи: оценивают нагрузку разными типами коммуникаций в специфичных разрезах, приоритизируют гипотезы в бэклоге, мониторят здоровье кампаний.
Ещё больше контента на тему аналитики есть в нашем телеграм-канале «Коммуналка аналитиков». Заходите: в нём мы делимся победами и фейлами из рабочих будней, рассказываем о задачах, проводим эфиры и общаемся с читателями в комментариях.
А если хотите вместе с нами помогать людям и бизнесу через технологии — присоединяйтесь к командам. Свежие вакансии есть на нашем карьерном сайте.