Выбрать лучшую рекомендацию для клиента в условиях ограничений коммуникационной нагрузки можно через оценку релевантности продукта, его влияния на ценность клиента для принятия взвешенного решения, а также отклика в каналах взаимодействия.

В Службе персонализации предложений билайн мы занимаемся персонификацией продуктовых предложений до абонента. В статье рассмотрим подход, который мы для этого используем: углубимся в создание единого репозитория предложений и описание логики категоризации и набора в кампании для коммуникации с нашими клиентами.

С чем мы работаем каждый день и что должны учесть

• На полке рекомендаций доступно 40+ продуктов — персональный тариф, домашний интернет, оплата услуг со счета телефона, подписки на сервисы компании, и т.д.

• Около 20 доступных каналов коммуникации.

• Каждый отчетный месяц на полку выводится 1-2 новых продукта.

Таким образом, сложность задачи заключается в том, что мы имеем более 800 доступных комбинаций. Как предложить клиенту интересный для него продукт в нужном канале.

Обновление продуктового каталога

На входе — каталог существующих продуктов с числовыми идентификаторами и способами их определения. Раньше для формирования кампаний по продвижению менеджеры определяли критерии таргетинга для каждого продукта. Они опирались на доступные предложения, приоритет продукта и лимиты для каналов продвижения.

Приоритет предложения вычисляли по формуле:

где — средняя вероятность отклика на продукт, — эффект от продажи одной единицы продукта в рублях, — стоимость коммуникации в канале продвижения.

Так абонент попадал в неоптимальную для него кампанию для продвижения, а далее он блокировался от коммуникации сервисом контактной политики.

Постановка задачи: Набор в кампании должен происходить на основании отранжированного списка рекомендаций для абонента в условиях ограничений коммуникационной нагрузки и максимизации прибыли.

Оценку релевантности продукта для абонента можно получить через моделирование вероятности продажи продукта в каждом канале взаимодействия.
Формула для набора в кампании:

где — вероятность отклика на продукт для абонента .

Отдельно для решения этой задачи мы создали хранилище для рекомендаций — репозиторий предложений. Это витрина с модельными вероятностями склонностей абонентов к продуктам из каталога в соответствующих каналах. Репозиторий показывает актуальное состояние абонентской базы в каждом месяце: насколько абонент склонен к приобретению продукта в каждом из каналов.

Почему мы отказались от классического ML?

Задача оценки отклика и релевантности продукта сводится к бинарной классификации. Для обучения мы использовали отклики по коммуникациям за предыдущие периоды.

Стандартные этапы работы МL-модели выглядят так:

• сборка фичей;

• подготовка целевой переменной;

• разработка модели;

• проведение пилота в ручном режиме;

• вывод модели в прод.

При таком подходе Т2М вывода в прод новой модели — около 1.5–2 месяцев. Построение моделей 40+ продуктов заняла бы годы. Так мы поняли, насколько важно сократить Т2М, но при этом важно не сильно уронить качество моделей. А еще данные в моделях нужно периодически переобучать из-за их устаревания и изменения методологии продаж. Для этого мы поменяли подход к построению моделей.

Наша цель — глобальная персонализация предложений в различных каналах. Для этого нам нужно было создать механизм автоматической разработки и обновления ML-моделей.
Даниил Ткач, директор департамента клиентских взаимоотношений

Что нужно, чтобы внедрить AutoML в CVM?

Для того, чтобы внедрить AutoML, нам потребовалось автоматизировать сбор откликов клиентов и фичей для ML-моделей (Feature Store). На схеме ниже представлен полный цикл подбора релевантных предложений клиентам.

Отклики клиентов на наши предложения позволяют быстро адаптироваться к изменениям поведения, обновлять модели и отправлять наиболее релевантные предложения в разных каналах коммуникации.

Определяем категории релевантности и набор в кампании

Раньше менеджеры экспертно определяли критерии таргетинга для каждого продукта. В новом подходе мы разделили абонентов на категории, опираясь на прогнозную вероятность отклика на продукт, которую получаем с использованием набора ML-моделей склонностей по продуктам. Экспертные критерии мы свели к минимуму.

Категоризация позволяет гибче настраивать маркетинговые кампании, потому что подсвечивает абонентам наиболее подходящие им продукты. Так мы избавляем клиентов от информационного шума и повышаем отклик на наши коммуникации. По каждому продукту мы стремимся смещать объемы коммуникации в сторону заинтересованных пользователей.

Таким образом, для категоризации нужно было выделить наиболее релевантных абонентов и тех, которым продукт в канале будет неинтересен. Помимо этого, нужно было определить еще две более массовые категории с абонентами немного более и менее склонными к продукту, чем большинство. Для этого мы рассмотрели два подхода к категоризации:

• на основании модельных порогов отсечения склонностей (threshold);

• на основании средних значений откликов (avg).

Первый подход: от продукта

Категоризации модельных скоров по склонности абонента к взятию продукта состоит из четырех категорий — A, B, C и D. В первую и вторую попадают абоненты с самым высоким откликом, в третью — абоненты с низкой склонностью. В четвертой — абоненты, которым продукт неинтересен, с ними коммуникация по продукту не состоится.

Обозначим через Pi вероятность отклика для клиента, тогда категория релевантности определяется по таким правилам:

В этом подходе порог для категорий C и D определяется по значению threshold. Клиенты, вероятность отклика которых, оказалась ниже порога отсечения, считаются нерелевантными и исключаются из коммуникаций по продукту.

Подход позволяет учитывать особенности откликов на каждый продукт и гибко подходить к определению склонных абонентов. Также благодаря исключению нерелевантных абонентов из расчета среднего (то есть, среднее не могло быть ниже порогового значения), по каждому продукту набирались все четыре категории.

Второй подход: сравнение продуктов

Первый подход позволяет хорошо таргетировать продажи, но у него есть ряд минусов:

• В этом подходе невозможно сравнивать продукты между собой — разный ожидаемый отклик от продвижения продуктов на абонентов в категориях.

• Подход усложнял переговоры с продуктовыми командами — требовал объяснения технических деталей и обоснования большой категории D.

Решением этих проблем стал второй подход к категоризации на основании средних значений и фиксированных порогов отсечения.

В нем берется среднее значение среди всех абонентов для рассматриваемого продукта. То есть, допускается, что по продукту может отсутствовать любая категория. Например, по продукту может не найтись абонентов с прогнозным откликом более 2% (клиентов в категории А не будет) или же наоборот, средний отклик по продукту может превышать 2% (в таком случае категория B останется пустая).

Получается, что в категориях A, B, C находятся абоненты, склонные к продукту. Такой подход позволяет управлять ожиданиями менеджеров от запуска кампаний на каждую категорию благодаря сравнимому прогнозному отклику в категориях A, D.

Как работает репозиторий предложений

Мы создали хранилище для рекомендаций — репозиторий. После оценки релевантности продукта для клиента данные сохраняются в единую структуру с детализацией до клиента, продукта и канала. Это позволило использовать результаты оценки для передачи в системы принятия решений и каналы для приоритезации предложений.

В хранилище собраны данные по 30+ млн клиентов и оценка по всем продуктам и доступным каналам. Обновление происходит минимум один раз в месяц. Чтобы менеджерам продаж было удобнее использовать репозиторий, перевели все оценки в категории релевантности.

Категории релевантности продуктов для клиента позволяют выстроить приоритетность рекомендаций и использовать репозиторий для планирования коммуникаций.
Павел Чернышов, руководитель службы персонализации предложений

Теперь можно получить данные активной абонентской базы в разрезе категорий по продуктам, а также таблицу релевантных продуктов для каждого клиента (в разрезе каналов):

Здесь самый подходящий для клиента продукт — «Общий баланс»: мы видим, что этот продукт имеет категорию А в трех из четырех рассмотренных каналах продвижения. Остальные продукты менее релевантны: например, клиент с низкой вероятностью ответит на коммуникацию по продуктам «Домашний интернет», «Виртуальный помощник».

Для ранжирования продуктов и выбора оптимального предложения мы учитываем не только релевантность продукта, но и влияние на доходность с продажи. Это позволяет выбирать продукт с наибольшим ожидаемым эффектом.

Результаты внедрения подхода

Мы проводили пилотные кампании по продвижению продуктов в разных каналах коммуникации, чтобы понять, какой подход к продвижению продуктов эффективнее. Покажем результаты на примере для продукта X в канале sms.

На графиках ниже показаны распределение абонентов в категориях и средний отклик для регулярных кампаний и кампаний, на основании ML моделей (пилот).

Регулярные кампании запускаются менеджерами на основании атрибутов профиля (верхний график). Средний низкий отклик на них прежде всего связан с тем, что в такие кампании попадает много абонентов с низким интересом к продукту (категория D). Таким образом, можно увеличить отклик за счет исключения из кампаний абонентов с низкими категориями релевантности (С и D, или только D).

Хорошие результаты мы получили на пилотных кампаниях в разрезе категорий релевантности, при этом мы намеренно набирали в кампании разное число абонентов по категориям (нижний график).

Создание нового подхода позволило нам:

1. Сократить время оценки склонности клиентов к продуктам за счет автоматизации построения моделей.

2. Определить категории релевантности и сравнивать продукты между собой в рамках «полки» для каждого клиента.

3. Создать единый репозиторий с предложениями и единую точку входа для настройки кампаний по продвижению продуктов.

4. Повысить эффективность коммуникации — нарастить отклик, оптимизировать коммуникационную нагрузку.

В следующей статье расскажем про наш подход к автоматизации построения и вывода в прод набора моделей на основании работы с хранилищем данным (Feature Store) и AutoML.