Привет! Меня зовут Артём Ашарин, я руковожу аналитикой CRM-юнита в Авито. У нас есть собственная CRM-платформа для запуска коммуникаций в разных каналах, а наша команда аналитиков занимается алгоритмами доставки: когда, кому и с какой частотой отправлять.

В этой статье рассказываю, как мы автоматизировали процесс A/B-тестирования CRM-рассылок, встроили Trisigma в процессы, и почему маркетологи теперь могут делать всё сами.

Что такое CRM-коммуникации в Авито

Авито использует собственную CRM-платформу для отправки сообщений:

• во внешние каналы: push, email, web-push, SMS;

• во внутренние каналы: Notification-центр (тот самый колокольчик в приложении) и мессенджер.

Каждая рассылка – это триггер. У неё есть:

• сегмент – SQL-скрипт, который возвращает список user_id;

• расписание – например, ежедневно в 14:00;

• проверка коммуникационной политики – есть ли согласие пользователя, не отправляли ли похожую рассылку недавно (cooldown);

• отправка – в доступный слот, маркетолог указывает желаемое время и мы ставим отправку на этот или ближайший доступный слот.

Как мы тестируем гипотезы

Конечно, эффективность рассылок нужно тестировать, и мы делаем это через Trisigma – наш собственный сервис для A/B. Идейно процесс должен быть устроен следующим образом: у маркетолога появилась идея → он готовит сегмент и текст → мы (аналитики) настраиваем A/B и подводим резолюцию. Если тест успешен – рассылка идёт в продакшн и рассылается на регулярной основе до тех пор пока не придёт время проводить обратный A/B для повторного замера эффективности.

Подробно о Trisigma и ее возможностях мой коллега Артем Дронов рассказывает вот в этой статье. А вот ссылочка на сайт Trisigma, техническую документацию вы найдете здесь.

Рассмотрим конкретный пример. Одна из наших ключевых механик – «брошенное избранное»: если пользователь добавил товар в избранное, но не написал продавцу, мы отправляем ему push с напоминанием, плюс подбираем похожие товары.

Как происходит отправка такой коммуникации, когда мы включаем A/B:

• получили user_id сегмента;

• поделили на тест/контроль (50/50);

• отправили коммуникацию тесту, контроль – пусто;

• анализируем uplift ключевых метрик.

Таким образом мы тестируем добавление новой коммуникации к уже существующей коммуникационной нагрузке пользователя. 

30 A/B-тестов в неделю и 4 аналитика

В команде CRM-маркетинга более 40 специалистов. На 2024 год мы запускали в среднем 30 A/B-тестов CRM-рассылок в неделю. В продакшене крутится более 600 активных рассылок. Аналитиков – четверо.

Маркетологи хотят быстрое принятие решений по тестам, и как следствие – аналитика становится узким горлышком. Ограниченный ресурс на поддержку A/B приводит к тому, что тестируется меньше гипотез и потенциально мы получаем меньший рост метрик.

Решение: автоматизация A/B через Trisigma

Мы построили процесс, где маркетолог самостоятельно может:

• создать A/B – в админке CRM достаточно поставить флаг, и конфиг создаётся в Trisigma автоматически. В нём можно посмотреть ход теста, отчёт с метриками и комментарии;

• добавлять в А/B нужные метрики и разрезы с помощью пресетов – у нас 6 вертикалей и 2 типа пользователей (продавцы/покупатели) → 12 готовых наборов метрик;

• самостоятельно подводить предварительную резолюцию – по инструкции, где описаны важные для CRM-тестов метрики и способы их интерпретации.

Обязательный этап – валидация с помощью вертикального аналитика. Сам маркетолог принять решение о раскатке А/Б не может. CRM-аналитик подключается только в случае, если у вертикального аналитика остались сомнения. В результате – мы обрабатываем ~3 запроса в неделю вместо десятков.

Контроль качества

Когда коммуникации раскатываются без активного вовлечения продуктовых аналитиков, мы всё равно хотим быть уверены, что всё идёт как надо. Поэтому:

• сделали дашборд мониторинга успешных A/B, которые уже раскатились;

• если видим подозрительный «прокрас» (метрика просела), инициируем разбор с маркетологом.

Второй момент – «серые тесты». Часто гипотезы слабые, эффектов нет. Но благодаря предварительной резолюции и ревью от вертикального аналитика, к нам в платформенную команду долетают только действительно важные случаи.

Замер совокупного эффекта всех CRM-коммуникаций

Помимо локальных A/B мы хотим понимать общий эффект от всей CRM-активности. Для этого в Trisigma у нас крутится глобальный holdout-тест:

• 10% пользователей – «глобальный контроль» (не получают маркетинговых сообщений);

• 90% – могут получать CRM.

Это вечный A/B, он работает с 2022 года. Когда запускается новый CRM A/B-тест, то в нем автоматически исключаются из отправки пользователи из глобальной контрольной группы. Глобальный контроль исключается и в случае, если рассылка раскатана. То есть, он исключается всегда и именно такой сетап позволяет оценить совокупный эффект от всех рассылок (то есть от CRM в целом) на метрики.

Итоги

Мы автоматизировали полный цикл A/B для CRM-коммуникаций:

• маркетолог сам создаёт и запускает тест;

• метрики подгружаются автоматически по пресетам;

• предварительную резолюцию маркетолог подводит сам и потом валидирует с вертикальным или CRM-аналитиком;

• эффект всех CRM-коммуникаций оцениваем через глобальный контроль.

Это уменьшило нагрузку на аналитиков, ускорило TTM и повысило качество решений. Если вы ещё запускаете рассылки «на глазок» – попробуйте потестировать и посмотрите, что из этого реально работает.

О том, как мы в Авито еще больше упрощаем жизнь аналитикам и бизнесу, рассказывает моя коллега Настя Рыхлик в видео ниже, посмотрите, там интересно:

О том, как мы храним 20000+ метрик и миллиарды комбинаций разрезов в одной таблице с помощью М42, старший разработчик юнита АБ-тестирования Авито Влад Божьев написал подробную статью, рекомендую к прочтению.

Если есть желание вместе с нами помогать людям и бизнесу через технологии — присоединяйтесь к команде инженеров Авито. Свежие вакансии есть на нашем карьерном сайте.

Спасибо за уделенное моему рассказу время! На вопросы с радостью отвечу в комментариях.