Привет, Хабр! Меня зовут Роман Романчук, я руководитель отдела аналитики в Сравни. За последние пару лет наша компания сильно выросла. Два года назад у нас было около 80 сотрудников, а сейчас уже больше 350. Отдел аналитики также разросся: сначала в нем было всего пять человек, а сейчас уже более 30. 

Изначально у нас был довольно стихийный подход к аналитике, но в какой-то момент он перестал удовлетворять потребности бизнеса, так как коллегам необходимы были точные цифры в реальном времени. Чтобы решить эту проблему, мы разработали стратегию развития аналитики в компании. В своей статье я расскажу, к чему нам удалось прийти в результате.

Структура отдела

Прежде всего, мы разделили отдел аналитики на несколько команд, у каждой команды появился свой лид:

1. Маркетинговая аналитика: команда занимается настройкой и анализом рекламных кампаний, устанавливает пиксели для трекинга, настраивает событийную модель на сайте и в мобильном приложении, делает маркетинговые отчеты.

2. Продуктовая аналитика: у каждого продукта (подбор кредитов, ОСАГО и т. д.) есть свой аналитик, который при этом является правой рукой продакт-оунера и помогает ему принимать основанные на данных решения. Продуктовые аналитики разрабатывают дашборды, проводят A/B тесты, создают P&L отчеты. В эту команду мы набрали джунов, некоторых даже без опыта — выпускников технических вузов (МФТИ, МИФИ, Бауманка) — и вырастили из них настоящих специалистов.

3. BI аналитика: эта команда отвечает за всю отчетность в компании, разрабатывает дашборды в MS Power BI, автоматизирует их. Все члены команды отлично знают SQL и обладают продвинутыми техническими скиллами.

4. Data team: скорее, это команда инженеров, которая входит в технический контур, но выросла она все же из аналитики. Эта команда занимается развитием хранилища данных — облачной базы данных Snowflake. Все аналитики компании строят свои отчеты и ML-модели на основе данных, которые ребята из Data team собирают в хранилище — начиная с данных по трафику и заканчивая данными из 1С, каких-то внешних систем, рекламных площадок.

5. A/B тесты: центр компетенций по статистике и A/B тестированию в компании. Эта команда помогает продуктовым аналитикам грамотно дизайнить эксперименты и тестировать гипотезы. Также здесь занимаются развитием нашего инструмента A/B тестирования (о нем расскажу отдельно чуть ниже).

Путь клиента и сбор данных

Путь любого клиента начинается с его привлечения, то есть со знакомства с брендом. Обычно это делается с помощью инструментов маркетинга (digital-кампании, оффлайн-реклама на билбордах или на ТВ/радио). На этом этапе мы можем собирать данные о расходах на привлечение клиента, а для digital-каналов еще и данные о рекламных системах, где мы закупаем трафик, о показах, кликах, переходах на сайт или в приложение. Также мы можем работать над оптимизацией расходов, выявляя успешные/неуспешные рекламные кампании.

Затем клиент переходит к нам на сайт или в мобильное приложение — это этап посещения или первоначального знакомства с продуктом. На этом этапе мы работаем с источниками трафика: какие более, а какие менее эффективны. Также здесь возникают данные об ID клиентов (авторизован или нет, есть ли у него client ID), и все эти ID мы должны сохранять, забирать в свое DWH и использовать для построения аналитики по клиенту.  

Затем пользователь может перейти на этап действия (просмотр нескольких страниц, фильтрация выдачи, разные экраны мобильного приложения). Когда пользователь совершает действия на сайте или в приложении, в системе аналитики это называется событиями, мы их фиксируем с помощью трекинга и собираем в БД.

Если продукт, за которым пришел пользователь, его полностью устраивает, он может сразу перейти на этап конверсии, то есть совершить покупку. Также на этом этапе некоторые события, помимо покупки, считаются микроконверсиями — например, если посетитель сделал расчет стоимости полиса, но не купил его. Но это значит, что мы можем его мотивировать на покупку при помощи дополнительных  коммуникаций. 

Здесь уже возникают сведения о нашей выручке, и мы можем анализировать, какой продукт приносит больше или меньше денег, объединять это с данными о расходах, считать ROMI (возврат маркетинговых инвестиций) и как-то оптимизировать расходы.

Также на этапе конверсии у нас возникают знания об атрибуции по каналам, то есть какому каналу во всей цепочке взаимодействий мы присвоим итоговую конверсию. Клиент может не сразу совершить покупку, а сначала зайти на сайт с рекламы из Яндекса, потом из Google, потом вернуться через email-рассылку. Сервис атрибуции помогает понять, какой канал был главным для конверсии. Сейчас у нас две рабочие модели атрибуции (last click и first touch), но мы идем к тому, чтобы добавить многоканальные модели, где ценность конверсии распределяется в определенных пропорциях между каналами.

На этапе конверсии воронка не заканчивается, а начинается этап возврата (или retention). Мы пытаемся снова вернуть клиента в воронку. Например, за месяц до окончания срока действия полиса ОСАГО мы уведомляем клиента, что можно продлить полис и что для него есть интересное предложение. 

Этот этап очень важен, так как на этапе привлечения мы платим достаточно большие деньги, чтобы клиент попал к нам в приложение или на сайт, тогда как на этапе возврата затраты гораздо меньше. Email или sms почти ничего не стоят, а самый дорогой из CRM каналов в retention — это звонок оператора, но по сравнению с кликом на этапе привлечения он гораздо дешевле. Поэтому мы заинтересованы в том, чтобы увеличивать retention, то есть мотивировать клиента вернуться на сайт (или сделать повторную покупку).

На этапе возврата мы собираем различные данные о нашей аудитории: о клиентах, которые совершили покупку, сделали расчет, которым нужно продлить полис или потенциально интересен кредит. На основе этих данных мы формируем различные аудитории и отправляем их в маркетинговую CRM или в рекламную систему, чтобы использовать их для таргетинга.

Также между этапами действия и конверсии у нас есть отдельный этап с данными системы экспериментов. Это те самые A/B тесты, про которые я упоминал. Аналитики могут придумывать разные гипотезы для проверки, условно говоря, что будет, если перекрасить кнопку «Купить» из зеленого в красный? Возможно, новый вариант дизайна сможет привести больше конверсий. Мы разрабатываем наш продукт в новом дизайне, запускаем A/B тест и при помощи статистики сравниваем, какой вариант страницы лучше работает.

Инструменты

А теперь немного об инструментах, которые мы используем для получения той или иной информации на каждом из этапов.

Что касается получения данных о расходах по разным каналам на этапе привлечения, то для offline-каналов (тв/радио) мы можем знать только общую сумму: в этом месяце мы потратили n миллионов рублей. А в digital-каналах мы получаем уже гораздо больше информации: показы, клики, расходы на каждый клик. 

Наша команда дата-инженеров написала специальные коннекторы, которые ежедневно по расписанию соединяются с рекламными системами и забирают оттуда всю информацию по расходам, показам, кликам, а затем загружают все эти данные в наше DWH. 

На этапе посещения и действия у нас работают системы трекинга. Для веба мы используем Google Analytics 360 (продвинутая система аналитики), а также Яндекс Метрику в рамках импортозамещения. Для трекинга в мобильном приложении — AppsFlyer и myTracker как маркетинговые трекеры и AppMetrica (ранее использовали Amplitude) как систему продуктовой аналитики.

Для этапа экспериментов у нас есть собственная платформа A/B тестирования, которая пока умеет тестировать только веб-сайт. Сейчас мы работаем над тем, чтобы к ней также можно было подключить мобильное приложение, и она бы сплитовала трафик между экспериментами (на данный момент используем Firebase).

На этапе конверсии у нас тоже есть собственные сервисы для подсчета доходности и атрибуции, о которых я подробнее расскажу в отдельном пункте. 

Для возврата пользователей в воронку используем маркетинговую CRM Exponea, она умеет присылать клиенту все виды сообщений (email, push, сообщения в WhatsApp, а также отправляет списки пользователей в колл-центры на обзвон).

Все данные из всех сервисов стекаются в единое хранилище — Snowflake, где они раскладываются по витринам. В будущем мы рассматриваем возможность “переезда” на Yandex Cloud. С этими витринами уже могут работать аналитики и подключать к ним систему визуализации Power BI или Yandex Data Lens, строить отчеты, дашборды и т. д. Также в компании есть ML-инженеры, которые строят различные скоринговые модели на основе данных из DWH.

Наши собственные решения: A/B тесты, сервис подсчета доходности и сервис атрибуции

У нас всё чаще стали возникать задачи по A/B тестированию, и мы задумались, что неплохо было бы подключить для этого отдельный инструмент. Для начала проанализировали рынок, протестировали Google Optimize, но он нам не подошел, так как там можно было тестировать только фронт, а наши изменения часто затрагивают бэкенд (например, какие-то нововведения на третьем шаге воронке). Так что мы в итоге решили делать свою систему. 

На тот момент еще никто особо не делал такие системы внутри компаний, поэтому мы нашли ребят, которые этим занимаются профессионально. Это были Анатолий Карпов (Karpov.Courses) и Виталий Черемисинов (EXPF Consulting), они провели обучение по статистике для продактов и аналитиков, рассказали, что такое A/B тесты и как с ними правильно работать. Мы всё это записали в видеоформате и теперь обучаем по этим материалам новых аналитиков. Виталий также помог нам сделать первый сплиттер, который делит трафик для тестов, и дал знания о том, как оценивать эксперимент правильно с точки зрения статистических критериев. С тех пор эта система живет, развивается, через нее проходит достаточно много тестов. Пока только для веба, но планируем добавить мобильное приложение, а также CRM-коммуникации. 

Еще один сервис мы разработали для подсчета доходности. Так как у нас есть большие сложные продукты (например, подбор кредита), то подсчитать доход по ним — нетривиальная задача. Мы интегрированы с большим числом банков и работаем с кем-то за заявку, с кем-то за статус «заявка одобрена», а где-то и за статус «кредит выдан». И у каждого статуса есть своя стоимость. Для таких продуктов мы пишем сервисы подсчета доходности, которые через API собирают все статусы по каждой заявке и рассчитывают реальную выручку. Еще они могут считать прогнозную выручку в моменте, которая нужна для работы маркетинга в ежедневном режиме.

Также у нас есть собственный сервис атрибуции для основных продуктов, который рассчитывает различные модели атрибуции. Сейчас работаем над добавлением многоканальных и мультидевайс-моделей.

Итоги и планы

Если оценивать результаты внедрения новой системы аналитики в компании, то, пожалуй, основной профит мы получили за счет закрепления за каждой из команд своих зон ответственности. Это дало большую эффективность в работе, потому что теперь каждый занимается тем, что у него лучше получается. Команда Data Team развивает хранилище, маркетинговые аналитики помогают отделу маркетинга с оптимизацией рекламных компаний, BI-щики делают отчеты, а продуктовые аналитики работают над улучшением метрик продукта. Если же говорить о том, какие плюсы для бизнеса в целом несет команда аналитиков, то это, безусловно, возможность применять data-driven подход к принятию решений в бизнесе. 

Сейчас, когда многие западные компании уходят с российского рынка, мы подстраховываемся тем, что дублируем “западные” технологии российскими. Например, для трекинга веб-сайта мы параллельно с Google Analytics настроили Яндекс Метрику, а для трекинга мобильного приложения поставили дополнительно системы App Metrica и myTracker, а также настроили загрузку этих данных в DWH, чтобы при необходимости отчеты можно было быстро “переключить” на другой источник данных.

Из задач на ближайшее время: хотим постепенно навести порядок в планировании, а также добиться большего процента реализации поставленных целей и задач. Мы стараемся всесторонне обучать аналитиков и делать из них полноценных участников бизнес-процесса, которые могут оказывать влияние на бизнес-решения.

На этом я завершаю обзор нашей системы аналитики и буду рад ответить на ваши вопросы и комментарии.