Всем привет, меня зовут Андрон, я CEO платформы для подготовки к собеседованиям IT Resume и образовательных симуляторов Simulative. Мы стараемся строить data-driven бизнес, т.е. принимать решения не «на ощупь», а на основании цифр. Однако я постоянно встречаюсь с ошибкой «поверхностных выводов».

Ее допускают и члены моей команды, и я сам, и другие опытные предприниматели, и наши студенты, и вообще все. Это особенность работы мозга: он пытается минимизировать трудозатраты и побыстрей решить сложную задачку. Но такая ошибка может привести к сливу миллионов рублей, поэтому очень важно ее фиксировать и гнать в шею.

Алексанян Андрон

Кстати, я веду канал в телеграме, где рассказываю про аналитику в бизнесе, маркетинге и вообще везде. Только мясной контент, никакой воды и продаж - подписывайся, будет интересно ????

Ошибка поверхностных выводов - это когда мы принимаем решение, т.к. оно кажется нам «очевидным». Но при дальнейшем исследовании выясняется, что мы совершили серьезную ошибку.

Давайте приведу несколько показательных примеров. Все цифры и метрики изменены из соображений конфиденциальности, но отображают общую картину.

Пример 1

Ситуация: Мы используем несколько маркетинговых воронок. Например, вебинарную и бесплатный курс. Вебинарную воронку мы продвигаем через посевы в Телеграме, и воронку бесплатного курса - через таргетированную рекламу. Начинается новый месяц и мы хотим вырасти х2 по выручке. Воронка бесплатного курса идет вяло (CR2 - 0.8%), а вот вебинары дают крутую конверсию (CR2 - 3.5%) - стоимость клиента составляет 10% от среднего чека.

Поверхностный вывод: Увеличиваем рекламный бюджет на посевы в телеграме в 2 раза и за счет этого наша выручка вырастет вдвое.

Реальность: Если разложить вебинарную воронку на холодных лидов (кто пришел с посевов) и теплых (наши подписчики), то мы увидим совсем другую картинку. CR2 с посевов всего 0.5%, это даже меньше бесплатного курса! То есть с первого касания люди покупают плохо - основная масса продаж происходить за счет наших подписчиков и людей, которые уже были на наших вебинарах.

Последствия: При увеличении бюджета мы уйдем в убыток почти на всю сумму рекламного бюджета.

Пример 2

Ситуация: У нас есть 3 вебинара, которые больше всего зашли аудитории. Мы хотим сделать автовебинарную воронку и запустить ее в таргетированную рекламу на холодный трафик. Давайте выберем, какой вебинар запускать:

• Расчет продуктовых метрик с помощью SQL (CR2 - 2.9%)

• Анализ рекламы в Pandas (CR2 - 3.6%)

• Разбор тестового задания в банк Открытие (CR2 - 4.5%)

Поверхностный вывод: Конечно, разбор тестового в Открытие, т.к. у него самый высокий CR2.

Реальность: Как и в предыдущем пункте, если разбить лидов на две группы, станет видно, что продаж с холодного трафика почти не было - все продажи были с теплой базы. В то же время первые два вебинара проводили только на холодную аудиторию и показали супер крутой результат по CR2.

Последствия: Запуск воронки потребует неделю и около 20 000 рублей, бюджет на тест - несколько сотен тысяч, длительность теста - 3 недели. Итого мы бы потеряли около 400 000 рублей и месяц времени.

Кстати, здесь интересно упомянуть еще об одной распространенной ошибке - ложной корреляции. Подробно рассказал про это здесь.

Пример 3

Ситуация: В феврале мы запустили рекламную кампанию. В марте - другую. В апреле - опять поменяли. Основная цель была - привлекать более вовлеченную аудиторию и увеличивать количество денег. Сервис развивается по модели подписки. Замерили n-day retention 90 дня и получили такие показатели:

• когорта февраля - 38%

• когорта марта - 31%

• когорта апреля - 43%

Поверхностный вывод: Самое большое удержание у апрельской когорты, значит эта рекламная кампания самая эффективная и нужно ее масштабировать.

Реальность: Когорта апреля показывает самый высокий retention, но и самый низкий LTV. То есть пользователи активные, но подписку не покупают.

Последствия: Влили деньги в неэффективную с точки зрения ROI кампанию, слили рекламный бюджет, ушли в минус.

Пример 4

Ситуация: Мы проводим опрос пользователей о том, насколько они довольны нашим продуктом (производим замер метрики NPS). Просим всех пользователей заполнить анкетку.

Поверхностный вывод: Заполнено 350 анкет, средний NPS составил 89%. Получается, мы красавчики.

Реальность: У нас еще 2000 пользователей, которые плюются от качества наших продуктов - они поставили бы не больше 10%, но настолько раздражены, что даже не стали заполнять анкету.

Последствия: Мы продолжаем делать плохой продукт, тратим деньги на разработку и маркетинг, но на масштабе наша финансовая модель становится все более убыточной.

Пример 5

Ситуация: При регистрации в нашем сервисе пользователь получает письмо на почту и должен подтвердить свой email-адрес. На данный момент у нас % активации составляет всего 40% - это очень низкий показатель. Мы работаем над его увеличением.

Поверхностный вывод: Пользователям не нравится, как мы шлем им письма. Мы экспериментируем с дизайном, с формулировками, с почтовыми сервисами.

Реальность: У нас не настроены DNS-записи на корпоративной почте и большинство писем просто не доходят до своих адресатов (как раз примерно 60%).

Последствия: Мы теряем 60% базы клиентов и тратим кучу времени на улучшение того, что и так работает.

Заключение

Таких примеров я могу привести еще очень много и с разными метриками - они встречаются каждый день в большом количестве. Но теперь вы знаете, в каких ситуациях таится засада поверхностных выводов и как с ней бороться - просто ковыряться глубже ????

Кстати, недавно я проводил челлендж в своем канале на примере реального маркетингового кейса. На нем хорошо можно проверить - усвоили ли вы ошибку поверхностных выводов или продолжаете ее делать. Проверьте себя ????