Кейс из жизни команды роста

Заветный growth

На продуктовых конференциях спикеры часто рассказывают про growth hacking. Мы слышим привычные и ставшие уже мертвыми истории: Инстаграм и появление Iphone, airbnb и найм фотографов, дропбокс и бесплатные гигабайты. Но их время уже прошло.

А процесс гроу на 70-80% состоит из того, что никак не сработало, и тут важно научиться не попадать в капканы гиблых гипотез надолго + уметь получать пользу из того, что не зашло.

Иногда на собеседованиях просят рассказать интересный кейс, и желательно - факап. Когда узнают, что 3 года работы посвятил growth team в компании FreeMake (компании с сильными процессами, ритуалами и командой аналитиков и под надзором Юрия Дрогана).

Ошибка выжившего

Люди на этом учатся. Расскажу о том, как в бытность growth product`ом я упоролся по идее кастомизации, и это завело в никуда. Хотя профит от этого и я и команда получили.

На тот момент growth-отдел едва стартовал. Команда изучала и внедряла современную гроу-методологию, процессы и бестпрактис. Фаундеры поддерживали как могли и верили в нас.

Мы не ставили под сомнение базовые идеи гроухакинга, а проверяли на практике. Один из принципов: качественно сформулированная ценность будет вести к росту метрик на всех этапах воронки: от рекламы - до "воскрешения" клиентов. И мы решили провести эксперимент с ценностью кастомизации (мы обращаемся к пользователю не в общем, а как бы конкретно к нему).

For India: special edition

Предпосылки:

• Продукт глобальный, работает для клиентов во всех странах.

• Есть ценность, которой мы можем попасть в максимум пользователей на каждой локали.

• Эта ценность - сама локаль. Самая ближняя и понятная кастомизация - заявить пользователям: продукт сделан для вас, мы знаем ваши боли!

• Пол, рост, вес, идеология, личностные ценности - на глобальном продукте тут сложно попасть. Подсветить, что продукт именно для этой страны - идея сыроватая, но вполне рабочая. Взяли в работу.

Максимально быстро данные мы соберем в рекламе - на самом верху продуктовой воронки. Awareness. Запускаем в Goggle Ads рекламу, где в AB-тесте участвуют два варианта. Обычная реклама конвертера и та же самая реклама с припиской "For India: special edition". По классике, просчитываем объем данных, на котором сможем увидеть достоверный рост в 20-30% (если меньше - то не сильно стоит этим заниматься).

Пушка, бомба

CTR объявлений взлетает более чем на 40% Разумеется, на тот момент мы не осознаем, что рост возможен тупо из-за визуального увеличения объявлений в размере.

Я как продакт этой гипотезы засыпаю и просыпаюсь с мыслями о кастомизации всего. Лендинг, продукт, офферволлы, рассылки - ничто не устоит перед батиной гипотезой.

Как заправский Скрудж Макдак, понимаю: философский камень найден, гроухакинг отлично работает, ожидаю денежный дождь и кратный рост всех метрик. Мечта любого продакта - найти сильный драйвер роста и масштабировать.

Логичный шаг при тесте гипотезы наверху воронки - это спускать ниже то, что сработало. Сработало в рекламе - накатываем на лендинг. На софт. На офферы. Пусть весь мир покроет моя гениальная идея.

Пиратская воронка AAARRRR

Последовательность в воронке:

Awareness - Реклама, рейтинговые площадки или СЕО-трафик

Aquisition - Установить наш софт

Activation - Получить аха-момент, то есть, обработать первый файл (добавить в софт и сконвертировать)

Revenue - офферволлы, пейволлы (платежная система)

Retention, Refferral, Resurrection - дальше с этой идеей мы пока не лезем.

Попытка номер один: делаем быстро и малой кровью

Сработавшую идею можем с первого этапа протащить на последующие три. Начнем с ближайшего.

Кастомизируем сайт.

Да простят меня граждане Индии за клише, но делал я это так...

Первую попытку мы посчитали достаточной. Минимум кода, никакого дизайна, мысль отражает.

Запустили в рекламу AB-тест: старый лендинг против нового варианта с кастомизацией.

Никаких статистически значимых изменений в результате теста не увидели...

Восторг и предвкушение сменились на недоумение... Как так? Такая крутая идея, которая себя отлично проявила - и провалилась??? Значит, плохо сделали!

Как я мог предвидеть или устранить ошибки на этом этапе:

• Правильный вопрос себе и команде: а только ли сообщение про локаль и спешлэдишн могло повлиять на рост метрики?

• Быстро запустить гипотезы, которые проверяют варианты ответов на первый вопрос. Например, удлинить объявление в варианте B любым другим текстом. В рекламе- явно быстрее проверить.

• Посмотреть, а есть ли истории подобных кастомизаций вообще.

Гроу не сдается

Поретирили этот вопрос, обсудили с аналитиками. Идея звучит неплохо. Возможно, реализация слишком слабая - так решили. Очереди огромной в бэклоге нет, можно перезапустить и посмотреть. Продумали дизайн "с узнаванием, чтоб точно попадать в ценности". Клише на клише, но мы команда роста: нам главное - быстро!

Повторили запуск, воодушевленные дофамином от будущего успеха...

Ну давай, расскажи мне, как ты усиливаешь и перезапускаешь гипотезы.

Никакой стат сначимой разницы не видим на заданном sample size.

Не стало ни хуже, ни лучше. Вера в то, что такая реализация даст результат - была высокая. Визуально смотрится приятно. Узнавание мест должно быть.

Но мир гипотез роста жесток.

Факапы как трамплин

Нормальные команды учатся на факапах. Мы - нормальные ребята. Какой вывод можно сделать из этих двух предпосылок? Правильно.

Наши выводы, или Как впредь сократить время на опыте этой истории:

• Максимально усиливать посыл, который несет в себе гипотеза.

• Не надо стесняться. Лучше потратить больше времени: продумать, обсудить с командой и усилить. Не обязательно делать прям хорошо. Но - достаточно хорошо делать сразу.

• Riskiest assumption test - одной неудачной гипотезой с сильной проработкой убивать не только эту гипотезу, но и целое направление мысли. Максимально жестко проверять, есть ли шанс, что сработает. Если не сработает самая сильная реализация, то слабые отпадают сразу.

• На продаже команде гипотез всегда задавать вопрос: "А это точно самая сильная реализация? Как мы можем ее усилить?" - Сразу скажу, этот вопрос спасал нам много нервов и экономил оооочень много времени. Лучше один человек в команде продумает и подумает дольше на день, чем вся команда + разработка + дизайн + время на сбор данных... Уфффь, в итоге одному явно "дешевле" поработать головой.

Идею с кастомизацией мы прикопали. Соглашусь, есть вероятность, что на сайте кастомизация не помогла, т.к. там достигнуты предельные значения конверсий. Или акцент пользователя не на этом вовсе, а вот на пейволе могло лучше сработать...

Мысли имеют право на жизнь, но мы оценили ее как маловероятные. Прибили это направление.

А что здесь главное?

Главное - обсуждать командой не только успехи, но и факапы, и делать выводы.

Прямо вот так просто: произошел факап, странный результат, какое-то событие поменяло твою картину реальности - специально собрались и написали выводы. Создали action plan - что делать, чтоб не повторилось, и кто ответственный за то, чтоб не забывали так делать.

И шаг за шагом настраиваем свои приборы на адекватное восприятие реальности.

Потратив на эту гипотезу пару недель, мы построили выводы, которые сэкономили нам месяцы. Profit!

Что скажете? Упоролись мы или все делали правильно и логично?

PS: через полгода продакт с прода решил, что "мы неправильно реализовали, надо четче попадать в ценности" - и запилил свой вариант. Результат был тем же, хотя картинка лендинга веселее. Но это уже другая история, у которой свои выводы :))

P.P.S.: Делайте выводы, друзья!