Привет, на связи Вова из ОКейси (Senior Product Manager YouTalk, CPO Eatagram, ex. Joom.com). Ни одно собеседование на продакта не обходится без вопросов про метрики. Сегодня мы не будем соревноваться с тонной статей в интернете про то, как считать метрики и какие надо знать, что такое retention 30 дней и как влиять на transformation rate, когда луна в козероге. Мы разберём основные вопросы на метрики, которые задаю я и другие нанимающие менеджеры на интервью, и постараемся просто на них ответить.
Статья будет полезна начинающим продактам и тем, кто хочет ими стать, а ещё тем, кто не часто проходит собеседования и хочет посмотреть на свои ответы со стороны.
Почему с метриками так сложно?
Если ты уже успел(-а) плотненько поработать с метриками и повариться во всей этой истории на практике, то вопросы на интервью не станут для тебя чем-то крышесносным. А вот если ты в начале пути или опыта работы конкретно с метриками у тебя не так много, то на интервью могут возникнуть сложности. Сейчас расскажу почему.
Частенько начинающие продакты лезут в гугл/проходят курсы, где узнают 100500 фреймворков, названий метрик и инструментов для продуктовой работы, а потом берут и бездумно несут в проекты.
Повезёт, если первое место работы — уверенная компания с продуктовым подходом: остановят, поменторят и расскажут как надо. Но зачастую новички попадают в небольшие стартапы, созданные далёкими от продуктовой экспертизы предпринимателями. Итог: полгода внедряли дашборды и фреймворки, обвесили событиями в амплитуде каждый чих пользователя, а результатов работы нет.
Это потому что кандидаты не всегда понимают, с какой целью они что-то делают. А когда начальство/работодатель/интервьюер приходит с вопросами, «зачем ты сделал(-а) N» — у кандидата перекати поле в выражении лица. Внедрять инструменты, только потому что рандомный продакт на медиуме написал статью про фреймворк AAAARRR при запоре, не стоит. Внедряем только тогда, когда понимаем, какую задачу решаем.
Так что же делать, если опыт работы с метриками стремится к нулю? Попробуй максимально просто и доходчиво объяснить, почему ты говоришь о той или иной метрике и зачем рассматривать именно её. Как будто разговариваешь с человеком настолько далёким от IT, что при просьбе кликнуть на иконку, человек тянется за иконой Божьей Матери. Например, с моей мамой, через эту призму и разберём самые распространённые вопросы на интервью про метрики.
Вопрос: какие метрики вы знаете?
Удивительное рядом: перечислять все метрики подряд без какой-либо структуры — довольно опрометчивая стратегия.
Для мамы: метрики — числовые показатели наших действий, они могут расти, падать и стоять на месте. Например, сколько человек зашло на сайт — это метрика. Задача продакт-менеджера растить одни метрики, сокращать другие и смотреть, чтобы остались на месте третьи.
Есть три метрики, которые нужно знать всем, первая — прибыль. Прибыль это доходы минус расходы (вот и ещё две метрики подкатили). Все остальные метрики — это «те же яйца, только в профиль»: они позволяют более детально и глубинно посмотреть, как конкретное действие влияет на финальную прибыль. Это и будет основой твоего ответа, остальное — детали, как глубоко ты знаком(-а) с метриками.
Важно донести интервьюеру, что ты не просто вызубрил(-а) названия метрик, а понимаешь, как они в конце концов приводят к деньгам.
Пример:
Какие метрики вы знаете?
Плохо: LTV, CAC, retention, ARPPU
Получше: Основные метрики бизнеса — расходы и revenue (далее в ответе делим каждые метрики по группам, в конечном счёте они должны повлиять на основные). Например, продуктово-маркетинговые метрики CAC или ROMI влияют на эффективность привлечения клиентов, а значит, на расходы. Продуктовые LTV, ARPPU или разные конверсии увеличивают количество денег, которые мы получили от привлечённых клиентов, а значит, влияют на доход.
В зависимости от задачи можно выделить и те, которые, кажется, напрямую не влияют на деньги, но работа над ними увеличивает доход в бОльшей перспективе. Например, NPS пользователей или eNPS сотрудников, SLA службы поддержки или количество отправленных им сообщений.
Вопрос: с какими метриками вы работали?
Не работать над метриками практически невозможно, даже самую непродуктовую задачу почти всегда можно привязать к метрикам.
Даже если кажется, что твоя метрика незначительная, ты можешь вывести её до прямого влияния на бизнес.
Если задают такой вопрос, не стоит выдумывать метрику, которой на самом деле не было (даже если очень хочется, ведь так солиднее). Дальше интервьюер в разговоре будет крутиться вокруг этой метрики, попросит привести примеры и всё такое. Поэтому врать о том, что ты работал(-а) над LTV, если это не так, не стоит. Да и все метрики рано или поздно приводят к деньгам.
Вопрос: какие метрики ключевые для продукта N?
Типичный вопрос на построение дерева метрик, пусть не на бумаге (хотя бывает и так), а на словах. Часто вопрос вызывает два неудачных для собеседования ответа:
«Ну, прибыль…» и затем тупняк в ответе;
Перечисление рандомных метрик, какие придут в голову.
Ответ «прибыль» может стать хорошим началом, как и решение «от общего к частному». Однако продактам нужно ориентироваться на пользователей, их путь и задачи. Поэтому лучше сначала ответить на вопросы (про себя, вслух или адресовать интервьюеру):
На чём зарабатывает бизнес?
Кто пользователи? Как строится их путь внутри сервиса?
Эта информация поможет подойти структурно к выбору метрик.
Пример:
Какие ключевые метрики есть у airbnb?
Плохо1: ну, прибыль…
Плохо2: LTV, retention, CAC, NPS и т.д.
Получше: Airbnb рассматриваем как сервис краткосрочной аренды квартир по всему миру. Airbnb зарабатывает на комиссии и соединяет две аудитории: владельцев/управляющих квартирами и их гостей. Предположим, что мы сейчас рассматриваем основную метрику Airbnb как прибыль с их основного продукта, тогда метрики, влияющие на прибыль, можно разделить так:
метрики владельцев квартир: количество владельцев/квартир, распределение по географии, конверсии в бронирование конкретных кваритир, стоимость привлечения владельца и так далее;
метрики первого бронирования гостей: CAC, конверсии в бронирование, узнаваемость бренда, различные конверсии в подписки и вовлечённость аудитории;
метрики повторных бронирований и удовлетворённости: частота и длительность съёма, возвращаемость и LTV, количество реферальных пользователей и NPS.
Разумеется, это только пример, в зависимости от времени на ответ можно углубиться: доп. услуги Airbnb, количество просмотренных фотографий или ещё какие-то метрики. Моя цель — показать структуру ответа.
Вопрос: как повысить метрику N?
На этом вопросе многие идут в креатив: начинают стрелять гипотезами и идеями о том, как можно улучшить сервис и повлиять на эту метрику. Но это не продуктовое мышление, а гадание на кофейной гуще. Продуктовым оно станет, когда мы поймём цели и задачи бизнеса, его целевой аудитории, их текущий путь, возможные проблемы и «джобы», на которые пользователь нанимает сервис. Исходя из этого, мы формулируем гипотезы, которые помогут пользователю закрыть его задачу эффективнее: сократить путь до решения, добавить ценность, закрыть ещё одну задачу и т.д.
Внизу видео-решение одной из задач, которую мы разбирали в нашем кейс-клубе. В нём можно посмотреть, как из брейншторма гипотез мы формируем структурный и понятный интервьюеру ответ:
Такие встречи с разборами проходят каждый четверг в нашем закрытом клубе ОКейси (помимо продуктовых бизнес-игр и мастермайндов по понедельникам). В клубе мы обмениваемся опытом и учимся продуктовому мышлению на практике: мы знаем, что нужно работодателю, и качаем навыки вместе с менторами. Присоединиться к клубу можно тут, а посмотреть эфиры с экспертами и узнать больше об ОКейси можно в нашем телеграм-канале. Подписывайся! Делай, что хочешь, главное кайфуй!
К чему я это все?
Знаешь метрики — круто, понимаешь, зачем они нужны — шикарно, можешь объяснить маме, какие метрики нужно вырастить в твоём бизнесе, чтобы решить конкретную задачу — ну ты просто сын/дочь маминой подруги в мире начинающих продактов.
Ну и по-классике: ставь лайк, если было полезно, и делись в комментариях, о чём тебе было бы интересно почитать в следующий раз.