Quick intro
Меня зовут Митя Журавлев, в команде Prequel я занимаюсь исследованиями пользователей и рынков. В Prequel мы работаем ради того, чтобы любой человек смог творчески выразить себя, и сейчас наш фокус - это визуальные фильтры и эффекты для фото- и видео-контента. В роли исследователя я помогаю продуктовой команде:
минимизировать риск имплементации неправильных решений (или грамотных решений - неправильно),
анализировать новые рынки и выводить продукты на них,
отслеживать тренды в разных сегментах рынка и меняющиеся предпочтения пользователей.
Поговорив с Павлом Шишкиным, кофаундером Карьерного Цеха и экс-аналитиком из Яндекса, я написал эту статью, в которой описал рабочий фреймворк для подсчета нужного числа интервью, если вам необходимо понять существует ли сегмент, для которого вы создаете продукт.
Известно, что для получения достоверных выводов качественное исследование должно подкрепляться количественным, однако этот шаг нередко опускают по самым разным причинам. Часто команды приблизительно оценивают TAM-SAM-SOM рынка, на который они планируют выходить и после этого сразу переходят к фреймворку JTBD, чтобы понять смогут ли они сделать так, чтобы будущие пользователи выполняли свою большую и маленькие джобы быстрее/удобнее/дешевле, чем у конкурентов.
Замечательно, если при этом команды безошибочно подбирают репрезентативную выборку предполагаемой ЦА, мотивация к покупке будущего продукта которой подтверждена. На практике многие пользуются магическими числами необходимого числа интервью, типа 12-15-16, и если большинство интервьюируемых удовлетворило требованиям, то выполнение задачи считается успешным, что с точки зрения статистики еще ничего не значит.
Поиск сегмента может осложняться и тем, что традиционные desk-research или даже консультация экспертов не приносят должных результатов, особенно если вы хотите создавать нишевый продукт.
Если нет желания занимать радикальную позицию “все, что не измерено количественно, не имеет смысла”, но и бежать создавать продукты без оглядки на доступные методы статистической проверки тоже не хочется, то фреймворк, описанный ниже, - для вас.
Фреймворк на пальцах
Фреймворк статистической формулировки гипотезы можно разбить на 4 простых шага:
Определиться с бизнес-задачей,
Сформировать наиболее точно портрет вашего core-юзера,
Сформулировать бизнес-задачу статистически (статистика поможет, если на ваш вопрос-гипотезу можно ответить “да” или “нет”),
Сделать непосредственный расчет числа интервью на https://www.evanmiller.org/
Нам необходимо избежать следующей ловушки: если я поговорю с 16 людьми из моей широкой потенциальной ЦА (большого рынка на миллионы людей) и 8 из из них будут валидны, то это успех. Ведь в этом случае, вам могло повезти натолкнуться на этих 8 людей, а в большом рынке, оцененном в миллионы людей, потребности/боли на самом деле нет. Или наоборот, только 1 из 16 вам подтвердит наличие потребности, что тоже не значит, что в большом рынке не будет спроса на продукт.
Первая ключевая идея фреймворка в том, чтобы взять ядро вашей будущей ЦА на большом рынке и понять что его характеризует, максимально точно составив портрет будущих пользователей. И если в этом небольшом ядре ЦА, вы подтвердите наличие потребности у 50%, то малые выборки качественных интервью вполне позволят делать выводы.
В нашем случае мы уже успешно работали на большом рынке обработки фото- и видео-контента, присматривались к новому, более бизнесовому сегменту для нас и хотели узнать существует ли в нем подсегмент со специфической потребностью.
Вопрос в нашем случае звучал так: “Существует ли в большом сегменте подсегмент, такой что /__вставьте свое__/?”
Руководство к действию
Дальше мы более подробно опишем наши действия из п.4 нашего фреймворка.
Переходим по ссылке https://www.evanmiller.org/ab-testing/sample-size.html
На этом шаге мы пытаемся понять как распределен нужный нам подсегмент во всем рынке. В Minimum Detectable Effect мы вводим 50%, исходя из предположения, что в нашем сегменте есть сильная концентрация людей с нужной джобой (то есть существует подсегмент, нужный нам). А в Baseline Conversion Rate указываем 10%, предполагая, что людей, которые подтвердят потребность, достаточно мало как во всем рынке, так и в нашем сегменте.
Вместо 10% можно использовать более точную оценку, которая может оказаться ниже, и поэтому потребует меньше интервью. Однако нет смысла прибегать к высокой точности на практике ввиду большого числа допущений.
Интерпретация в терминах нулевой и альтернативной гипотезы может быть следующей:
H0 - люди с нужной джобой распределены равномерно по всему рынку и в нашем сегменте их так же недостаточно мало (10%), как и во всем рынке
H1 людей с нужной джобой в нашем подсегменте значительно больше (50%), чем в среднем на остальном рынке
Если не усиливать мощность критерия* и не менять уровень значимости, то можно остановиться на 7 респондентах. Для повышения точности ваших выводов работайте с мощностью критерия.
Затем мы переходим на вкладку https://www.evanmiller.org/ab-testing/chi-squared.html
И вводим результаты предыдущего шага: используя только один Sample вводим в successes число подтвержденных респондентов, а в trials общее число проведенных интервью.
Результатом нашей работы становится доверительный интервал последнего шага. Если скажем, 7 из 13 респондентов нами подтверждены, то при уровне значимости в 95%, мы можем сказать, что реальная доля людей в сегменте, готовых купить продукт, лежит в пределах от 29,1% до 76,8%. Таким образом, мы можем принимать решение исходя из нижней границы доверительного интервала: устраивает ли нас такой минимальный процент покупательной способности сегмента? Сможем ли мы при такой доле готовых к покупке, зная приблизительный объем рынка, выстроить положительную юнит-экономику?
О чем еще стоит подумать?
Из-за сложности подбора репрезентативной выборки для интервью чаще вопрос стоит не о точности получения минимума вышеобозначенного интервала, а о принципиальности существования сегмента в принципе. Обычно разброс в 3 раза внутри доверительного интервала - это неплохо, то есть если у вас 0-2 из 15, то скорее не существует, а если 5 и больше, то скорее существует.
Для того, чтобы вам не проводить раунды впустую, лучше перед первым раундом проделать серьезный анализ и сформировать доказательный портрет своего сегмента.
Также, если продукт существует на рынке, то вы можете пойти и от пользователей конкурентов, которые либо оформили подписку, либо как-то иначе подтверждают оплату за использование продукта.
Однако, нужно понимать, что если вы начинаете с выборки по конкурентам, то вы рискуете не обнаружить ЦА, для которой вы хотите делать продукт. Так, конкурентами они могут пользоваться с целью закрытия другой потребности, не под которую вы разрабатываете продукт, то есть вы рискуете пропустить существующий сегмент с болью.
Кейс
Пожалуй, характерным примером подобной ошибки может служить кейс, когда Coca-Cola на основании массивных исследований, включающих слепые дегустации своего продукта и Pepsi, решила изменить классический рецепт, и сделала свой напиток слаще. Потребители были в ярости и вскоре оригинальный рецепт был вновь выведен на рынок, и стал позиционироваться как Classic Coca-Cola. Однако, мы не беремся утверждать наверняка, что это не было лишь частью гениального плана команды маркетинга.
Вторая ключевая идея фреймфорка: мы берем людей с подтвержденной болью (покупают конкурентов) и изучаем почему они покупают, либо мы придумываем какой может быть квалифицирующий критерий, подбираем под него людей и вычисляем существует ли сегмент или нет.
Этими подходами можно пользоваться попеременно, постепенно повышая точность своего знания о рынке и сегменте.
Заключение
Фактически, попеременно используя описанные идеи фреймворка, мы будем осуществлять следующую проверку: по конкурентам мы нашли 15 человек, а если мы рандомно проведем рекрутинг с рынка, найденные респонденты тоже готовы будут покупать или нет? Вероятно, у нас будет меньше подтвержденных ответов, и тогда мы сможем посмотреть на разницу в выборке по конкурентам и по рынку - чем же они отличаются, чтобы выявить критерий тех, кто говорит подтверждается и тех, кто нет.
* мощность критерия (statistical power) означает не найти что-то, когда оно там есть
