Давайте представим, что вы управляете продуктом, который помогает малому бизнесу осуществлять техническую поддержку своих клиентов. Вы ищете способы увеличить степень вовлечённости (engagement) и возвращаемости (retention) своих клиентов. У вас есть две идеи:

• Дашборд, который позволит владельцам бизнеса мониторить статистику вовлечённости.
• Чат-бот, который поможет владельцам бизнеса автоматизировать коммуникацию с потребителями.

Дашборд – это фича, которая уже несколько раз обсуждалась с пользователями и вы чувствуете, что у неё есть большой потенциал, но также осознаёте риск того, что только один крупный пользователь будет пользоваться дашбордами. Чат-бот – это то, что нравится всем сотрудникам вашей компании и продавливается руководством – это похоже на очень нужную вещь для клиентов, это классный проект. И да, чат-боты сейчас в моде.

Что вы выберете?

Такие вопросы приоритизации – сердце управления продуктами. Цена ошибки за неправильный выбор может быть достаточно высока: стоимость разработки + стоимость деплоя в продакшн + стоимость поддержки + издержки упущенной выгоды + все прочие издержки.

У нас часто возникают соблазны принимать решения на слабых сигналах: голосах большинства, мнении авторитетных людей (HiPPO), трендах индустрии и др., но, как показывает опыт, это плохая эвристика, такой подход не лучше, чем подбрасывание монетки.

В этой статье я продемонстрирую, что, по моему мнению, является лучшим способом находить удачные идеи. Этот подход включает в себя три составляющие:

• Коэффициент ICE
• Уровень уверенности
• Постепенная инкрементальная валидация

Коэффициент ICE

Расчёт коэффициента ICE – это метод приоритизации, придуманный Шоном Эллисом, человеком, который помог вырасти таким компаниям, как DropBox, Eventbrite и придумавшим термин “growth hacking”. Расчёт коэффициента ICE изначально предназначался для приоритизации экспериментов роста, но также может быть применён для любых других идей.

Вы рассчитываете коэффициент для каждой идеи по следующей формуле:

Коэффициент ICE = Impact (влияние) * Confidence (уверенность) * Ease (простота),

где:

• Влияние – это оценка того, насколько позитивно повлияет идея на ключевую метрику, которую вы пытаетесь улучшить.
• Простота (внедрения) – это оценка того, сколько усилий и ресурсов потребуется для реализации идеи. Это инверсия классической оценки трудозатрат (в человеко-неделях) – чем меньше усилий, тем больше Простота.
• Уверенность – показывает, насколько мы уверены в том, какое Влияние будет оказано, а также в некоторой степени говорит о Простоте реализации. Я написал целую статью, объясняющую, почему приоритизация по трудозатратам и ценности не работает. [перевод этой статьи на Хабре]. Если кратко, то суть в том, что мы все очень плохи в оценках и наивно не подозреваем об этом. Показатель Уверенности служит антидотом, он помогает нам быть более точными в предположениях.

Все три показателя заполняются значениями по относительным шкалам от 1 до 10, поэтому ни один из них не переоценён. Каждая команда сама для себя определяет, чему соответствуют показатели 1-10, чтобы каждый эквивалент был уместным. В конечном счёте, цель оценки – получить “Банк идей”, который выглядит как-то так:

Давайте разберём пример, чтобы наглядно увидеть, как это работает.

Первая версия ICE

Вы решили посчитать коэффициенты ICE для двух идей – дашборда и чат-бота. На ранней стадии вы используете грубые величины, основываетесь на собственной интуиции.

Влияние – вы предполагаете, что дашборд увеличит retention значительно, но только для некоторых пользователей, поэтому ставите 5 из 10. Чат-бот, с другой стороны, может затронуть большое число пользователей, поэтому вы ставите 8 из 10.

Простота – вы полагаете, что дашборд потребует 10 человеко-недель разработки, а чат-бот – 20, основываясь исключительно на данных похожих предыдущих проектов. Вы получите оценки получше от команды разработки позже, а пока используете эту простую таблицу (составленную совместно с командой) для конвертации оценок в значение параметра Простота:

В итоге дашборд получает значение Простоты 4 из 10, а чат-бот – 2.

Считаем показатель Уверенности

Существует только один способ рассчитать показатель Уверенности – взглянуть на подтверждающие доказательства. С этой целью я создал инструмент, который описывает типовые тесты и доказательства, которые у вас могут быть, и значения параметра Уверенности, которые они имеют. Когда будете использовать этот инструмент, учитывайте, какие артефакты у вас уже есть, насколько их много и что нужно сделать, чтобы получить ещё бОльшее значение.

Текст на картинке – Уровень Уверенности:

• Около нуля:
  
  • Собственная уверенность.
  • Презентация.
  • Тематическая поддержка – согласуется с видением / стратегией, текущими трендами / баззвордами, внешними исследованиями, макро-трендами, продуктовой методологией.
• Очень низкий:
  
  • Чьё-то мнение – команда, менеджмент, внешние эксперты, инвесторы, СМИ, кто-то ещё считают, что идея хорошая.
  • Оценки и планы – расчёты на салфетках, оценка реализуемости, таймлайн проекта, бизнес-модель.
• Низкий – неофициальные доказательства: основаны на нескольких аспектах данных по продукту, частый запрос при продажах, 1-3 заинтересованных клиента, у кого-то из конкурентов такое уже есть…
• Средненизкий:
  
  • Данные с рынка – доказательства, основанные на опросах, смоук-тестах, у всех конкурентов такое уже есть…
  • Доказательства от пользователей / клиентов – основаны на большом количестве данных о продукте, просьбы топовых пользователей, интервью с 20+ пользователями, результаты юзабилити-исследований, результаты запуска MVP.
• Средний – результаты тестов: основаны на длительных исследованиях пользователей, результаты запуска MVP бОльшего масштаба, alpha-, beta-версий, A/B-экспериментов.
• Высокий – данные после запуска.

Примечание. Если в вашем продукте или индустрии используются другие доказательства, вы можете создать свою версию Инструмента Уверенности, просто учитывайте, что является сильным, а что – слабым доказательством. Больше информации в более раннем посте (англ.).

Давайте вернёмся к нашему примеру и рассмотрим Инструмент Уверенности в действии.

• Подтверждающие доказательства для чат-бота: собственная уверенность (вы считаете, что это хорошая идея), тематическая поддержка (индустрия считает, что это хорошая идея) и мнения других (ваши руководители и коллеги считают, что это хорошая идея). Это даёт вам итоговое значение Уверенности 0.1 из 10, т.е. около нуля. Инструмент явно не рассматривает мнения как надёжный индикатор. Интересно.
• Для дашборда имеются следующие доказательства: собственная уверенность (вы считаете, что это хорошая идея), неофициальные доказательства (горстка клиентов просили об этом). Фактически, это увеличивает значение параметра Уверенности до колоссальных 0.5 из 10, что означает низкий уровень уверенности. К сожалению, пользователи плохо предсказывают своё будущее поведение.

Расчёт коэффициента ICE:

Текст на картинке: по оси Y – оценка ICE, по оси X – раунд приоритизации. Синяя точка – дашборд, красная – чат-бот.

На данный момент дашборд выглядит как более подходящая идея, но Инструмент показывает, что уровень уверенности низкий. Пока просто недостаточно информации, чтобы принимать решение.

Оценки и проверка реализуемости

Далее вы встречаетесь с коллегами из разработки и UX, а затем вместе обсуждаете обе идеи. Оба проекта на первый взгляд выглядят вполне реализуемыми. Тимлид разработки возвращается с примерными оценками трудозатрат: дашборд займёт 12 человеко-недель для запуска, а чат-бот – 16. Согласно вашей шкале Простоты, это означает показатели 4 и 3 соответственно.

Параллельно с этим вы делаете расчёты на салфетке и обновляете графу “Влияние”. При ближайшем рассмотрении дашборд выглядит слегка менее перспективным и получает 3. Чат-бот по-прежнему выглядит основательно, на 8.

Использование Инструмента Уверенности показывает, что обе идеи теперь проходят тест “Оценки и планы” и получают новые показатели параметра Уверенности. Дашборд теперь имеет 0.8, чат-бот – 0.4.

Таким образом, чат-бот устранил отрыв. Однако уровень уверенности до сих пор низкий по уважительной причине – это в основном цифры, полученные из воздуха, и вы понимаете, что нужно собрать больше доказательств.

Данные с рынка

Вы рассылаете текущим пользователям анкету с опросом, в котором просите их выбрать одну из 5 потенциальных фичей, список включает чат-бот и дашборд. Вы получаете сотни ответов. Результаты очень позитивные для чат-бота – это фича №1, 38% респондентов выбрали её. Дашборд занимает третье места с 17% голосов.

Это даёт обеим фичам немного поддержки данными с рынка, но у чат-бота показатель выше – 1.5. Дашборд тоже получает увеличенное значение для столбца “Уверенность”, но пока только до 1.

Чат-бот становится сильным лидером. Кажется, ваши коллеги и индустрия оказались правы. Не пора ли нажать на курок? Наверное, нет. Проекты довольно дорогостоящи и у нас до сих пор есть только небольшая уверенность в успехе. К сожалению, результаты опроса не создают достаточно сильного сигнала. Продолжаем работать!

Доказательства от клиентов

Чтобы узнать больше, вы проводите исследование с десятью текущими пользователями, показывая им интерактивные прототипы каждой из фичей. Параллельно вы проводите телефонное интервью и опрашиваете 20 респондентов, которые должны выбрать одну из двух функций-кандидатов.

Исследование демонстрирует более детальную картину:

• 8 из 10 клиентов считают дашборд полезным и сказали, что будут использовать его минимум раз в неделю. Их понимание функциональности совпадает с тем, что вы хотели донести и они не испытывали затруднений в процессе работы с дашбордом. Телефонные интервью подтвердили понимание и желание пользоваться в среднем раз в неделю.
• 9 из 10 участников исследования сказали, что будут использовать чат-бота, уровень их энтузиазма был очень высок. Все сразу поняли, как чат-бот может помочь им и многие просили получить доступ как можно скорее. Однако были выявлены большие проблемы в юзабилити, плюс некоторые пользователи озвучили беспокойство, что их клиенты могут быть недовольны неестественными ответами бота.

Это качественное исследование дало пищу для размышлений. Дашборд выглядит более востребованным, чем предполагалось ранее. А чат-бот теперь выглядит как проект с более высокими рисками и с бОльшим потенциалом. Взглянув на Инструмент Уверенности, вы ставите дашборду и чат-боту значения 3 и 2.5 соответственно. Вы обновляете значения Влияния до 6 для дашборда и 9 для чат-бота. Также по результатам юзабилити-исследования вы понимаете, что UI чат-бота потребует больше работы, поэтому вы уменьшаете параметр Простоты до 2.

Таблица снова преобразилась и теперь лидирует дашборд. Вы приносите результаты своей команде и руководству. Прогноз, базирующийся строго на ICE, декларирует дашборд победителем, с другой стороны, уровень Уверенности всё так же далёк от высокого. Не хочется отпускать потенциально хорошую фичу, поэтому команда решает продолжить тестирование обеих.

Последние тесты и победитель!

Вы решили начать создавать MVP для чат-бота – разработка заняла шесть недель и вы запустили его для 200 респондентов, участвовавших в предыдущем опросе, которые озвучили желание поучаствовать в бета-тестировании. 167 включили фичу, но количество использований драматически падало день ото дня, и к концу второй недели только 24 человека были активными пользователями. В последующих опросах и звонках картина прояснилась. Чат-бот сложнее в использовании и значительно менее полезен, чем ожидали участники, хуже того, он недружелюбен к клиентам, которые, похоже, ценят личный контакт. Фактически эта фича заставляет владельцев бизнеса работать больше.

Анализируя результаты, вы с командой приходите к выводу, что запуск удобной версии чат-бота, которая будет соответствовать ожиданиям клиентов, потребует минимум 40-50 дополнительных человеко-недель (Простота = 1) и это очень рискованно. Также ясно, что гораздо меньшее число пользователей воспринимают чат-бота удобным, чем ожидалось изначально. Поэтому вы уменьшили Влияние до 2. Это меняет первоначальную идею фундаментальным образом, так что вы больше не можете верить результатам пользовательского исследования и принимать их, поэтому уменьшаете показатель Уверенности до 0.5.

MVP дашборда запущен за пять недель для других 200 пользователей. Результаты очень хорошие. 87% участников используют его, большинство ежедневно, отток небольшой. Обратная связь чрезвычайно позитивна, большинство просит доступ к полной функциональности. Вы понимаете, что Влияние больше, чем вы ожидали – 8. Команда разработки оценивает, что доработка полной версии займёт 10 недель, поэтому Простота 4. Согласно инструменту, вы устанавливаете Уверенность в значение 6.5 из 10.

Теперь приоритизация очень проста. Никто не спорит, что дашборд – та фича, которой следует заниматься. Вы оставляете чат-бота в вашем Банке идей, чтобы записывать будущие находки, но он, естественно, отсортирован в самый конец из-за низкого коэффициента ICE.

Итого

1. Перестаньте инвестировать в плохие идеи

Этот пример иллюстрирует, насколько рискованно делать ставки на фичи, требующие больших усилий и основанных на чутье, мнениях, трендах рынка и др. Большинство идей больше похожи на чат-бота, чем на дашборд. Они приносят меньший результат и стоят гораздо больше, чем вы думаете. Единственный способ найти идеи-победители – протестировать их и уменьшить уровень неопределённости.

2. Беспокойтесь о результатах, а не фичах

Это выглядит как трудоёмкий и медленный способ создания продуктов, но на самом деле это более эффективный путь, чем альтернативы. Тестирование для определения показателя Уверенности не только сокращает количество потраченных впустую усилий на плохие идеи, но ещё и фокусирует команды на короткие и осязаемые майлстоуны обучения с быстрыми измеримыми результатами, что улучшает фокус и производительность. В процессе мы узнаём очень много о нашем продукте, пользователях, рынке и в результате имеем лучший итоговый продукт, который уже протестирован клиентами. По этой причине нас реже удивляют результаты запуска и исправлений требуется гораздо меньше.

3. Пусть расцветают тысячи цветов

В реальности зачастую нам приходится делать выбор не между двумя идеями, а между десятками. Ограничивая количество усилий на каждую, учитывая уровень Уверенности, мы получаем возможность тестировать параллельно множество идей, избегая ловушек традиционной подхода к разработке. Более подробно об этом можно прочитать в статье “Почему вам стоит перестать использовать продуктовые роадмапы и попробовать GIST”.

В этом примере команда тестирует четыре идеи параллельно, запуская несколько шаг-проектов. Каждый инкрементально улучшает идею, в результате тестирования увеличивая уровень уверенности в результатах.

4. Как перетащить на свою сторону руководство и стейкхолдеров

Что беспокоит людей больше всего, когда я объясняю данную тему, так это вопрос, как “продать” её руководству и стейкхолдерам. Можем ли мы на самом деле заставить их ограничить свой уровень влияния на продукт? Что ж, вы будете удивлены. От многих руководителей я слышал, что они предпочли бы не принимать решения в вопросах продукта, но если команда предлагает слабые варианты, они чувствуют необходимость вовлекаться. Что есть слабые и сильные варианты – это, конечно, субъективное мнение до тех пор, пока вы показываете не просто отполированную презентацию, а приходите с реальными доказательствами, вызывающими доверие. Вы будете очень удивлены, когда поймёте, насколько проще происходит обсуждение. С другой стороны, когда в следующий раз ваш CEO придёт с очередной порцией маст-хэв идей, попробуйте показать ему, как такие идеи оцениваются: какие показатели Влияния, Простоты и Уверенности вы указываете, какой коэффициент ICE в итоге получается, как происходит сравнение с другими идеями и как можно их протестировать, чтобы увеличить показатель Уверенности.

Большинство разумных людей согласится, что это хороший способ. Если они до сих пор не убеждены, скиньте им ссылку на данный перевод или оригинальный пост Итамара, где он готов отстоять этот подход в комментариях.

В объединённую компанию “Колёса | Крыша | Маркет” мы ищем менеджеров продуктов, которые готовы экспериментировать, быстро и недорого проверяя гипотезы. Откликнуться на вакансию можно на Headhunter и корпоративном сайте.