Всем привет. Меня зовут Артур Арсёнов, я Product Design Lead в Garage Eight. За 20 лет в продуктовом дизайне я успел поработать дизайнером, арт-директором, владел собственной компанией и стал дизайн-лидом.
Десять лет назад я был одним из тех дизайнеров, кто говорил: «Давайте исследовать, давайте тестировать, давайте разбираться как можно глубже». И вот спустя десять лет и 200+ проектов я могу сказать, что исследования из решения превратились в проблему. Как так вышло и что с этим делать, разбираю в статье. Если в вашей компании из-за бесконечных исследований цикл разработки продукта растянулся на месяцы и годы, то го читать.
Что такое карго-культ исследований и откуда он взялся
Чаще всего сегодня на рынке встречается два основных типа компаний. Первые вообще ничего не исследуют и тратят ресурсы, делая продукты вслепую. Вторые превращают исследования в культ, поклоняясь им так же, как островные племена поклонялись грузам, сбрасываемым во время Второй мировой.
Исследование из банального инструмента, который помогает быстро проверить гипотезу, в какой-то момент стало самоцелью. Вместо того чтобы взять на себя ответственность и сказать: «Ребят, мы делаем что-то не то», мы стали говорить: «А давайте это исследуем».
Сверяться с пользователями стало модно, а исследователи стали очень востребованной кастой. Мы стали забывать, что, как у любого другого инструмента, у исследований тоже есть свои проблемы. Во-первых, пользователи врут, стараясь казаться лучше, так что даже глубинные интервью не всегда позволяют выявить реальные боли во взаимодействии с продуктом. Во-вторых, мало кто умеет нормально интерпретировать результаты. Раньше самой большой проблемой было то, что мы делали продукты для себя. Сегодня на смену ей пришла новая: мы топорно интерпретируем результаты и пытаемся сделать ровно то, что говорит нам коллективный пользователь. В итоге вместо того чтобы опираться на свою экспертность, мы поддаемся синдрому самозванца и начинаем по каждой мелочи сверяться с пользователем. В профессиональном плане это выглядит как попытка снять с себя ответственность и ничего не решать.
Исследований много [не] бывает
Еще десять лет назад потребность в исследованиях объяснялась очень просто: невозможно сделать что-то по-настоящему классное, если ты не понимаешь, что и для кого ты делаешь. То есть у исследования была конкретная цель — быстро проверить гипотезу.
Сейчас у нас в распоряжении десятки методов, которые позволяют выявить предпочтения пользователей: от фокус-групп и глубинных интервью до А/В-тестов.
Мы настолько увлеклись исследованиями, что на одном и том же продукте пытаемся использовать все виды сразу
Я много раз видел, как сначала компании проводили бесконечное количество глубинных интервью, за которыми потом следовали фокус-группы. По результатам фокус-групп устраивали экспертные интервью, воркшопы, строили Customer Journey Map и прототипировали. На основе прототипов делали сценарные исследования, запускали А/В-тесты и проверяли в вебвизоре. И всё это только для того, чтобы поменять расположение кнопки.
В моей практике был случай, когда 200 участников продуктовых команд два года не могли договориться, на чьих экранах будут точки входа и ключевые элементы продукта, которым регулярно пользуются клиенты.
Я на собственном опыте понял: когда мы хотим сделать что-то классно, достаточно одного качественного исследования и небольшой группы участников. Если у вас есть пять человек, которые реально пользуются вашим продуктом, и вы нормально проводите интервью, то на основе этих данных уже можно делать выводы.
Чем больше берешь респондентов, тем больше вероятность, что начнешь копать не туда. Каждый из респондентов будет давать плюс-минус похожую информацию, и на этапе интерпретации ты, скорее всего, сломаешься. Вместо этого при грамотной выборке из пяти человек можно провести глубинное интервью и построить базовые гипотезы. Да, здесь всегда есть место для ошибки. Но ошибка — это тоже результат, и нужно уметь правильно ее интерпретировать.
Интервью тоже может стать циклом поставки. В методологии Continuous Discovery и Customer Driven Development интервью клиентов — это процесс валидации, который постоянно обновляет требования и с каждым новым интервью увеличивает понимание потребностей и снижает риски. И по-другому тоже можно, важно с умом.
Мы сами всё усложнили
Исследования стали отдельной субкультурой со своим языком. Мы на каждом шагу применяем специальные аббревиатуры и термины. Возьмем для примера кастдев. На западном рынке такого понятия вообще не существует. Это просто глубинное интервью, которое мы обернули новым словечком и стараниями одной известной личности превратили в стандарт рынка.
Сам язык, на котором мы говорим, усложнился. Вместо «предположения, которое нужно проверить» у нас теперь есть «гипотеза интерфейса», «гипотеза решения» и еще с десяток других разновидностей гипотез. Кастдевы, воркшопы, АВСД/МВТ-тесты: никто, кроме нас самих, уже не понимает, о чем речь, когда мы используем сложные термины, которые изобрела исследовательская и продуктовая субкультура.
Мы усложнили само понятие исследований, чтобы стоить дороже и казаться умнее. Но главная проблема даже не в том, что мы стали сложно разговаривать. Культ, сложившийся вокруг исследований, увеличил цикл поставки решений.
Мы не только говорим сложным языком — мы откладываем принятие решений, потому что не исследовали вопрос достаточно. Я думаю, многие знакомы с подходом Double Diamond. В компаниях, где синдром самозванца слишком разыгрался, можно встретить тройной и даже четверной Diamond. То есть они бесконечно прогоняют циклы исследований, чтобы добавить какую-нибудь маленькую фишечку в продукт.
Здесь важно вовремя вспомнить: мы не исследовательская, а производственная компания, и наша задача — как можно скорее поставить пользователю конечный продукт.
Так что теперь, отказаться от исследований?
За 20 лет работы с цифровыми продуктами я прошел все стадии отношений с исследованиями и на собственном опыте проверил разные постулаты, которыми теперь пользуюсь.
Всё что угодно можно сделать за три месяца
Эту идею я позаимствовал у Стива Джобса, и она реально работает. Когда я это понял, мне стало хватать трехмесячного цикла производства, чтобы довести любую идею до выпуска.
Весь фокус в том, что я ограничил период исследований: на любом проекте это две недели — не больше. Этого времени оказалось достаточно, чтобы собрать предпочтения пользователей. На выходе получаю три документа, которые помогают мне разобраться, что и как делать дальше. Один документ — про рынок, второй — про пользователя, третий — про бизнес. Оставшегося времени хватает, чтобы довести продукт до пользователя и уложиться в три месяца.
Невозможно застраховаться от ошибок на 100%
Есть замечательная методология под названием ТРИЗ — теория решения изобретательских задач, которую придумал наш советский ученый Генрих Альтшуллер. Мы очень часто используем ее в своей повседневной работе: итеративный подход, анализ ошибок, построение гипотез. В этой теории зашита одна очень важная мысль: вы можете проводить бесконечное количество итераций, но если вы не ошибаетесь, то, скорее всего, вы просто ничего не делаете.
Без выпуска готового продукта любые предположения так и останутся предположениями, и даже А/В-тест не спасет вас от ошибки.
Как показало исследование Pendo, компании тратят 29,5 млн долларов на выпуск фич, которые потом никогда не используются или используются крайне редко.
Выкатить фичу в продакшн и проверить, насколько она будет востребованной, куда эффективнее, чем месяцами проводить опросы пользователей, а в итоге всё равно сделать мимо.
Исследования не решают проблем на 100%. Они могут лишь задать вектор. И только выпуск продукта и реакция реальных клиентов позволяют провести аналитику и понять, насколько вы попали в цель.
Как противостоять карго-культу в своей компании
Приведу ретроспективный опыт. У нас была серьезная проблема с двухлетним циклом поставки продукта. Мы долго мучились, пытаясь понять, как осчастливить пользователя. А потом как-то раз собрались вместе с коллегой-лидом и за один вечер нарисовали то, что нам самим понравилось, во что мы поверили.
К тому моменту мы оба были большими экспертами в своей области и сделали 100500 интерфейсов. Мы сразу принесли нашу идею на заключительный этап — количественное исследование. Пользователи итогово подтвердили наши гипотезы, и мы получили прирост в метрике удовлетворенности пользователей ×2. Весь цикл занял две ночи против двух лет, а ключевые метрики этой идеи на 40% превышали все предыдущие.
На мой взгляд, это единственный способ саботировать карго-культ исследований: быть уверенным в себе и уметь доказывать свою экспертность. Ничему не верить и бесконечно исследовать можно, но это попахивает синдромом самозванца.
Не надо превращать нашу деятельность в бесконечный набор сложных тезисов, терминов и инструментов, которые должны избавить от всех проблем и снизить риски. Нужно как можно быстрее поставлять продукт в продакшен, как можно быстрее доставлять ценность до пользователей. Да, иногда нужно пойти и поговорить с клиентами, чтобы понять, что болит. Но иногда достаточно сделать продукт для себя, чтобы получилось что-то настолько крутое, что изменит мир.