Привет, меня зовут Ксюша Пешкина, я старший системный аналитик в Контуре. Объясняю на кетчупах ??, как мы раньше в продукте гадали классифицировали существующие фичи по уровням (надо/не надо), а потом попробовали один крутецкий метод, который перевернул нам всё с ног на голову? Рекомендую взять на заметку: это точно позволит вам взглянуть на фичи глазами пользователей и обновить приоритезацию.

Зачем исследовали?

Наша команда в Контуре отвечает за развитие функциональности вокруг работы с отчётами: их подготовкой, заполнением, проверкой, обработкой и многими другими инструментами, облегчающими жизнь бухгалтера. Кроме того, мы поддерживаем все формы в актуальном состоянии, ежегодно обновляем до половины этих форм, часто в сжатые сроки. При таком темпе важно точно понимать, что действительно необходимо, а что можно отложить.

В каждой отдельно взятой форме важны свои сценарии, влияющие на качество всего продукта в глазах пользователя. Мы изучили сотни пожеланий клиентов по доработкам с целью определить «А куда нам прикладывать усилия, чтобы пользователи продукта стали счастливее?». Однако пожеланий больше, чем мы можем сделать в обозримом будущем. Реализовать все невозможно — нужно выбирать главное.

Приоритеты должны были учитывать:

• применимость решений для 800+ тыс пользователей;

• анализ конкурентов и рыночных трендов;

• технические ограничения (баги, технический долг и прочее).

Информации и её источников было слишком много. Для меня было важно свести всё вместе, сформировать единую картину действительности по своей зоне ответственности. Именно этим я и занималась в конце прошлого года.

Уровни функциональности

Чтобы всё свести и визуализировать, я разделила всю функциональность форм на четыре основных уровня:

1. Базовый уровень.

Гигиенический минимум, без которого продукт теряет смысл. Пользователи воспринимают функциональность как должное, но её отсутствие вызывает резкое недовольство.

Например, как кетчуп должен быть из томатов, так в продукте для сдачи отчётности важна возможность отправить форму в контролирующий орган.

2. Функциональный уровень.

Основные возможности, нужные большей части пользователей. Чаще всего использование фич сформировано в виде привычки. При этом их отсутствие вызовет негодование пользователей, так как несёт ценность, за которую они выбирают продукт в сравнении с конкурентами. Качество реализации напрямую влияет на удовлетворённость.

Например, вкус кетчупа определяет выбор: чем вкусовые ощущения лучше, тем лучше кетчуп. Пользователи ожидают, что в продукте для сдачи отчётности проверка отчётов будет производиться как в контролирующем органе. Чем реже пользователи будут получать отказ после отправки, тем выше их уровень лояльности.

Первый и второй уровни — про соответствие ожиданиям, третий и четвёртый — уже про опережение и предвосхищение ожиданий.

3. Уровень положительных эмоций (Вау-эффект)

Фичи, вызывающие восторг и формирующие лояльность. Не обязательны, но делают продукт приятнее. Чем лучше реализация, тем лучше эмоциональная реакция. Однако только до определённого момента! Привлекательный атрибут переходит на уровень функционального, когда у пользователя начинает формироваться привычка.

Например, как восхищает удобная упаковка кетчупа, так автозаполнение форм отчётности экономит время, упрощает жизнь пользователей, удерживает их в продукте.

4. Уровень предвосхищения (удивления)

Решение неочевидных проблем, о которых пользователь не задумывался. Когда продукт действует на опережение: предугадывает проблемы, обучает пользователя, заботится о нём. Такие фичи вызывают восхищение и привязывают к продукту.

Например, пользователи выбирают определённый кетчуп, потому что он безопасный и гипоаллергенный.

Пользователи нашего продукта получают подсказки и экспертную поддержку по изменениям законодательства. Продукт за них всё изучит, донесёт самое важное и подсветит, если что-то идёт не так.

Дополнительный уровень — ненужная функциональность или особенности, безразличные пользователям, но важные для бизнеса. Очень хотелось нащупать здесь функциональность, чтобы уметь отказываться от неё или выбрать более удачную реализацию.

Например, чаще всего пользователю без разницы, какой сорт пластика у упаковки кетчупа. Так и нашему пользователю без разницы, как выполняются авторасчёты «под капотом», ему важен сам факт.

Мы классифицировали функциональность по уровням, но границы между ними были нечёткими. Да и достаточность уровней вызывала вопросы. Нужны были объективные данные, чтобы не тратить время на «невидимые» улучшения и сосредоточиться на том, что реально ценит аудитория.

Со специалистом по исследованию пользовательского опыта мы выбрали метод Кано.

Кратко про метод

Это способ классифицировать функциональность продуктов по их влиянию на удовлетворённость пользователей. Кано разделяет фичи на четыре типа: обязательные, важные, интересные и безразличные, помогая понять, куда вкладывать ресурсы.

Как это работает на практике:

1. задаём пользователям парные вопросы про наличие/отсутствие фичи в сервисе;

2. по каждому вопросу даём выбрать один из ответов;

3. анализируем ответы и распределяем функциональность по типам.

Как мы проводили исследование

Шаг 1. Собрали данные

1. Мы составили список фич и подготовили опросник. В нём были не только существующие фичи, но и те, которые только планируем реализовывать. Это нужно, чтобы определить ценность не только в контексте проблем, что они могут решить, но и в сравнении с текущими возможностями продукта. Также добавили в опросник функциональность, которая, по нашему экспертному мнению, не нужна в продукте (то, чего в нём нет и не планируется). Это помогло сбалансировать ответы и избежать предвзятости. 

   Мы захватили фичи на стыке с другими продуктовыми зонами, так как для пользователя работа в продукте — единый сквозной сценарий. Нам важно было увидеть картину целиком.

2. Провели анкетирование в разрезе разных сегментов. Разбили аудиторию на три равнозначные группы, чтобы для каждого респондента опрос был подъёмным. Для каждой группы была отдельная анкета со своим списком функциональности. Почти все фичи по группам отличались, но во всех трёх наборах присутствовали единичные общие, чтобы можно было оценить разницу групп. Внутри каждой группы было ещё деление по сегментам, но тут вопросы уже не различались.

3. Получили парные ответы: реакция на наличие/отсутствие конкретной фичи.

Шаг 2. Проанализировали востребованность фич 

Мы оценили веса ответов при наличии или отсутствии функциональности в продукте, составили рейтинг фич с точки зрения пользователей.

Максимально положительный эффект от наличия фич

Мы получили топ фич, которые нашли максимальный отклик у опрашиваемых. Забавно, что три из них пока находятся на стадии проверки гипотез и отсутствуют в продукте.

Отрицательный эффект при отсутствии фич

Топ фич, которые вызвали наибольшее недовольство при их отсутствии (все фичи уже есть в продукте):

Шаг 3. Рассчитали коэффициенты

1. Я разработала систему коэффициентов, чтобы взвесить ответы при наличии и отсутствии одной и той же функциональности. Учитывала количество ответов по каждому пункту и их вес.

2. Рассчитала итоговые коэффициенты для каждой функциональности, как разность коэффициента наличия и отсутствия.

В таблице приведены веса значимости семи произвольных фич из списка для разных сегментов. По результатам видно, что есть фичи, для которых эмоциональный отклик при наличии или отсутствии фич соизмерим (фича 3, фича 6). Есть и обратная ситуация, когда фича 4 безразлична для сегмента А, критична для сегмента B и С.

По итогу расчёта коэффициентов я выявила топ значимых фич посегментно. Для каждого сегмента — свой рейтинг и разная эмоциональная реакция на наличие и на отсутствие одной и той же функциональности. 

Сравнила метрики использования с коэффициентами, вычисленными на основе ощущений пользователей.

Выяснилось, что метрики используемости и эмоционального отклика никак между собой не коррелируют, а значит опираться только на рациональные составляющие нельзя: цифры использования ≠ реальной ценности. Пользователи выбирают продукт сердцем, а не логикой.

Например:

• Классификаторами пользуются часто, но экспертные статьи (хотя их открывают реже) влияют на лояльность сильнее.

• В техподдержку пишут часто, но обратная связь (которую оставляют редко) эмоционально важнее.

Что это значит? Нужно дорабатывать не «самые используемые» функции, а те, что сильнее влияют на эмоции пользователей.

Шаг 4. Визуализировали данные в Кано

1. Я распределила функциональность по пирамиде Кано. Для этого модель предлагает несколько изменить вес коэффициентов.

2. Затем рассчитала коэффициенты по подобным формулам, что и на предыдущем шаге, и отметила их на диаграмме: по оси абсцисс — координата отсутствия фичи, по оси ординат — координата наличия.

Веса ответов и формулы для расчёта коэффициентов:

В зависимости от сочетания этих коэффициентов выделили обязательные, важные, интересные и безразличные области:

Получилось выделить три группы функциональности:

1. Важная — вошла в привычку, качество реализации напрямую влияет на пользовательский отклик.

2. Интересная — повышает лояльность пользователей, не обязательная.

3. Безразличная — остаётся незамеченной пользователями, не приносит ощутимой пользы.

В будущем планируем «доточить» метод и откалибровать фичи так, чтобы появился ещё и базовый уровень.

Оценка в разрезе сценариев работы в продукте

В начале опроса мы уточняли у пользователей, каким способом они попадают в форму и как работают с ней. Всего получили семь основных сценариев. Поэтому мы отфильтровали ответы по каждому сценарию и получили оценку веса значимости каждого из них. Ниже представлены коэффициенты по четырём сценариям для семи произвольных фич.

Анализ открытых ответов

В конце опроса мы задали два открытых вопроса, чтобы понять:

• что пользователи достаточно высоко ценят, но этой функциональности ещё не было в исследовании,

• какие болевые точки существуют в продукте, что мешает выполнять задачи и вызывает проблемы.

В результате получилось выделить: 

• четыре блока с сильными сторонами продукта, которые объединяют множество близких функциональных элементов, общих для всех сегментов и сценариев работы с формами. Но при этом для каждого отдельного сегмента «оттенок» функционального блока – свой, индивидуальные акценты в потребностях;

• четыре блока со слабыми сторонами. На три из которых понятно, как можно влиять, а один с наибольшей степенью неопределенности взяли в исследование в рамках одного направления продукта. В целом, эти блоки имеют пересекающиеся элементы функциональности, с которых мы начали проверять гипотезы по улучшению пользовательского опыта работы в продукте. Кроме того, если изучать ответы в глубину, то можно выделить их отличительные характеристики, чтобы в дальнейшем это можно было использовать при позиционировании и формировании канала сбыта после реализации;

• шесть направлений задач, решение которых продукт может взять с пользователей на себя — то, что пользователи готовы делегировать нам.

В целом, пользователи высоко оценивают потенциал системы, формируют ряд ожиданий к продукту, в том числе проводя аналогию с прямыми и косвенными конкурентами. Открытые ответы выявили ключевые проблемы, неудобства и сильные стороны продукта, сформулировали гипотезы для развития фич с учётом различных сегментов аудитории и сценариев работы с формами.

Итоги

1. Результаты исследования помогли углубить понимание пользовательских потребностей, откалибровать большое число фич на три категории: важно, интересно, безразлично. Это даёт возможность отделить «must-have» от «nice-to-have», что позволяет расставлять приоритеты при планировании задач на развитие, а также определять наполнение форм фичами при их поддержке и обновлении.

2. Выявили функциональность, которая вызывает наибольший положительный эффект при её наличии и максимальный негатив при отсутствии. Разложили всю функциональность на важную, интересную и безразличную. Теперь используем это деление для принятия решений о том "что" и "в каком порядке" делать.

3. Гипотетические фичи из планов на проработку оказались востребованными. Это говорит о том, что нужно идти в их активное исследование и развитие.

4. Анализ ответов по сценариям и сегментам даёт более глубокое представление о том, что и в каком виде нужно реализовывать в отдельной форме в конкретных случаях. Выявили как общие потребности (например, печать формы в pdf), так и специфические — корпоративный сегмент ожидает больше гибкости, персонализации сценариев под специфику организации.

5. Проработка открытых ответов позволила выявить ранее скрытые для нас сильные и слабые стороны продукта. Она также объясняет, почему часть пользователей довольна одной и той же функциональностью, а другая — нет.

6. Ориентируясь на реальные потребности пользователей, мы смогли отойти от своих экспертных оценок гипотез на развитие, сосредоточиться на фичах, которые действительно упрощают работу пользователей, повышают эффективность и влияют на уровень удовлетворённости продуктом.

Делитесь в комментариях, пробовали ли вы метод Кано и для каких задач? А может, есть идеи, в каких ещё задачах можно применить этот подход?