Исследование пользовательского опыта, будь то проведение глубинных интервью с пользователем или юзабилити тестирование готовых прототипов требует от исследователя серьёзной методической подготовки, как то написание гайда с вопросами, сценария тестирования, обозначения и приоритизации гипотез для проверки. При этом новичок может упустить такие важные аспекты, как особенности психологии интервьюируемого, влияние контекста, когнитивных искажений и других подобных факторов.

В этой статьи я поделюсь лайфхаками проведения исследования через призму собственного опыта исследований.

Внимание: фокус-группы. Почва для социально-одобряемого поведения

Мы не раз слышали, что люди имеют тенденцию принимать более «социально одобряемые» решения, когда их окружают другие люди. Поведение человека может быть совершенно другим, когда он предоставлен сам себе и действует независимо. Как исследователь помните о том, что ответы, которые вы получаете во время интервью нельзя принимать на веру, потому что участники тестирования часто дают ответы, которые от них хотят услышать. Влияние социального одобрения проявляется даже тогда, когда участники тестирования в реальности думают совершенно по-другому. Постарайтесь понаблюдать за пользователями в условиях наиболее приближенных к реальным условиям использования вашего продукта, это поможет сократить давление социума на валидность полученных результатов исследования.

В моей практике исследований был случай проведения модерируемого юзабилити-тестирования фокус-группы из двух человек. Я заметила, что одному из опрашиваемых было сложно раскрыться, он не отвечал на поставленные вопросы, если я не обращалась к нему лично. Понимаю, что он смог рассказать мне больше о том, как бы пользовался этим приложением один на один.

Фокус-группы часто выбираются компаниями из-за соображений экономии ресурсов, однако в этом виде исследования много подводных камней, поэтому лично я с большой осторожностью отношусь к результатам таких исследований. Нужно посмотреть правде в глаза: стали бы вы говорить в присутствии стороннего человека, что «я не в зуб ногой чего от меня хотят на этом экране»? Ответ очевиден. Никто не хочет казаться глупее в глазах постороннего человека, поэтому самые качественные результаты исследования можно получить только при межличностном общении исследователя с пользователем с глазу на глаз.

«Для вас важна компания, в которой работает <!-эксперт->?» Эффект фрейминга

Люди реагируют по-разному на одну и ту же информацию в зависимости от того, с использованием каких слов она подаётся. Такое явление называется эффектом фрейминга. Например, когда вы задаёте вопрос: «Вам нравится эта фича?», вы фреймите человека вокруг слова «нравится». Получив такой вопрос пользователь с большей вероятностью будет думать о позитивных свойствах продуктового опыта. В общем, старайтесь избегать таких фрейминговых вопросов, предпочитая им стандартные открытые вопросы «Что вы думаете об этой фиче?». Такой вопрос позволит пользователю рассмотреть все возможные грани его пользовательского опыта при ответе на вопрос.

Консалтинговая компания Nielsen Norman Group показывает любопытные примеры фрейминга. Исследователей спросили нужно ли делать редизайн сайта по результатам полученных юзабилити тестирований. При этом, данные по тестированию были представлены исследователям по-разному. Часть исследователей получила информация о том, что 4 из 20 пользователей не могли найти функцию поиска на веб-сайте. Другая часть исследователей узнала, что 16 из 20 пользователей нашли функцию поиска на веб-сайте. Попробуйте угадать результаты...Думаю, вас не удивит, что 51% исследователей, получивших интерпретацию в невыгодном свете ратовали за редизайн сайта, в то время как 39% опрошенных исследователей, получивших позитивную интерпретацию результатов считали, что редизайн не нужен.

Случай из моей практики исследований. Мы запускали опрос по сбору обратной связи для клиентов компании. В одном из вопросов с множественным выбором респонденту нужно было выбрать характеристики, мотивирующие его купить продукт. И вроде бы все описания логичные и нейтральные, но вдруг я вижу формулировку с оценочным позитивным словом «эксперт». Срочно переформулировать! Можно написать «сотрудник», «преподаватель» — в зависимости от продукта, о котором идёт речь. Но мы не оцениваем никаким характеристиками то, что исследуем. Иначе это яркое по эмоциональной окраске слово сподвигнет людей выбрать критерий с этим словом, хотя он мог и не быть важен для него.

Эффект новизны

Все люди склонны придавать большее значение их самому недавнему опыту. Исследователи, подверженные эффекту новизны — читай, все человеческие существа — с большой вероятностью будут формировать их мнение на основе новейшей полученной информации. Для преодоления эффекта новизны просто записывайте типичные паттерны поведения пользователей после каждого исследования и смотрите за повторяемостью этих паттернов на базе всех исследований, мысленно осознавая, что особое влияние на вас имеют последние полученные данные. Не зацикливайтесь только на них.

«Это в очередной раз подтверждает мою правоту»

Люди склонны придавать больше внимания фактам, которые подтверждают их предположения и вместе с тем недооценивать данные, которые не соответствуют их ожиданиям. Такое явление называется предрассудком подтверждения. Это одно из самых сильных когнитивных искажений, которое будет формировать ваше отношение к UX-дизайну. Из-за этого предрассудка исследователи не могут быть открытыми новым идеям, а когда они получают подтверждение того, что их предположения были ошибочны, исследователи могут ещё больше укрепиться в своей позиции.

По моим наблюдениям предрассудок подтверждения особенно проявляется при обсуждении идей и приоритизации фичей в группе исследователей. Каждый считает, что найденные им инсайты важны и именно решение боли пользователей, которые именно они отыскали крайне важны для развития продукта. Мой лайфхак для таких ситуаций — действовать по принципу growth hacker's sprint, когда лид дискуссии (главный UX-иследователь, growth-мастер, и т.п. в зависимости от структуры компании) выслушивает позицию каждого, заносит инсайты и результаты опыта в общую базу знаний, например, на доску миро. Затем проводится голосование по самым важным фичам после презентации результатов исследований.

Ещё один лайфхак, почему презентацию фичей можно делать в миро —там вы можете голосовать за решения с помощью реакций на стикерах. Отличная практика заранее обозначить несколько реакций как отдельные характеристики, такие как «гигиена» или «must-have» — то, что просто обязано быть в продукте, потому что это норма, «time to market» — то, что можно реализовать и выпустить на рынок уже завтра, «wow-эффект» — а здесь можно помечтать, что придаст продукту особый вайб.

Не говорите, слушайте

Во время юзабилити тестирования рано или поздно у вас будет интервьюируемый, который не сможет выполнить поставленную задачу по вашему сценарию и будете вопрошающе смотреть на вас «а как правильно?». Будут и те, кто захочет узнать ваше мнение по той или иной фиче, получить ответы на свои вопросы по продукту. Не поддавайтесь. Следуйте своему сценарию проведения исследования, позвольте пользователю говорить и наблюдайте за его шагами при использовании интерфейса. Это вы задаёте уточняющие вопросы, а не он. Если возникает неловкая пауза, наберитесь терпения послушать тишину и не вставлять свои пять копеек. Иногда человеку нужно несколько секунд на размышления, кто знает, какие ещё ценные инсайты он вот-вот расскажет?

Что можно слушать и что полезно слушать? Очень полезно слушать критику во время юзабилити тестирований и интервью, если человек чем-то недоволен, то я с большей вероятностью узнаю ценную информацию, которая позволит сделать продукт лучше. Вообще большая удача, если к вам на интервью придёт именно недовольный сервисом человек, потому что очень часто недовольство скрывают и вам остается только гадать и строить гипотезы, что не так в продукте. А как же комплименты? Следуя каноническому завету от Роба Фитцпатрика из книги «Спроси маму» я их спокойно игнорирую, потому что чаще всего они не дают никакой полезной информации и произносится, чтобы сделать приятное исследователю. Сюда же относятся натянутые фразы «я бы может пользовался бы приложением, если...», «кому-то может пригодиться». Слушаем, но не придаём особого значения таким гипотетическим фразам.

Осознанные исследования начинаются с осознания и признания как своих когнитивных искажений, так и искажений респондента. Для большей объективности при проведении исследования и интерпретации результатов оцените данные через призму когнитивных эффектов. Оцените не только, что сказал респондент, но и почему он мог сказать это. В каких условиях проводилось интервью? Какие вопросы вы задавали и использовали ли вы оценочные суждения в беседе? Показалось ли вам, что человек приукрашивал свои ответы, чтобы показать к вам свою расположенность? Обратили ли вы внимание на все важные аспекты или только то, что было сказано в последнюю очередь?

P.S. Исследователи — самые прекрасные существа на планете, они знают о своих тараканах. И они могут назвать каждого из них по имени. (с)

Иллюстрация: https://www.freepik.com/free-vector/mental-health-awareness-concept_8398928.htm?query=mindfulness&collectionId=1294&&position=31&from_view=collections