Привет всем! Предлагаю вашему вниманию перевод статьи Dr. Philip Hodgson (@bpusability в Twitter). Он имеет BSc, MA и PhD в экспериментальной психологии. У него за спиной более чем 20-летний опыт работы в качестве исследователя, консультанта и тренера по юзабилити, пользовательскому опыту, человеческим факторам и экспериментальной психологии. Его работа повлияла на продуктовый и системный дизайн в областях потребления, телекоммуникаций, производства, упаковки, общественной безопасности, веб- и медицинских областей для рынков Северной Америки, Европы и Азии.

Концепция «силы доказательства» играет важную роль во всех областях научных исследований, но редко обсуждается в контексте исследования пользовательского взаимодействия. Мы узнаем то, что это означает в UX-исследовании, и сгруппируем методы исследований по силе данных, которые они предоставляют.

Кто-то однажды сказал: «В юзабилити нет вопросов». Я думаю, это был я. Признаю, что это было не лучшее высказывание. Оно не стоит рядом с такими словами как “Никогда на полях человеческих конфликтов” и “Один маленький шаг для человека”, но, тем не менее, оно имеет смысл и подводит к полезному эмпирическому правилу для UX-исследователей.

Позвольте мне объяснить.

Несколько лет назад во время работы на большую корпорацию и подготовки юзабилити-теста, проджект менеджер позвонил мне и попросил отправить ему список вопросов по юзабилити.

«В юзабилити нет вопросов» — ответил я.

«Что ты имеешь в виду?» — спросил он, «Как там не может быть вопросов? Как ты планируешь понять, нравится ли людям наш новый дизайн?».

«А я и не пытаюсь понять, нравится ли он им или нет» — проворчал я. «Я пытаюсь понять, могут ли они им пользоваться. У меня есть список заданий, а не вопросов».

Плохие и хорошие данные

Просьбы добавлять явные вопросы типа «как вы считаете?» в UX исследования не только говорит о том, что некоторые заинтересованные стороны не понимают цели юзабилити-тестирования, но и том, что они верят в огромную ценность каждого ответа участника тестирования. Это показывает, что они не в курсе концепции хороших и плохих данных и, как результат, верят в то, что всё сказанное пользователем — полезно.

Но это не так.

Существуют сильные и слабые данные. Это справедливо для всех областей научных исследований, будь то разработка нового препарата, открытие новой планеты, раскрытие преступления или оценка нового интерфейса софта.

UX-исследование это непосредственное наблюдение за тем, что делают люди. Это не сбор их мнений. Это потому что как данные, мнения бесполезны. На каждые 10 человек, которым нравится ваш дизайн, найдется 10 других, которые будут ненавидеть его, и еще 10, которым вообще будет все равно. Мнения — это не доказательства.

Поведение же, напротив, является доказательством. Именно поэтому детектив скорее поймает кого-нибудь за руку в момент совершения преступления, чем просто поверит кому-то на слово. Поэтому часто повторяется совет: «Обращай внимание на то, что люди делают, а не на то, что говорят». Этот совет уже почти стал клише в UX, но с этого можно начать дискуссию о чём-то важном, например, о силе доказательства. Это хорошая идея, что некоторые данные подкрепляются сильными доказательствами, некоторые относительно сильными, а некоторые слабыми. Никто не хочет, чтобы в основе разработки их продукта были слабые доказательства.

Доказательства в UX-исследованиях

Доказательства — это то, что мы используем для подкрепления наших заявлений и доводов. Это то, что дает нам авторитет, когда мы выносим решения по конкретным параметрам дизайна, особенностям продукта, по тому, когда нужно закончить очередную итерацию в дизайне, по решениям типа «делать/не делать» и по запуску нового продукта, сервиса или сайта. Доказательство — это то, что мы предоставляем своей команде разработчиков и что выкладываем на стол во время несогласий и споров. Мы подкрепляем наши доводы доказательствами, основанными на хороших данных. Данные — это часть исследования. «Данные! Данные! Данные!», — кричал Шерлок Холмс. «Я не могу слепить кирпичи без глины».

Может казаться, что UX-исследования это мероприятия, проводимые по принципу «сначала метод» («нам нужен юзабилити-тест», «я хочу провести контекстный опрос», «давайте зафичим карточную сортировку»), но UX-исследователь, фокусирующийся на первичных вопросах исследования, действует по принципу «сначала данные»: «Какой тип данных я должен собрать, чтобы предоставить достоверные и убедительные доказательства по этой проблеме?». А уже далее следует метод.

Что такое сильное доказательство?

Сильное доказательство следует из данных, которые достоверные и надежные.

В юзабилити-тестировании достоверные данные — это вещи типа показателя завершения заданий и эффективности, но никак не эстетическая привлекательность или личное предпочтение.

Надежные данные — это данные по итогам исследования, которое было проведено ещё раз по тому же методу, что и в прошлый раз, но с участием других респондентов.

Независимо от метода, исследовательские данные должны быть достоверными и надёжными. В противном случае, они просто выбрасываются.

В UX-исследованиях сильные данные исходят из выполнения заданий, из наблюдений за пользователем (объективных и независимых), и когда пользователя непредвзято ловят “за руку”. Данные становятся сильными вместе с уровнем нашей уверенности и уверяют нас в том, что продолжение исследования вряд ли изменит уровень нашей уверенности в наших выводах.

Ниже — краткая систематика методов, основанных на уровнях доказательств. По сути, это систематика типов данных, которые дают методы. Предполагается, что каждый метод был грамотно продуман. Это не исчерпывающий список, но он включает список основных методов, которые UX-исследователи обычно применяют в процессе создания дизайна, ориентированного на пользователя.

Примеры сильных UX-доказательств

Сильные UX-доказательства неизбежно включают в себя целевых пользователей, выполняющих задания, или вовлечённых в активность, которая имеет отношение к разрабатываемой концепции или исследуемой проблеме. Вот они:

• Контекстное исследование (полевое этнографическое исследование или другие варианты, когда фиксируется поведение пользователей во время выполнения ими их работы или достижения своих целей)
• Формирующие и суммирующие юзабилити-тесты, в которых пользователи выполняют задания в интерфейсе продукта
• Веб/поисковая аналитика или любого типа автоматически собранные данные об использовании продукта
• А/Б или многофакторное тестирование
• Контролируемые эксперименты
• Анализ задач
• Вторичные исследования поведенческих исследований, основанные на метаанализах и рецензируемых статьях, а также на предыдущих UX-отчётах, которые полностью описывают используемый метод

Примеры относительно сильных UX-доказательств

Для того, чтобы определить эту категорию, данные должны исходить из результатов исследований, которые как минимум включают в себя выполнение заданий — или пользовалями, или экспертами, или включать самостоятельную отчетность о фактическом поведении. Эти методы зачастую являются предшественниками методов из “сильной” категории. Они попали в эту категорию, потому что данные, которые они дают, обычно менее постоянны и менее точны.

• Эвристические оценки
• Когнитивные пошаговые решения задач
• Обратная связь экспертов юзабилити, которые выполняли реальные задачи
• Интервью или любого рода отчёт о собственном поведении типа Jobs to be done
• Построение маршрутов пользователей
• Исследования дневников
• Карточная сортировка
• Отслеживание взгляда
• Поп-ап исследование «партизан» в кафе, библиотеках и т.д.

Примеры слабых UX-доказательств

Решения, основанные на слабых или ошибочных данных, могут стоить компаниям миллионы долларов, если эти решения выливаются в плохой дизайн, плохой маркетинг или неверные утверждения о продукте.

Возникает очевидный вопрос: зачем проводить исследование, результат которого — плохие данные?

Незачем.

Данные из этих методов не нужны в UX-исследованиях. Они лишь немногим лучше, чем простые предположения. Если вы можете выбрать, тратить бюджет проекта на такие методы или на благотворительность, выберите последнюю.

• Любой тип псевдо-юзабилити-тестирования, например, опрос людей на тему, какой дизайн им нравится больше, или тесты, которые в значительной степени зависят от интервью для первичного сбора данных
• Немодерированное тестирование с комментированием вслух, которое позволяет пользователям думать, что они эксперты, а не респонденты, выполняющие задания
• Оценка юзабилити, даже экспертами. Это то же самое, что и “пинание шин”
• Фокус группы (не заставляйте меня начинать)
• Опросы (вы в праве не согласиться, но только если вы спали во время выборов в США в 2016 году)
• Интуиция, обращение к властям или личный опыт
• Мнение друзей, коллег, семьи, вашего босса, менеджеров и руководителей компаний

Как оценивать силу доказательств в исследовании или отчёте

Начните задавать эти вопросы:

• Почему я должен верить этому заявлению?
• Насколько хорошо это доказательство?
• Могу ли я рассчитывать на эти выводы?

В этих вопросах нет подвохов: любой, кто представляет выводы исследования, должен быть в состоянии ответить на них.

В ходе исследования спросите себя:

• Я наблюдаю людей, которые работают (выполняют задания в прототипе) или слушаю, что они говорят (деляться мнениями о дизайне)?
• Интервьюируемые люди размышляют о том, что они могут сделать в будущем, или опираются на события, которые произошли с ними в прошлом?

Некоторое время назад я создал чеклист оценки методов исследований. Если вы хотите дать исследованию хорошую встряску, вы найдете там много интересного.

Я начал эту статью, поообещав эмпирическое правило. Вот оно. Используйте его как мантру, когда оцениваете силу пользовательских исследований:

Поведение — сильные данные. Мнения — слабые данные.