Про оценку восприятия интерфейса
Методология оценки юзабилити в UX-исследованиях достаточно развита - у нас есть стандарты, общепризнанные метрики и индексы. С ней все достаточно просто и операционализовано. Мы считаем время выполнения задания, эффективность, условную удовлетворенность.
При замерах юзабилити мы зачастую отбрасываем эстетическую составляющую дизайна, ставя функциональное удобство превыше всего. Но, из нашей реальной жизни эстетическое восприятие никуда не уходит. Оно также влияет на воспринимаемое удобство использования, как бы мы ни старались лабораторно разделить эти понятия. Восприятие красоты интерфейса, эмоциональная и эстетическая часть дизайна никуда не уходят — их тоже нужно уметь оценить.
Когда мы начинаем касаться гедонистических качеств дизайна, связанных не с механическим выполнением задач в интерфейсе, а восприятием, все становится немного сложнее. Для замера чего-то настолько нематериального и неоднозначного нам нужны особенные методики.
Основными методиками для подобной оценки можно считать AttrakDiff и Microsoft Desirability Toolkit.
Про AttrakDiff мы, возможно, поговорим в следующий раз. А на основе Microsoft Desirability Toolkit мы создали VKontakte Desirability Toolkit (VDT). И в этой статье расскажем о его применении в реальной работе над дизайном.
История MDT
Метод, как можно было догадаться из названия, родился в компании Microsoft. Размышляя над измерением субъективных аспектов интерфейса, таких как «Удовольствие» или «веселье», Джо Бенедек и Триш Майнер пытались решить две основные проблемы:
Стандартные опросники для измерения подобных аспектов используют множество вопросов со шкалой Ликерта (где 1- совсем не согласен, а 5 — полностью согласен) — это приводит к большому количеству вопросов в опроснике, и респонденты устают их заполнять;
В лабораторных условиях респонденты могут завышать свои оценки по шкале Ликерта.
При этом, полностью отказаться от опросников довольно сложно — результаты интервью тяжело анализировать, сравнивать, а респондентам зачастую тяжело высказать во всей полноте свое мнение об интерфейсе.
Чтобы решить все эти проблемы, авторы методики решили пообщаться с теми исследователями компании, кто изучает востребованность продуктов. Это вылилось в несколько брейншторм-сессий.
В рамках этих сессий исследователи искали метод, который будет быстрым в использовании, легким в анализе и будет выдавать статистически значимые результаты.
На этих брейнштормах специалисты придумали две возможные техники:
«Опрос с лицами» («Faces Questionnaire»)
«Карточки реакции» («React Cards»)
При пилотировании, «Опрос с лицами» показал себя не очень хорошо — при использовании очень эмоциональных фотографий («ярость» или «экстаз») респондентам было довольно сложно ассоциировать себя с людьми на фотографиях, поэтому фидбек от респондентов был крайне скупым. При использовании более спокойных и неоднозначных выражений, респондентам было проще давать описание собственной реакции на интерфейс, но при этом фидбек сильно зависел от того, насколько большим словарным и понятийным запасом обладает сам респондент.
С «Карточками реакций» дело пошло гораздо лучше. Данная техника понравилась и исследователям и респондентам — исследователи получали довольно много данных в краткий период, при этом могли представить количественно выбор респондентами карточек. Респондентам же было интересно разбирать карточки, а слова на них помогали сформировать точный фидбек, без эффекта «чистого листа».
Развитие MDT
Изначально, метод с карточками реакций предполагался скорее как качественный метод. Авторы методики отмечали, что результаты сложно генерализовать (за счет выборки) и основную ценность эта техника несет как катализатор общения с респондентом. Карточки отлично помогали поддерживать дискуссию и выражать свои мысли.
В 2016 году Nielsen & Norman Group развили эту методику дальше, докрутив ее до того, вида, в котором она обычно используется сейчас. Карточки реакции использовали как часть опросника, взяв из начального набора 25 карточек. Для полноты картины было решено взять 10 позитивных, 10 негативных и 5 нейтральных карточек.
Метод довольно успешно был применен для того, чтобы сравнить восприятие плоского дизайна взрослыми и молодыми респондентами.
В дальнейшем это помогло выработать основной алгоритм работы с карточками:
Выбираем из списка 25 карточек такие, которые бы отражали то, что мы хотим измерить. Выбираем те реакции, которые мы хотим вызвать нашим дизайном. А также те, которых мы хотели бы избежать
Показываем респондентам скриншот, где есть все нужные нам элементы, желательно в контексте — скриншоту лучше выглядеть так, как он выглядел бы в реальной жизни. Просим выбрать 5 слов, которые лучше всего его описывают.
Смотрим различия между топ-5 выбранных слов в разных группах.
Разработка VDT (VKontakte Desirability Toolkit)
В 2023 году мы в ВКонтакте искали метод, который позволит оценить визуальную привлекательность дизайна. Метод должен был позволять сравнивать различные дизайн-решения между собой, проводиться быстро и оценивать, достигаем ли мы своих целей в разных эмоциональных аспектах дизайна или нет.
Выбор пал на MDT, тем более, что предложение Nielsen & Normal использовать собственные наборы карточек в зависимости от целей дизайна показалось нам достаточно привлекательным.
Для выбора карточек мы собрались вместе с дизайнерами и редакторами. Работу над составлением собственной колоды мы проводили в несколько этапов.
Этап 1: перевод слов
На практике в русскоязычных исследованиях обычно использовался один и тот же набор из 25 слов, который применял NIelsen & Norman — мало кто думал над тем, чтобы сделать собственный набор. Поэтому из 118 слов переведено на русский для опросника было только 25. Поэтому мы начали с перевода. Некоторые слова было особенно тяжело перевести, потому что в английском и русском они имели разную коннотацию. Например, слово «simple» в английском языке относительно однозначное. Несмотря на весь спектр смыслов, его сложно использовать в негативном ключе. В русском же языке слово «простой» очень многогранно. И в наших опросниках мы заметили, что оно всегда входит в топ-5 в любом дизайне, чаще всего на первом месте. Причем как-то интерпретировать слово «простой» сложно: у респондентов оно может обозначать как простоту интерфейса, так и «простой, без изысков» или же «простенький какой-то».
В результате мы все же получили набор из 118 слов, которые относительно однозначны для интерпретации.
Этап 2: голосование
После перевода, мы провели голосование за те слова, которые по нашему мнению, стоит взять в колоду. Это были и те слова, которые выражают наши цели дизайна. А также те негативные реакции, которые мы не хотим вызывать.
Это помогло сузить оригинальный набор до 59 карточек, из которых 35 позитивных, 19 негативных и 5 нейтральных. Позитивные и негативные слова в дальнейшем мы внесли в опрос пользователей.
Этап 3: опрос
Чтобы выбрать 10 позитивных и 10 негативных слов для формирования колоды, мы задали нашим пользователям следующие вопросы:
«Выберите 10 слов, которыми МОЖНО назвать ту социальную сеть, в которую вы готовы заходить каждый день»;
«Выберите 10 слов, которыми НЕЛЬЗЯ назвать соцсеть, в которую вы готовы заходить каждый день».
По результатам брейнштормов, экспертной работы и опросов мы в итоге получили следующую колоду карт. Ее мы и назвали VKontakte Desirability Toolkit (по аналогии с MDT).
При этом важно отметить, что это колода является опорной и слова в ней могут заменяться в зависимости от задач исследования. Но при этом важно сохранять соотношение позитивных, негативных и нейтральных слов.
Применение VDT на практике
В дальнейшем мы стали использовать свою колоду для оценки интерфейса. На практике она себя показала очень хорошо:
Замеры одного и того же дизайна получают одинаковые результаты на разных замерах.
Разные дизайны получают достаточно разные результаты на монадических замерах (выборка делится на несколько групп, каждая из которых видит разные варианты дизайна).
При этом чем более похожи исследуемые варианты дизайна, тем более похожие ответы на VDT мы получаем.
Из интересных эффектов оценки мы заметили некую полярность выбранных слов, что косвенно подтверждает наши предположения об их коннотации.
Если построить сетевой граф по результатам опроса, мы видим что респонденты предпочитают выбирать слова одной коннотации. С позитивными эпитетами выбирают позитивные, с негативными — негативные.
Интересный момент, что слово «понятный» находится достаточно близко к нейтральным словам, и в будущем мы будем проводить дополнительные исследования для оценки этого слова.
В дальнейшем мы выработали несколько методик работы с результатами VDT-опросов.
Топ-5 слов
Классический вариант, используемый и в Nielsen & Norman. Вычисляем 5 самых популярных слов в каждом варианте дизайна и в каждой исследуемой группе. Результаты удачно можно представить в виде кругов Эйлера:
Сравнение по фокусным словам
Когда нам важны отдельные аспекты восприятия дизайна (например, «модный» или «современный») мы можем сравнивать различные дизайны по проценту респондентов, выбравших эти слова. Точно так же мы можем делать, когда хотим снизить какой-либо из негативных эффектов.
Сводная оценка
С учетом количества слов в колоде, зачастую мы получаем довольно много сравниваемых метрик, и если брать их все по отдельности, то сложно выбрать какой-то один вариант дизайна. Поэтому мы выработали две суммирующие метрики по результатам VDT:
Процент позитивных/негативных слов — суммарный процент респондентов, выбравших позитивные эпитеты и суммарный процент респондентов, выбравших негативные эпитеты.
Индекс достижимости целей дизайна — из суммы процентов ключевых эпитетов отнимаем сумму процентов негативных ключевых эпитетов.
Преимущества VDT
На нашей практике эта колода оказалась полезным инструментом. Она помогает быстро оценить тот или иной вариант дизайна, легка в использовании и анализе.
В будущем нам предстоит работа с отдельными словами (например, «понятный»), а также дальнейшая методологическая доработка инструмента. Например, стоит ли жестко ограничивать респондентов 5-ю словами или можно позволять им меньше карточек.
Также, несмотря на простоту, вопрос с 25-ю вариантами ответа может быть тяжел в понимании для респондентов. В планах у нас оценка достижимости самых нижних карточек с помощью фиксированного, а не рандомизируемого, набора вариантов ответов.
Для тех, кто хочет использовать этот метод в своей работе, мы можем дать несколько советов:
Не забывайте рандомизировать варианты ответов в вопросе.
При сравнении меняйте только дизайн в показываемых скриншотах — информационная наполненность сравниваемых экранов должна быть одинаковой.
Добавляйте открытые вопросы после выбора карточек, это поможет вам лучше понять, почему респонденты выбрали те или иные эпитеты.
Не стесняйтесь экспериментировать с собственными наборами карточек, Desirability Toolkit – это очень гибкий инструмент, который легко докрутить под ваши цели и задачи.
Спасибо за внимание! Если интересно узнать побольше об этом методе, то можно почитать следующие статьи: