Привет, Хабр! Это статья-навигация по немодерируемым UX-тестам от команды Ozon Банка. Какие задачи помогают решить немодерируемые UX-тесты? Как правильно формулировать вопросы? И, наконец, как проводить сами тесты качественно, быстро и просто? Если вас волнует один из этих вопросов, то вы открыли нужную статью.

Меня зовут Маша Павленко, и мы с командой исследователей Ozon Банка занимаемся всем, что связано с исследованиями интерфейсов. Я задумала эту статью в помощь дизайнерам, продакт-менеджерам, разработчикам — всем, кто не связан напрямую с исследованиями и тестированием, но кому они нужны по работе.

Эта статья — продолжение моего выступления на Research Expo 2024. В нём я рассказывала о том, как мы в Ozon Банке подходим к процессу немодерируемых UX-тестов. В этой же статье вы узнаете:

• как правильно тестировать интерфейсы и получать результаты проверки своих гипотез,

• как самостоятельно составлять и проводить исследования: разберём самые популярные интерфейсные тесты,

• какие вопросы задать себе перед запуском тестов — в конце статьи будет чек-лист для самопроверки.

Для начала, что такое немодерируемые UX-исследования?

Интернет заполнен информацией о том, что такое немодерируемые UX-тестирования, для чего они нужны и как их проводить. Но почти везде говорится о них как о чём-то едином, с единым подходом, хотя по сути это — микс из тестов разных видов. Получается так, что эта «серебряная пуля» (UX-тест) собирается каждый раз заново, как конструктор, из различных вопросов.

Поэтому важно чётко понимать, какие виды вопросов существуют, и что конкретно мы можем добавить в тест. Но прежде чем разбираться с видами вопросов, нужно понять, какую задачу вы решаете.

В команде исследований Ozon Банка мы придумали шаблон сбора немодерируемого UX-теста. Он состоит из 3 этапов:

• постановки задачи и определения подхода к её решению,

• проектирования теста,

• сбора результатов исследования.

Двух одинаковых тестов, как и двух идентичных задач, не бывает. Каждый тест уникален, поскольку помогает проверить гипотезы для конкретной задачи. Но в любой анкете есть обязательные блоки:

1. Приветствие
   Вводная информация для пользователей о том, кто мы такие, какой тест проводим, и сколько времени это займёт. А также предупреждение, что все ответы конфиденциальны

2. Скринирующие вопросы
   Вопросы-фильтры, позволяющие понять, что мы получим ответы именно от той аудитории, на которую рассчитан тест

3. Инструкции к выполнению заданий
   Контекст, который даём пользователям — о чём идёт речь, какие будут последующие вопросы

4. Основной блок вопросов
   Вопросы, решающие основную задачу

5. Заключительные вопросы
   Уточняющие вопросы для сбора портрета пользователей, прошедших анкету

А теперь перейдём к самому интересному — как подружить нашу задачу с видами тестов и выбрать самые подходящие для проверки гипотезы вопросы.

Такой вид тестов нужен для оценки удобства и логичности навигации в интерфейсе. Соответственно, основная задача — выяснить, насколько легко пользователям находить нужную информацию и пользоваться ресурсом в целом. Тесты навигации помогают выявить слабые места в структуре интерфейса и понять, как улучшить пользовательский опыт.

Структура анкеты

Сначала введение и общие вопросы — чтобы получить общее представление о восприятии интерфейса. Затем пользователь оценивает лёгкость навигации между разделами и простоту поиска конкретной информации.

Далее идёт важный этап: участники оценивают интуитивность и логику структуры интерфейса. На этом же этапе мы выясняем, соответствуют ли они ожиданиям пользователей.

Завершает тестирование оценка удовлетворённости навигацией и поиском. И блок для заключительных комментариев, в котором пользователи оставляют свои предложения и замечания.

Примеры вопросов в анкете UX-теста навигации и поиска информации в интерфейсе:

• Перед вами [вставить нужное]. Какое первое впечатление у вас сложилось от [вставить нужное]?
  Ответы: Очень положительное, Положительное, Нейтральное, Отрицательное, Затрудняюсь ответить

• Шкала: Насколько понятной показалась вам структура интерфейса на первый взгляд? Оцените по шкале от 1 до 5, где 1 — совсем непонятно, а 5 — полностью понятно

• First click: Вы в [вставить нужное]. Найдите область, которая на ваш взгляд, позволит [вставить нужное].

• Инструкции:
  - Пожалуйста, внимательно посмотрите на экран;
  - Нажмите на элемент, который, по вашему мнению, поможет вам выполнить задачу;
  - Не думайте слишком долго о своём ответе. Просто нажмите на область, которая приходит вам в голову.

• Шкала: Оцените, насколько легко было найти нужную информацию по шкале от 1 до 5, где 1- очень трудно, а 5 — очень легко.

• Шкала: Кажутся ли вам переходы между страницами и разделами логичными? Оцените по шкале от 1 до 5, где 1 — совсем нелогично, а 5 — очень логично.

• Открытый вопрос: Какую информацию или функцию, по вашему мнению, стоило бы расположить более заметно?

• Насколько вам нравится навигация и удобство поиска информации? Оцените по шкале от 1 до 5, где 1 — совсем не нравится, а 5 — очень нравится.

• Есть ли что-то, что вас особенно разочаровало или удивило в процессе использования интерфейса?

Тестирование юзабилити ключевых функций проверяет конкретные функции продукта: добавление товара в корзину, оформление заказа или загрузку документов. Обычно такие тесты помогают выявить проблемы, затрудняющие завершение действий в интерфейсе.

Структура анкеты

Во введении участникам объясняются цели теста и предоставляются инструкции по его прохождению. Далее следует этап выполнения задачи — здесь оцениваются скорость и эффективность выполнения заданий.

Затем пользователь оценивает удобство использования функции: насколько ему было комфортно с ней взаимодействовать, с какими сложностями и проблемами он столкнулся в процессе.

Далее следует важный раздел — об опыте взаимодействия. В нём собирается обратная связь, отзывы о полезности функции и её восприятии пользователем.

Завершает анкету общая оценка пользовательского опыта и раздел для дополнительных комментариев, в котором участники могут высказать свои мысли и предложения.

Примеры вопросов в анкете UX-теста юзабилити ключевых функций в интерфейсе:

• Сценарный тест: В мобильном приложении сервиса доставки есть возможность сделать заказ, который доставят сегодня. Ваша задача — оформить товары которые в корзине с доставкой на сегодня.

• Как вы оцениваете удобство использования данной функции? (1 - очень неудобно, 5 - очень удобно)

• Насколько легко было найти данную функцию? (1 - очень сложно, 5 - очень легко)

• Сколько времени вам понадобилось для выполнения задачи с данной функцией? (менее 1 минуты, 1-3 минуты, более 3 минут)

• Как бы вы оценили сложность выполнения задачи? (1 - очень сложно, 5 - очень легко)

• Какие трудности вы испытывали при использовании данной функции? (открытый вопрос)

• Были ли у вас недоразумения при использовании функции? Если да, опишите. (открытый вопрос)

• Что вам понравилось в данной функции? (открытый вопрос)

• Что бы вы изменили или добавили в данную функцию для улучшения? (открытый вопрос)

• Как вы в целом оцениваете ваш опыт использования данного продукта? (1 - очень плохо, 5 - очень хорошо)

Сравнительное тестирование интерфейсов (оно же парное сравнение) — метод оценки различных вариантов дизайна. Этот вид тестов позволяет найти самые эффективные и удобные для пользователей решения. Попутно определяются предпочтения пользователей, самые привлекательные для ЦА интерфейсы. Этот тип тестов помогает выявлять проблемы в пользовательском пути, оценивать эффективность версий интерфейсов (по скорости выполнения задачи и уровню ошибок) и обосновывать принятие решений на основе предпочтений пользователей и собранных данных.

Структура анкеты

Первый этап — введение, в котором объясняется цель тестирования и суть теста (участников информируют о сравнении двух интерфейсов). Далее следует оценка общей привлекательности интерфейсов для определения первого впечатления.

Затем участники оценивают удобство и лёгкость выполнения задачи в каждом из интерфейсов. На этом же этапе выявляются трудности, с которыми столкнулись пользователи. А также проводится оценка функциональности и удобства реализации функций.

В финальной части теста пользователи отвечают на вопросы о визуальном восприятии и комфорте с точки зрения дизайна. Завершает анкету общая оценка и блок для дополнительных комментариев, в котором участники высказывают свои мысли, впечатления и советы по улучшению интерфейса.

Примеры вопросов в анкете UX-теста сравнения интерфейсов:

• Пожалуйста, ознакомьтесь с двумя интерфейсами, которые вы будете оценивать. Убедитесь, что вы понимаете, какие задачи необходимо выполнить.

• Какой интерфейс вам кажется более привлекательным? Почему?

• Оцените общий внешний вид интерфейсов по шкале от 1 до 5 (1 - очень плохо, 5 - отлично).

• Как вы оцениваете доступность необходимых функций в интерфейсе A? (1 - неудовлетворительно, 5 - отлично)

• Как вы оцениваете доступность необходимых функций в интерфейсе B? (1 - неудовлетворительно, 5 - отлично)

• Как вы оцениваете цветовую палитру интерфейса A по шкале от 1 до 5, где 1 — очень плохо, а 5 — отлично?

• Как вы оцениваете цветовую палитру интерфейса B по шкале от 1 до 5, где 1 — очень плохо, а 5 — отлично?

• Какой из интерфейсов вы бы выбрали для использования в реальной жизни? Почему?

• Есть ли какие-либо предложения по улучшению интерфейсов, которые вы хотите сделать?

Этот тип теста фокусируется на оценке целостности и логики последовательности действий, необходимых для выполнения определённых задач. Основная задача — выявить узкие места и затруднения.

Структура анкеты

Цель первого блока (введения) — получить общее представление о том, как пользователи воспринимают интерфейс. Далее пользователи оценивают лёгкость выполнения заданных действий. Следующий важный этап — пользователи оценивают логичность и последовательность действий. В завершающем блоке участники делятся общими впечатлением,  удовлетворённостью процессами и своими мыслями.

Примеры вопросов в анкете UX-теста процессов в интерфейсах:

• Сценарное задание: «Пожалуйста, выполните задачу: оформите заказ на продукт X».

• Как бы вы оценили лёгкость выполнения этой задачи по шкале от 1 до 5, где 1 — это очень трудно, а 5 — это очень легко?

• Какие трудности вы испытывали во время выполнения задания? (Открытый вопрос).

• Насколько понятен процесс оформления заказа? Оцените по шкале от 1 до 5, где 1 — это совсем непонятно, а 5 — это очень понятно.

• Оцените общее время, затраченное на выполнение задачи, по шкале от 1 до 5 (где 1 — слишком долго, 5 — быстро).

• Как бы вы описали ваш общий опыт выполнения задачи? (Открытый вопрос)

• Есть ли у вас предложения по улучшению процесса оформления заказа? (Открытый вопрос)

• Какие функции, на ваш взгляд, отсутствуют в процессе и могут улучшить ваш опыт? (Открытый вопрос)

Цель этого вида тестов — оценить, правильно ли пользователи воспринимают и понимают текстовые элементы интерфейса. Он помогает выявить сложные термины и фразы, которые могут вызвать недопонимание.

Структура анкеты

Тест начинается с введения и общих вопросов, чтобы получить общее представление о восприятии текстов. Затем пользователи оценивают понимание текста — лёгкость восприятия и интерпретации текстовых фрагментов. Следующий этап особенно важен: в нём оценивается логика, ясность и последовательность представления идей. Завершает анкету блок анализа соответствия ожиданиям: насколько текст соответствует ожиданиям и пониманию пользователей.

Примеры вопросов в анкете UX-теста понимания текстов в интерфейсе:

• Насколько важна для вас ясность текста в интерфейсе? (Оценка от 1 до 5, где 1 — совершенно не важна, а 5 — крайне важна)

• Насколько легко вам было понять данный текст? (Оценка от 1 до 5, где 1 — очень трудно, а 5 — очень легко)

• Были ли слова или фразы, которые вы не поняли? Если да, укажите, какие именно.

• Какие мысли у вас возникли при чтении этого текста?

• Насколько логичными вам показались идеи, изложенные в тексте? (Оценка от 1 до 5, где 1 — совсем нелогично, а 5 — очень логично)

• Есть ли элементы текста, которые вам показались запутанными или неясными? Если да, уточните.

• Как бы вы описали основные идеи текста своими словами?

• Насколько текст соответствовал вашим ожиданиям относительно его содержания? (Оценка от 1 до 5,  где 1 — совершенно не соответствовал, а 5 — полностью соответствовал)

• Какие аспекты текста вы ожидали увидеть, но не нашли?

• Есть ли элементы текста, которые, по вашему мнению, не соответствуют функционалу интерфейса?

⛔️ Когда не стоит проводить немодерируемые UX-тесты?

Вы не можете чётко сформулировать цели исследования
У любого исследования должна быть ясно сформулированная цель — и если её нет, мы не сможем в неё попасть)

Результаты исследования не повлияют на принятие решения
Случаются ситуации, когда решение диктуют обстоятельства, и полученная из исследований информация не сможет их перевесить. В этом случае нет смысла тратить время и ресурсы на исследование

К моменту завершения исследования информация будет уже не актуальна
На подготовку, проведение и анализ результатов любого исследования нужно время. Если вы не можете сдвинуть дедлайн принятия решения, а до этого провести исследование не получается — проводить исследование не стоит

Затраты на проведение исследования превышают пользу от него
Просто ответьте себе на вопрос: сколько вы можете потерять (или не заработать), если, отказавшись от исследования, примете неправильное решение?

✅ О чём ещё подумать перед запуском немодерируемого UX-теста? Чек-лист:

• Спросите себя «Какое знание я хочу получить?»

• Подумайте, какой формат ответа вам подойдёт: свободный ответ, клик или выбор из нескольких вариантов

• Проверьте, что в формулировке вопроса не скрыто два вопроса

• Посмотрите, насколько вопрос понятен и однозначен

• Дайте контекст, если это нужно для выполнения задания, например: респонденту будет важно понять, как он оказался на странице чекаута

• Если это возможно, запускайте тест или опрос не на всю выборку сразу.
  Лучше сделайте пилотную версию на 20–30 респондентов. Так по первым ответам получится отловить проблемы и сразу их исправить

• Покажите исследование коллегам в своей команде — возможно, у них будут ценные комментарии

• Подумайте, какие пути в прототипе оставить, а какие убрать. Не оставляйте только один путь — респонденты точно по нему пройдут, и результаты теста вам не пригодятся

• Проверьте реалистичность данных на макете.
  Молоко не может стоить 500 рублей, а призыв к действию «Ну пожалуйста, купите» в реальной жизни никто не пишет

• Проверьте, насколько понятно, о каком элементе вы спрашиваете.
  Нужный объект можно поместить в рамку или указать на него стрелкой. Если указываете стрелкой, убедитесь, что рядом с нужным элементом не стоят другие — иначе респондент не поймёт, на что надо обратить внимание

• Если сравниваете два и больше экрана, проверьте, что макеты различаются только той деталью, которую тестируете

• Посмотрите, совпадают ли качество и размер двух или больше макетов, если проводите Preference-тест

• Поместите прототип в отдельный файл в Figma или другом дизайн-редакторе. Тогда макет будет быстрее открываться и меньше зависать

• Откройте доступ для всех, если макет или прототип открывается по ссылке

• Проверьте, что макет подходит к устройству, с которого респондент будет выполнять задание

• Если в Figma есть подсказки, куда можно нажать, не забудьте их отключить

На этом всё! Спасибо, что прочитали! Надеюсь, вы узнали много полезного о создании анкет для немодерируемых UX-тестов.

Сохраняйте себе другие полезные материалы из нашего коллективного телеграм-канала Ozon Design. Делитесь материалами с коллегами и развивайтесь вместе! ?