Два года назад мы внедрили в работу UX-исследователей процесс оценки исследований по критериям качества. Подробнее об этом рассказывали в статье. В тот момент мы разработали критерии для оценки качественных исследований (интервью, юзабилити-тестирования и т. д.). С тех пор мы доработали их и разработали критерии для оценки количественных исследований. Об этом подробнее расскажем сегодня.
Процесс оценки
У UX-исследователей следующие договоренности о процессе оценки:
Исследователи грейдов Intern, Junior, Middle обязательно проходят оценку исследования по критериям качества минимум раз в год
Для исследователей грейдов от М+ нет обязательности проходить ежегодную оценку качества исследования.
Оценивает исследование коллега старше на грейд. Мы заранее определяем ревьюера и отмечаем это в таблице, чтобы не тратить время на поиски и договоренности.
Как все работает:
Смотрим в таблице, кто ревьюер.
Сохраняем копию шаблона оценки себе для начала работы.
В шаблоне прикрепляем ссылки на материалы исследования и описываем все необходимые вводные.
Отправляем шаблон со ссылками ревьюеру. Он заполняет чек-лист.
Как изменились критерии для качественного исследования?
Мы протестировали критерии и процесс оценки, собрали обратную связь от участников. Анализ полученных ответов показал, что процесс ревью полезен как для автора исследования, так и для того, кто исследование оценивает. А ещё мы выявили области для совершенствования самих критериев.
Польза оценки исследований по критериям качества:
Поддержка качества исследований в разных продуктах на одном уровне;
Возможность выделить сильные стороны и точки роста;
Сосредоточиться в следующем периоде на прокачивании этих зон роста, обратить внимание на те моменты, которые ранее не замечал;
Обмен опытом с другим исследователем: ревью по критериям качества даёт возможность посмотреть на практики, которые используют другие исследователи (например, как оформляют презентации или как хранят результаты исследований) и переиспользовать это в своей работе;
Исследователи регулярно выступают в роли ревьюеров, что помогает прокачивать навык формулирования развивающей обратной связи.
Что мы улучшили в критериях на основе фидбека после предыдущих итераций оценки исследований:
Поправили неоднозначность в интерпретации некоторых критериев;
Поработали с неравномерной детализацией: одни критерии были слишком общими, другие — избыточно дробными.
Скорректировав критерии, мы провели повторную оценку исследований по обновлённому шаблону. Работу над совершенствованием критериев для качественных исследований на текущем этапе завершили. Ссылкой на обновленный шаблон поделимся в конце статьи.
Критерии качества для количественного исследования
Критерии оценки для качественных исследований хорошо зарекомендовали себя, поэтому у исследователей начали появляться запросы на ревью количественных исследований. Уже сформулированные критерии не позволяли глубоко оценить соблюдение методологии проведения и анализа результатов опросов, поэтому мы решили разработать критерии качества для количественных исследований.
Критерии, которые мы разработали, состоят из 5 блоков:
1. Составление дизайна исследования
В результате брифинга с заказчиком зафиксированы цель, сроки и ожидаемый результат исследования.
Гипотезы / исследовательские вопросы сформулированы конкретно, лаконично, понятно и проверяемо. Они отражают цели и задачи исследования.
Метод позволяет достичь поставленной цели, подобран в зависимости от того, качественные или количественные данные необходимо получить (если исследование многоэтапное, прописано обоснование, почему после качественного исследования потребовалось количественное. Это указывается в шаблоне на листе «Материалы исследования».
Разработанный инструментарий соответствует цели и позволяет проверить все сформулированные гипотезы / получить ответы на все исследовательские вопросы (если исследование многоэтапное, вопросы количественного исследования отражают результаты предшествующего, видно на основании чего они сформулированы).
Целевая аудитория выделена правильно, исходя из цели исследования. Подробное описание выборки указывается в шаблоне на листе «Материалы исследования».
2. Генеральная совокупность и выборка
Описана генеральная совокупность (кол-во организаций / пользователей, описаны сегменты).
Описан тип и размер выборочной совокупности, есть обоснование (важно указать, почему выбран тот или иной способ формирования выборки).
-
Выборка репрезентативна — её структура воспроизводит структуру генеральной совокупности по заранее выбранным сегментам / группам.
В выборке представлены выбранные сегменты / портреты в тех же пропорциях, что и в ГС;
Если выборка смещена, есть перекосы, то это указано в исследовании;
Если перекос устраняется за счёт процедуры перевзвешивания или других методов, это также зафиксировано.
3. Вопросы анкеты
Превью и завершение анкеты не перегружено, соответствует теме и не вводит респондента в заблуждение.
Есть файл с анкетой. Анкета составлена последовательно, вопросы не перепрыгивают с темы на тему. В файле зафиксированы переходы (кому какой вопрос показываем).
Онлайн-анкета правильно отображает сложные переходы между вопросами, если они имеются.
Величина анкеты соответствует целям исследования: нет излишних вопросов, данные по которым можно получить из баз данных / метрик (название компании, город и т.п.), не задаются вопросы, которые не влияют на достижение цели исследования.
-
Вопросы заданы грамотно с точки зрения методологии:
Отсутствие смешения оснований в ответах на вопросы. Респондент может однозначно выбрать вариант ответа
Плохой пример
Вопрос: почему вы выбрали наш сервис?
Варианты ответа: «красивый цвет и удобный дизайн», «удобный дизайн и быстрая техподдержка»)
Вопросы заданы однозначно. Например, в вариантах ответа не используются слова «редко», «часто», «много», «мало». Не используются вопросы с частицей «не» — Вам не кажется, что работа скучная?.
Предусмотрены варианты ответа «не знаю», «затрудняюсь ответить», «другое».
В поливариантных вопросах указано, какое количество ответов может выбрать респондент.
Не используются наводящие вопросы
Плохой пример
Насколько вам понравилась наша быстрая работа тех.поддержки?
Шкалы во всей анкете имеют единое направление
Плохой пример
В одних вопросах «1» означает «полностью согласен», а в других — «категорически не согласен».
В шкалах нет перекосов в сторону положительных или отрицательных ответов
Пример сбалансированной шкалы
Совсем не важно, скорее не важно, нейтрально, важно, критически важно
Не используются нетипичные для продукта сленги и сокращения.
Отсутствуют пунктуационные и грамматические ошибки.
Вопросы краткие и лаконичные, нет перегруженных формулировок.
Плохой пример
Вместо вопроса «Выберите тип вашего бизнеса» задаётся вопрос «Отметьте, пожалуйста, к какому характеру предпринимательства больше всего из перечисленного относится ваше дело, которым вы зарабатываете?»
Нет вопросов о будущем
Плохой пример
«А вы будете использовать наш продукт, если мы добавим такую-то фичу?»
4. Анализ данных
В анализе можно найти и при необходимости просмотреть ответы всех респондентов. Есть артефакт, в котором сохранены эти данные (выгрузка в эксель). Данные проверены и очищены.
Есть описание вводных исследования: когда проводилось исследование, каким методом (онлайн-опрос, звонки, комбо) и на какой выборке, уровень значимости выводов (уровень доверия). Если менялся дизайн исследования по ходу проведения — это тоже отражено (на каком моменте, суть изменений, сколько пользователей было для каждого варианта анкеты). Если выборка не набрана, это указано в выводах.
Цель исследования достигнута. В выводах есть ответы на ключевые исследовательские вопросы и гипотезы, которые проверялись в ходе исследования. Если ответ не найден / данных не достаточно, то это указывается в выводах.
При анализе открытых вопросов информация от респондентов корректно распределена по категориям (проверяется тегирование)
Рекомендации сформулированы без искажений, не противоречат результатам опроса.
Есть указание —- доля от ответивших на вопрос, от всех опрошенных.
Результаты представлены наглядно: таблицы, графики, диаграммы. Графики и диаграммы корректно оформлены, тип визуализации корректно подобран под данные. Например, круговые диаграммы не используются для вопросов с множественным выбором. Даны названия, подписаны оси и единицы измерения, названия и подписи информативны, графики и диаграммы содержат читаемую легенду, выбран верный масштаб. Соблюдается единый стиль оформления графиков и диаграмм, цвета на них отчётливы.
5. Применение и хранение результатов
Понятно, как применять результаты исследования, команда использует их на других этапах работы. Например, аналитика написана со ссылками на отчёт исследования или прототипы перерисованы с опорой на эти данные, и можно показать как было и как стало.
Выводы и рекомендации сформулированы доступно и понятно: грамотный язык, чёткая структура, аккуратное оформление.
Данные хранятся в месте и формате, принятом в команде. К каждому исследованию прикреплено краткое описание и ссылки на все материалы исследования.
Все вышеуказанные критерии занесены в шаблон, по которому можно оценить любой опрос.
Каждый критерий оценивается по шкале от 0 до 2:
0 — отсутствует, не соблюден;
1 — соблюдён частично, есть несоответствия;
2 — соблюдён полностью.
В шаблоне есть критерии, которые проверяют параметры, присутствующие не в каждом исследовании. Например, вопросы со шкалами в некоторых опросах могут отсутствовать. В таком случае по этому критерию балл не выставляется и пересчитывается максимальный балл, который можно набрать.
Готовые шаблоны
Для начала работы необходимо создать копию шаблона на своём диске.
Что дальше?
Будем тестировать шаблон для оценки количественного исследования до конца года, соберём обратную связь и доработаем критерии. Также продолжим отслеживать общие слабые места и планировать мероприятия для прокачивания UX-исследователей.
Call to action
Предлагаем вам ознакомиться с шаблонами и попробовать оценить свои исследования. Делитесь обратной связью в комментариях в «Сдобе» или пишите в телеграм Маше.
Больше про UX-исследования — в телеграм-канале Сдоба.