Привет, Хабр! Меня зовут Эля, я исследователь в ecom.tech. В этой статье расскажу, как мы измеряли юзабилити приложения для курьеров-партнёров, зачем мы это делали – и что из этого получилось.

Все давно привыкли к мысли, что приложения должны быть удобными в первую очередь для клиентов. Но как насчет курьеров-партнеров Самоката, которые каждый день доставляют продукты? Мы в команде решили разобраться и замерить, насколько удобно приложение для курьеров-партнёров. Ведь их комфорт и эффективность напрямую влияет на качество продукта в целом.

По ту сторону заказа: как устроен Самокат

Допустим, вы хотите заказать сырок в Самокате. Вы заходите в приложение, выбираете сырок, нажимаете «Оплатить». В этот момент создается заказ, его собирает сборщик-партнёр и передает курьеру-партнёру, который уже везет заказ вам.

Все курьеры-партнеры Самоката используют приложение Доставка Про. В нём они получают информацию о заказах: что именно необходимо доставить, по какому адресу, а также особые пожелания клиентов.

Вот как выглядит приложение курьера-партнёра:

Но как понять, насколько пользовательский путь курьера-партнера в приложении удовлетворяет его потребности? Как понять, что мы на правильном пути? Ответ на все эти вопросы можно найти, измерив юзабилити. 

Что такое юзабилити и как его измерять

Юзабилити можно назвать хорошим, если курьер-партнёр легко ориентируется в приложении: быстро находит адрес доставки, получает точные инструкции по маршруту и без проблем отмечает заказ как выполненный.

Приложение для курьеров-партнёров должно быть простым и понятным. Нам важно понимать, насколько удобно им пользоваться — и делать это не на уровне субъективных ощущений, а на основе данных. Посчитать удобство нам поможет метрика юзабилити. Перед ней мы поставили следующие задачи:

• Количественно оценивать юзабилити продукта;

• Сравнивать эту оценку в разных периодах и в разных сегментах пользователей;

• Выявить те части продукта, где юзабилити хуже;

• Понимать, в правильном ли направлении мы двигаемся, когда изменяем пользовательские флоу.

Мы начали с рассмотрения универсальных подходов. Изучили существующие метрики юзабилити:

SUS (System Usability Scale)

Самая известная и проверенная метрика юзабилити, созданная почти 40 лет назад. Опросник состоит из 10 утверждений:

Респонденту предлагается оценить, насколько он согласен/ не согласен с каждым из утверждений по пятибалльной шкале. Где 1 — совершенно не согласен, а 5 — совершенно согласен. Особенность метрики в том, что позитивные и негативные формулировки чередуются. Это позволяет выявлять несогласованные или случайные ответы и улучшает качество собранных данных.

 SUPR-Q (Standardised Usability Percentile Rank Questionnaire)

Известная метрика юзабилити, разработанная уже в 2015 году. Состоит из утверждений, которые распределены на четыре категории. Восьмое утверждение — стандартный NPS со шкалой от 0 до 10:

Согласие с утверждениями респондент оценивает по пятибалльной шкале. Эта метрика хороша тем, что оценивает разные аспекты продукта: от внешнего вида до юзабилити.

 UMUX (Usability Metric for User Experience)

Придуманная в 2010 году, как замена метрике SUS. Новее, короче, а еще учитывает определение юзабилити из ISO 9241 — эффективность, производительность и удовлетворенность. Принцип похож на SUS, метрика тоже состоит из позитивных и негативных утверждений, но здесь их всего четыре:

UMUX-lite

Как UMUX, но состоит из всего двух утверждений:

Оценивается аналогично с UMUX. Кроме того авторы этой метрики доказали, что она сильно коррелирует с SUS. 

Ограничения стандартных метрик

Но несмотря на популярность и удобство, универсальные метрики юзабилити имеют свои ограничения:

• Проблемы усреднения
  Метрики общие, а это значит, они не помогут оценить все важные пользовательские сценарии. А мы хотели получить как общую оценку приложения, так и отдельные оценки по важным пользовательским сценариям.

• Неоднородность интерпретации
  Для замера метрик используются конкретные формулировки, которые респонденты могут воспринимать по-разному. Например, словосочетание “внешний вид приложения”. Без конкретики разные респонденты могут воспринять это по-разному. Для кого-то это цвет кнопок, а для кого-то размер шрифта. Разное восприятие может исказить результаты замера.

• Недостаточное количество данных
  Использование стандартных метрик не дает возможность узнать причины оценок респондента.

Поэтому мы решили, что хотим разработать свою собственную шкалу оценки юзабилити приложения, используя и адаптируя механики универсальных шкал.

Наша метрика: замеры и примеры

Наша метрика должна оценивать: 

• Общее юзабилити продукта;

• Юзабилити по каждому из важных пользовательских сценариев.
  
  Их мы выявили на основе CJM курьера-партнёра и его основных шагов в приложении:

Чтобы получить общую оценку юзабилити продукта, мы выбрали универсальную метрику UMUX-lite. В нашем случае мы просим оценить согласие по шкале от 1 до 5 со следующими утверждениями:

1. Возможности приложения Доставка Про отвечают моим требованиям.

2. Приложением Доставка Про легко пользоваться.

Чтобы проверить, насколько удобно и понятно выполнять каждый шаг, мы взяли метрику CES (Customer Effort Score). Она измеряет, насколько сложно было пользователю выполнить какое-то действие в приложении, респондент отвечает на этот вопрос по семибалльной шкале. Мы адаптировали CES под свои задачи, поменяв формулировку вопроса.  

Например, так мы оцениваем шаг «закрывает заказ»:
Просим респондента оценить, насколько он согласен с утверждением «Мне удобно закрывать заказ в приложении Доставка Про» по шкале от 1 до 5, где 1 — Совершенно не согласен, а 5 — Полностью согласен.

При этом, если респондент ставит оценку отличную от пяти, мы просим в открытом ответе объяснить, почему. 

Как мы тестирование… тестировали 

К своему изучению юзабилити мы подошли по-исследовательски. И перед полноценным запуском анкеты мы провели серию тестирований с респондентами из нашей целевой аудитории. Мы тестировали восприятие формулировок вопросов и шкал. В результате мы:

• Изменили несколько формулировок
  
  Например, мы спрашивали у респондентов насколько удобно доставлять посылки Мегамаркета. Такой вопрос был часто непонятен, потому что на тот момент не во всех дарксторах была такая опция. Тогда мы добавили вопрос «Был ли у тебя опыт доставки посылок маркетплейса?». Если опыт был – спрашивали про удобство самой доставки.

• Адаптировали шкалы оценок CES и UMUX-lite
  
  В оригинальной версии метрик респондента просят поставить оценку по 7-ми балльной шкале, но мы выбрали 5-ти балльную шкалу, так как она проще для восприятия и оценки нашими пользователями.

• Добавили к некоторым вопросам визуальные подсказки
  
  Мы снабдили наш опросник изображениями экранов приложения. Тесты показали, что так респонденту понятнее, о чем речь.

У нас получилась собственная шкала юзабилити приложения: UMUX-lite по всему приложению, и адаптированный CES по каждому из важных шагов пользовательского пути. Кроме вопросов о приложении у нас есть вопросы для сегментирования респондентов. Мы проводим опрос полностью анонимно, поэтому сегментация нужна.

В нашей метрике около 30 вопросов – точное количество назвать сложно, потому что метрику мы используем гибко. Например, можем добавлять в опрос дополнительные вопросы, если разработали какую-то новую фичу и хотим измерить удобство ее использования.

Опрос мы рассылаем курьерам-партнерам в их приложение через пуш, где приглашаем пройти опрос. Конверсия таких опросов 5–7%. И этого достаточно для репрезентативных результатов. 

Как сработала собственная метрика в реальности?

Метрика, которую мы разработали, успешно справилась со своими задачами. Теперь у нас есть количественные показатели юзабилити, на который мы можем опираться при принятии продуктовых решений.

Также теперь мы можем отслеживать динамику: показатели в прошлом, показали в разных сегментах. Например, в первом квартале этого года (апрель 2025) общий UMUX-lite составил 77,9%, тогда как в первом квартале прошлого года (апрель 2024) он составлял 66,1%. Это значит, что обновления в приложении за год улучшили юзабилити.

Наша метрика помогла не только отследить общий уровень юзабилити, но и выявить слабые места в продукте. Например, мы увидели, что онбординг в приложении оценивают чуть хуже, чем остальные части приложения. И теперь делаем его более понятным для новичков. Сравнение показателей во времени помогает понять, действительно ли мы движемся в правильном направлении. Так, оценка онбординга в течение 2024 года статистически значимо выросла — значит, наши улучшения работают, и новички действительно стали чувствовать себя увереннее.

Помимо решения задач, которые мы изначально закладывали в нашу метрику юзабилити, она приносит много полезной информации:

• Много качественной обратной связи
  
  Если в метрике респондент ставит оценку ниже максимальной, мы просим объяснить, почему. Поэтому нас есть большой массив открытых ответов, которые помогают понять причины и контекст негативных оценок.

• Информация о проблемах/ неудобствах, о которых не пишут в техподдержку
  Так из открытых ответов мы узнали, что курьерам‑партнёрам не хватает пометки «оставить у двери» на всех этапах доставки заказа и добавили ее. Без обратной связи из метрики этот нюанс мог бы долго оставаться незамеченным.

• Положительная обратная связь
  В конце метрики у нас есть вопрос «Хочешь ли ты рассказать о приложении Доставка Про что‑то еще? Можешь поделиться этим здесь». Это такой классический вопрос для завершения опроса в духе «Есть ли еще что‑то что вам хотелось сказать, а мы спросили забыть?»

Там нам оставляют положительную обратную связь. Это мотивирует работать и партнёров, которые доставляю заказы, и меня, как исследователя, потому что я вижу, что не зря провожу эти опросы, и пользователи понимают, что мы их слышим.

Итак, у нас получилась полная метрика, которая помогает продукту понимать, что с ним происходит, где и какие есть точки роста и держать пульс обратной связи с пользователями. В будущем мы хотим сделать дашборд, чтобы можно было удобно хранить результаты опросов, видеть изменения метрики в графиках. В более далекой перспективе хотим мэтчить результаты опроса с бизнес-метриками, изучать, как они зависят друг от друга.

Я и вся команда продукта очень благодарны респондентам за активную обратную связь, которой они подробно поделились. Очень ценим их неравнодушие и подход к этой работе!

Если в вашем продукте вы задаетесь такими же вопросами как и мы, то я надеюсь, что моя статья вам поможет. Не стесняйтесь адаптировать уже существующие метрики под потребности своего продукта. Помните, что работа над метрикой юзабилити будет итеративной и это нормально: сделайте несколько замеров, меняйте структуру анкеты, чтобы информация была максимально полной.

Не недооценивайте отдельное тестирование формулировок с респондентами:
лучше все проверить, чем разослать респондентам непонятные для них вопросы и получить непонятные для продукта результаты. Удачи вам в измерении юзабилити!