Голосовые ассистенты незаметно вошли в нашу жизнь с появлением умной колонки Алисы. Многие известные финтех компании внедряют голосовых помощников в свои продукты, так что теперь при использовании мобильных приложений пользователь вынужден привыкать к мультимодальным интерфейсам. Но несмотря на их возрастающую популярность голосовые помощники требуют серьёзных доработок.

У меня как UX-адепта возникает череда вопросов, требующих изучения. Насколько просто использовать голосового помощника в мультимодальном интерфейсе? По какому пути проходит типичный пользователь, используя приложение с голосовым ассистентом? Насколько ему комфортно и просто общаться с голосовым ассистентом, решая свою задачу? Чтобы найти ответы на эти вопросы, я провела модерируемое юзабилити тестирование мобильного приложения Салют.

Исходные данные

Для быстрого рекрута респондентов я запустила анкету-скриннер в нескольких телеграм-чатах и попросила друзей пошарить анкету через их каналы. Для тестирования были подобраны респонденты по следующим критериям:

• возраст: 20-55 лет

• люди, имеющие опыт взаимодействия с любым голосовым помощником или люди, интересующиеся виртуальными ассистентами

• пользователи Android (т.к. проводим тестирование на этой платформе, человеку должны быть привычны визуальные паттерны платформы)

В тестировании приняли участие трое женщин и трое мужчин, что позволило соблюсти правило равномерной выборки и минимально допустимого числа респондентов для юзабилити тестирования.

Подготовка к тестированию

Следуя канонам юзабилити тестирования я составила список заданий и гипотезы для тестирования. Предметом моего исследования в приложении Салют стал раздел «Заказ продуктов». Основная цель исследования состояла в том, чтобы выявить проблемы в основном и краевых сценариях при заказе продуктов и предложить рекомендации по улучшению мультимодального интерфейса. Дополнительная задача — фиксация работающих и неработающих вариаций голосовых команд, озвученных респондентами для решения поставленной задачи, чтобы научить ассистента понимать частотные команды.

Тестирование. Основной сценарий

Узнав минимальные исходные данные от респондентов (опыт взаимодействия с голосовыми ассистентами, контекст использования) я перешла к проверке гипотез, озвучивая задания и описывая контекст. При проведении модерируемых юзабилити тестов крайне важно «поместить» пользователя в соответствующий контекст, как если бы человек взаимодействовал с приложением в реальных условиях, решая реальную задачу. В нашем случае первое задание звучало так: «Вы решили купить яблоки для шарлотки. Как вы выполните эту задачу в приложении Салют, пользуясь голосовым ассистентом?». На начальном этапе есть интересные инсайты. 2 из 6 респондентов не выполнили задание с первого раза, т.к. они проговаривали голосовую команду без нажатия на светящийся шар Салют. Гипотеза подтвердилась, пользователь не сразу привыкает к постоянному нажатию на кнопку для вызова ассистента. Далее пользователи переходили на экран с ассортиментом яблок через голосовые команды

«яблоки» ✓

«выбери отсюда яблоки» ✓

«мне нужны яблоки» ✓

Затем пользователи выбирали товар понравившегося бренда. 4 из 6 человек выполнили задачу с помощью голосового ассистента, используя одну из этих голосовых команд

«яблоки голден нфк в лотке 500 г» ✓

«надо заказать яблоки богатырь 500 г» ✓

«купить яблоки нфк 500 г» ✓

Один респондент не выполнил задание с первого раза, т.к. голосовой ассистент не распознал его команду «положи в корзину яблоки голден нфк в лотке 500 г» ×

Теперь задача пользователя — убедиться, что все товары успешно добавлены и завершить оформление заказа. 3 из 6 человек перешли в корзину с заказом с первого раза с помощью голосового ассистента, используя команды

«в корзину» ✓ «корзина» ✓

«оформить заказ» ✓

2 респондента не смогли перейти в корзину с первого раза, используя неработающую команду «заказ» ×, которая перенаправляет пользователя в историю заказов, а не в существующий в корзине заказ.

Здесь ошибка средней критичности! Пользователь отклоняется от сценария. Приходится выполнять лишние клики, чтобы вернуться к собранному заказу. Рекомендация: проверить ожидания пользователей от голосовой команды «заказ». Если статистически значимое число пользователей ассоциирует команду «заказ» с текущим заказом, необходимо поменять сценарий реагирования Салюта на эту команду.

Далее задача пользователя: завершить оформление заказа. При этом, я описала нетипичный контекст оформления заказа. «Сейчас вы покупаете яблоки не из Питера, а из Москвы (вы уехали к родственникам на майские), т.е. сохранённый в приложении адрес сейчас не актуален для нового заказа. Итак, выполните задание.» На данном этапе 6 из 6 пользователей пытались определить свой актуальный адрес геолокации с помощью голосовой команды «адрес доставки». Но голосовой ассистент не реагирует на эту команду на экране с заказом, а только на экране с карточками товаров. Наблюдаются сложности с изменением геолокации при смене города.

Ошибка высокой критичности!  Пользователь не может выполнить задачу с первого раза. Невозможность оформления заказа при смене города может привести к жалобам пользователей и обращениям в контактный центр, это критично.

Необходимо добавить возможность изменения адреса доставки из карточки заказа.

Тестирование. Краевые сценарии

В приложении Салют в рамках раздела «заказ продуктов» я также протестировала краевые сценарии.

Краевой сценарий 1. Возвращаем пользователя в контекст: «Итак, представим, что вы выбрали уже яблоки для шарлотки в этом заказе. Но теперь вы вспомнили, что к вам обещали зайти друзья, а значит вам нужно ещё три упаковки яблок того же сорта. Выполните задачу, используя голосовой ассистент». Моя гипотеза о том, что пользователь не сможет добавить сразу несколько упаковок товара подтверждается. Только 2 из 6 пользователей успешно выполняют задание с первого раза, используя голосовую команду

«мне нужно 3 упаковки яблок нфк россия» ✓

Неработающие голосовые команды:

«повторить заказ яблоки голден нфк 500 г» ×

«положить в корзину яблоки голден нфк 500 г 3 шт» ×

Краевой сценарий 2. Описываем контекст для пользователя: «Вы ожидали, что к вам приедут сегодня друзья, поэтому вы добавили в заказ много яблок для шарлотки. Но только что вам позвонили друзья и предупредили, что отменяют встречу. Вы решили оставить в корзине только 3 упаковки, а не 4. Выполните задачу.» 4 из 6 человек выполнили задание с первого раза, произнеся команду

 «удалить одну упаковку яблок нфк россия» ✓

Гипотеза в отношении используемой голосовой команды подтвердилась. 2 респондента не выполнили задачу с первого раза, используя команду

«яблок нфк россия минус 1» ×

Ошибка средней критичности! На фразе «(название товара) минус 1» ассистент добавляет, а не удаляет товар. Выполнение сценария замедляется, пользователь отклоняется от сценария, т.к. ему приходится вручную удалять лишний товар из корзины.

Рекомендация: проверить ожидания пользователей от голосовой команды «(название товара) минус 1». Если статистически значимое число пользователей ассоциирует фразу «минус 1» с удалением товара из корзины, необходимо поменять сценарий реагирования Салюта на эту команду.

Резюмируем выводы и инсайты. В ходе юзабилити тестирования была обнаружена одна критическая ошибка в виде невозможности смены города в карточке заказа, а также две ошибки средней критичности при несовпадении ожиданий пользователя с реакциями ассистента на голосовые команды «заказ», «(наименование товара) минус 1».

Были зафиксированы различные вариации голосовых команд от респондентов: не распознанные ассистентом команды, а также команды, которые вызывали неожиданную реакцию ассистента. Такие команды необходимо проверить на дополнительном исследовании и при необходимости обучить голосовой ассистент правильно распознавать их.

Кроме того, общее впечатление по поведению всех респондентов говорит о том, что сейчас приложение может работать полноценно только в мультимодальном режиме. Пользователь не может взаимодействовать с некоторыми отдельными экранами исключительно с помощью голосового ассистента.