Привет, на связи Alfa Research Center — исследовательский центр Альфа-Банка. Обычно мы занимаемся исследованиями банковских интерфейсов, но однажды нашим заказчиком стала Президентская академия (РАНХиГС). Они хотели понять, насколько Личный кабинет студента отвечает ожиданиям и как выглядит на фоне рынка. Проверить продукт на UX никогда не бывает лишним, ведь даже если вам кажется, что у вас всё хорошо, то глубокое UX-исследование покажет может показать неожиданные результаты.
В этой статье расскажем, как погрузились в личный кабинет студента Президентской академии. Для этого использовали опросы, айтрекинг Tobii Pro и технологию SenseMachine, которая считывает эмоциональный отклик по микровыражениям лица. В итоге получили более 45 выявленных инсайтов и проблем, и столько же рекомендаций на 150 слайдах в отчете.
Но сначала давайте определимся с тем, что мы считаем за «личный кабинет студента».
«Личный кабинет» — слово, за которым может скрываться что угодно
Президентской академии было важно понять, насколько их сервис отвечает ожиданиям и как выглядит на фоне рынка. И чтобы посмотреть на фон, а заодно на отраслевые стандарты и решения, мы провели экспертный аудит личных кабинетов (ЛК) 6 крупных российских вузов. Иначе говоря — откалибровались.
И выявили кое-что интересное.
Изучение ЛК шести крупных российских университетов показало, что «личный кабинет» чаще всего не один продукт. За этим термином может скрываться что угодно: нативное мобильное приложение, веб-версия с частичной адаптацией под телефон, набор из множества несвязанных систем с отдельными логинами, в каждый из которых необходимо заходить отдельно, частично офлайновые процессы и т.д.
Немного отойдём в сторону — мы знаем, что ЛК имеются у различных платформ, к примеру, личный кабинет владельца ОСАГО, селлера на маркетплейсе или налогоплательщика. Это некая устоявшаяся отраслевая сущность, которая есть в разных крупных компаниях, цифровых сервисах, что выполняет функцию некого внутреннего пространства, где пользователь видит свои данные и выполняет набор определенных действий.
А какой набор действий может быть у студента?
Например, посмотреть оценки, успеваемость, внести оплату за обучение, изучить расписание. Всё это может и должен обеспечивать ЛК. А вот если ЛК не работает как надо, то возникают ситуации разной степени забавности. К примеру, у одного из ВУЗов встроенный просмотрщик расписания был не так удобен, как хотелось бы, и студенты написали собственное неофициальное приложение, которое подтягивает данные с официального сайта. Оно и стало основным инструментом, потому что официальный интерфейс причинял физическую боль.
Это классический паттерн: если официальный продукт не справляется с ключевым сценарием, то появляется обходной. В университетской среде это неофициальные приложения и боты, а в коммерческих продуктах — переход к конкуренту.
Чтобы сравнивать ВУЗы корректно, нам была нужна единая шкала. Но подходящего инструмента для сравнения не было — ведь никто до этого не сравнивал ЛК разных ВУЗов. Поэтому мы придумали сравнительную шкалу сами.
На фото выше вы видите индекс зрелости цифровой экосистемы — он показывает, насколько цифровая среда ВУЗа организована как единое пространство для выполнения ключевых задач студента. Индекс учитывает не только наличие сценариев, но и их связность: сколько отдельных систем нужно задействовать, есть ли переходы между ними, насколько экосистема фрагментирована.
У многих ВУЗов нет единого цифрового ресурса, с которым взаимодействуют студенты. У кого-то есть элементы личного кабинета в приложении или на сайте, а у кого-то для того, чтобы посмотреть и получить необходимую информацию, придётся пройтись по нескольким разным ресурсам: расписание в одном месте посмотреть, заказать справку в другом, и на каждый раз нужно логиниться.
Такой фрагментации быть не должно, потому что хороший цифровой опыт в распределенной системе выглядит так:
переходы между сервисами происходят незаметно,
нет повторной авторизации,
необходимый функционал «подтягивается» внутри текущего интерфейса,
пользователь не думает, в какой системе он сейчас находится.
Удобный ЛК — это единое пространство. В идеале — система одного окна. К примеру, у одного из ВУЗов есть приложение для студентов, но в нём реализован не весь необходимый функционал. Недостающие функции подтягиваются извне — поверх приложения открывается страница сайта и студент продолжает работать без дополнительной авторизации. Даже можно не заметить, что ты уже не совсем в приложении. Для студента это важно, потому что в момент работы с ресурсами не нужно переходить в браузер, нет необходимости логиниться заново. Учащийся продолжает работу в одной системе, в одном пространстве.
Наш индекс архитектурной зрелости это и показывает — насколько цифровая среда ВУЗа организована как единое пространство для выполнения ключевых задач студента. При этом не обязательно иметь один продукт. Но обязательно, чтобы пользователь (студент) не замечал, что их несколько.
Удобный ЛК не просто веяние времени, он снижает нагрузку на кураторов и административный персонал. Вопросов «А где заказать справку?», «А куда идти?», «А где оплатить?», «А у нас сегодня, что, пар по философии дипломатических отношений не будет?» становится меньше, как и затраченного на это всё времени.
Для самих студентов это тоже удобно, например: не нужно ездить в ВУЗ или дозваниваться до старосты или в сам ВУЗ, чтобы узнать расписание. Посмотреть, в какой аудитории занятия и узнать, что они перенесены — всё это тоже можно сделать не выходя из дома.
Примечание: мы рассчитали индекс для шести университетов из этого исследования. Если вы работаете с цифровым сервисом университета и хотите понять, где на этой шкале находится ваш вуз — напишите нам в ARC, посмотрим вместе.
Сравнение с цифровыми сервисами личных кабинетов студентов других ВУЗов показало, что Академия входит в число лидеров по уровню цифровой зрелости. По индексу реализации ключевых задач Президентская академия демонстрирует сопоставимый, а по ряду сценариев — лучший уровень, среди топовых ВУЗов.
Как тестировали: айтрекинг, эмоциональный отклик и 2 сегмента пользователей
После бенчмарка перешли к детальному тестированию личного кабинета. У нас было 32 участника, разделённых на две группы по 16 человек:
Группа 1: студенты Президентской академии: пользуются ЛК в учёбе, знают интерфейс, привыкли к нему.
Группа 2: студенты других вузов со свежим взглядом; быстро спотыкаются там, где ЛК нарушает привычные паттерны.
Тестирование проходило так:
Сначала проводилось интервью про опыт использования личного кабинета (Президентской академии или другого ВУЗа).
Далее шло юзабилити-тестирование в очках eye-tracking и отслеживание эмоционального отклика респондента (пять заданий подряд). Здесь нам важно было посмотреть, как будет выполняться задание в естественных условиях без обсуждения и замерить время прохождения.
Когда очки снимались, переходили к обсуждению каждого задания, чтобы получить подробную обратную связь.
Каждый испытуемый выполнял 5 core-пользовательских сценариев: просмотр расписания, просмотр успеваемости, заказ справки, оплата обучения, просмотр уведомлений. Мы фиксировали, сколько шагов проходит студент, очевиден ли путь, нужна ли повторная авторизация, есть ли разрывы между системами.
Как только студент завершал задание (успешно или нет), задавали три вопроса:
Насколько легко или сложно было выполнить это задание?
Сколько времени заняло выполнение задания?
Насколько вы удовлетворены или не удовлетворены выполнением задания?
Оценки респондентов мы сравнивали с объективными показателями – успешностью выполнения задания, ошибками и временем выполнения задания.
Далее из полученных значений по (классической) формуле вывели юзабилити-метрику SUM, которую опишем дальше.
Два дополнительных инструмента фиксации:
Айтрекинг (Tobii Pro) — отслеживает движения глаз с точностью до миллисекунды. Человек может говорить, что все понятно, и при этом три раза беспорядочно блуждать взглядом по странице, прежде чем заметит нужный элемент.
SenseMachine — нейросетевая технология анализа микровыражений лица в реальном времени, обученная на базе 40 000+ лиц. Показывает эмоции человека и когнитивную нагрузку в режиме реального времени – полезный инструмент тогда, поскольку не все эмоции осознаются человеком или озвучиваются по разным причинам.
Теперь к самому интересному.
Нашли то, что скрыто
Один из выводов из «эмоциональных» данных — есть разрыв между двумя группами — опытными студентами Президентской академии и студентами других ВУЗов (далее — «новичками»).
Например, средний уровень когнитивной нагрузки у студентов Президентской академии — +0.11, а у студентов других вузов: +0.15. Разрыв небольшой, но он показывает, что свои студенты адаптировались к интерфейсу и перестали «замечать» сложности – именно поэтому когнитивная нагрузка у них ниже, чем у новичков. Новички же чаще спотыкались и испытывали сложности.
Конкретный пример — сценарий «Заказ справки». Айтрекинг фиксирует паттерн у обеих групп: взгляд сначала концентрируется на нецелевых разделах, которые подсознательно казались респонденту более релевантными — например, раздел «Документы» — и только потом замечает правильный «Студенческий офис МФЦ». Студенты Президентской академии выучили расположение нужного раздела и находили его за 4,9 сек. А студенты других вузов тратили почти вдвое больше времени, а половина его и вовсе «проигнорировала». Нагляднее — на тепловых картах.
Ещё одна неожиданная находка — «Главную страницу» не используют по назначению. Что интересно, у Президентской академии все пять самых важных сценариев есть в быстром доступе на главной, но эту страницу не использовали как точку быстрого входа. Тепловые карты это подтверждают: внимание остаётся в верхней трети, затем взгляд уходит в меню.
Почему? Проблема не в том, что функционал отсутствует — он есть, но спрятан ниже первого экрана. Студент не скроллит главную, потому что не знает, что там что-то полезное. Студенты не ожидали, что там будет то, что нужно, они пользовались только расписанием (и то не все).
Обычный UX-тест показал бы, что всё хорошо..
Обычное юзабилити-тестирование показало бы, что студенты Президентской академии справляются с задачами, и, в целом, довольны. Тем более, что общий показатель юзабилити платформы составил 71%. Это удовлетворительное значение, приближающееся к порогу «высокий показатель удобства».
Про показатель SUM
Для каждого сценария мы замеряли SUM (Single Usability Metric) — составной показатель, объединяющий скорость, успешность и удовлетворенность. Шкала: >80 — высокий показатель удобства, <50 — неудовлетворительное значение.
И если посмотреть на таблицу (выше), то логичный вывод в том, чтобы исправить оплату обучения и просмотр оценок. Но у нас было три дополнительных слоя:
Сегмент студентов из других вузов, которые лучше показали реальные проблемы интерфейса. Студенты Президентской академии привыкли к интерфейсу настолько, что перестали замечать подводные камни: выучили обходные пути, адаптировались и при опросе говорили, что всё так и должно быть. Если тестировать только своих пользователей, вы измеряете не только качество, но и научение.
Айтрекинг и SenseMachine дали слой, которые респонденты, как правило, не озвучивают или не осознают. Например, айтрекер показал проблемы хаотичного блуждания взглядом по Меню, несмотря на то, что респондент в итоге успешно находил нужный раздел.
Конкурентный анализ дал стратегический контекст. Зная, как устроены личные кабинеты шести других университетов, мы понимали, какие решения уже стали отраслевым стандартом, в каком направлении движется рынок — где появляются мобильные приложения, где интегрируются LMS, где выстраивается бесшовная авторизация, где Президентская академия объективно сильнее конкурентов, а где есть пространство для роста. Без этого контекста приоритизация рекомендаций была бы интуитивной, а с ним стала более обоснованной.
Вместе эти три слоя дали не просто список багов, а понимание того, почему интерфейс работает именно так, как он работает — и что менять в первую очередь, чтобы эффект был максимальным.
Именно поэтому, когда на встрече с IT-департаментом Президентской академии и проректором мы показывали слайды с результатами, то рекомендовали дорабатывать сначала Главную и Меню, и только потом другие сценарии.
Расписание смотрят каждый день, иногда несколько раз в день. Каждое такое взаимодействие начинается с Главной и прохода через Меню. Если проблемы живут именно там, то они накапливаются и системно портят весь опыт. А вот оплата обучения происходит раз в семестр — это будет точечное улучшение. Главная и Меню — это улучшение, которое студент будет чувствовать каждый день.
Общая рекомендация — приоритизировать не по тяжести проблемы, но и по частоте столкновения с ним. Редкая критическая проблема — это точечный удар, а ежедневная мелкая проблема — это системное разрушение опыта.
Естественно, такая неочевидная рекомендация (и многие другие) вызвала бурные обсуждения, вплоть до споров. В этом и суть глубоких исследований — они вызывают споры, потому что показывают проблемы, которые «замыленным» взглядом не видны. Но потом, после того, как эмоциональная волна отхлынет, разум берет вверх. Поэтому позже мы получили официальное письмо от Президентской академии на имя В.В. Верхошинского с благодарностью всем участникам команды.
Итого
№1. Конечно, это невсе результаты. У нас были десятки слайдов с анализом проблем разной степени мажорности и рекомендации по доработкам. Но показывать их все нет смысла — это же все‑таки не отчет.
№ 2. То, что Президентская академия решилась на такое масштабное исследование — это, на наш взгляд, показатель зрелого отношения к продукту и серьезная инвестиция в студенческий опыт. И она точно окупится, ведь каждое исправление в ежедневных сценариях — это сотни тысяч взаимодействий, которые станут чуть менее раздражающими.
«Зачастую очень болезненно получать критику со стороны в части собственных продуктов, но без такой критики, развития решений и не происходит. Мы очень рады интересному опыту совместной работы с ARC, который точно будет способствовать улучшению работы личного кабинета для наших студентов»
Артем Канталинский-Родин
Директор дирекции по архитектуре и разработке Президентской акажемии
№3. Хочется подчеркнуть, что если вы хотите понять, насколько ваш цифровой канал работает так, как вы задумали, то посмотрите на него не в вакууме, а сравните тем, что есть на рынке, чтобы понять тренды и тенденции.
№4. Если будете глубоко копать, то не забудьте, что, по-хорошему, лучше брать не тех, кто уже к этому интерфейсу привык, всё выучил, а взять группу людей, которые впервые это всё видят.
И последнее: айтрекинг и эмоциональный отклик — это тяжёлая артиллерия среди исследовательских инструментов. Но для проектов, где цена ошибки высока, это оправданная инвестиция, ведь они дают точность, которую другими методами не получить.
Спасибо за внимание. Исследователи проекта – Залина Цховребова, Ксения Никонова, Таня Рязанова, Леша Михаленков и Юлия Дзынова.
Читайте также наши другие статьи: