Люди любят рейтинги. Сколько приложений, игр и прочего уже сделано во имя желания человека быть в каком-то списке на пару строчек выше, чем кто-то еще. Или чем конкурент, например. Добиваются мест в рейтинге люди по-разному, в зависимости от мотивации и морального облика. Кто-то попытается стать лучше и честно перешагнуть с места #142 на #139, а кто-то решит занести денег и радостно занять #21 (потому что верхние 20 занесли еще больше).

С компаниями всё примерно так же. Сегодня мы поговорим о банках и рейтингах, в которые эти банки стремятся попасть. В этом посте я расскажу про общие проблемы с исследованиями, которые есть у нас в стране, о практической разнице между количественными и качественными тестированиями, и о том, как мы пытались исправить сложившуюся ситуацию.
А в конце статьи сюрприз.

Началось всё с того, что год назад мы начали тестирование пяти банков для юридических лиц, выбрав пару стильных-молодежных (Модульбанк и Тинькофф Банк) и три классических (ВТБ, Райффайзенбанк и Промсвязьбанк). Но сначала немного матчасти.

Банковские рейтинги в РФ

На рынке есть довольно мало игроков, которые делают юзабилити-рейтинги для банковской сферы. А именно целых два — Markswebb и USABILITYLAB.

И получилось так, что MW и UL стали сейчас своеобразным KPI. С одной стороны, это хорошо, так как само наличие хоть чего-то соревновательного задаёт общую движуху на довольно неповоротливом в этом плане рынке. С другой стороны, всё сводится по большей части к функциональному анализу. И мотивация тут со стороны банковских топов уже заключается не в том, чтобы сделать офигенный продукт, который взлетит и принесет кучу пользы пользователям, благодаря чему и займет место в рейтинге, а в том, чтобы просто быть в рейтинге.

Твой банк есть в рейтинге = ты выполнил KPI = ты получил премию. Плюс, тебя в команде вроде как любят, помог банку попасть в рейтинг. Кому-то это искренне чешет ЧСВ. В общем, кто во что горазд, но мотивация по большому счёту это вот такие «премии» разного рода, а не движение в сторону улучшения продукта.

И тут в плане значения таких рейтингов для рынка важно понимать ещё вот что. Около 98% пользователей банковских приложений про эти рейтинги не знают совсем. Им откровенно пофиг. Эти рейтинги именно для менеджеров и руководства. Остальные 2% про рейтинги знают, но считают их покупной темой. Однажды мы тестировали сайты банков с этими плашками про первые места.

Люди не выбирают банк для бизнеса на основе того, есть на сайте банка плашка с логотипом того или иного рейтинга или нет. Человеку проще кинуть клич по знакомым или в ФБ, кто каким банком пользуется и чем доволен / не доволен, и ограничиться этим в части социального капитала.

Начнем с создания рейтинга. Чтобы создать рейтинг, надо провести исследование, и здесь обычно всё ограничивается исследованием одной конкретной функции, скажем, тестируют валютный контроль.

А исследования стоят денег, причем денег довольно ощутимых. Чтобы делать это качественно, надо хорошо вкладываться — портрет предпринимателя для тестирования стоит дороже, чем среднестатистический пользователь. Поэтому компании, которые пытаются построить свою выручку только на исследованиях как на основном и единственном виде деятельности, несут ощутимые затраты. Притом, что у нас рынок исследований почти пустой: этому не учат в вузах, не учат в школах.

К слову, о деньгах, чтобы были понятны цифры. Допустим, у нас в рейтинге 20 банков. У каждого надо исследовать топ-7 функций и сценариев, затратив примерно 1,5 часа времени. Дольше проводить тест на одном респонденте не имеет смысла, потому что полтора часа — это граница, после которой внимание уже рассеивается, да и люди банально устают и начинают отвечать уже что угодно, лишь бы поскорее пойти перекусить и выдохнуть наконец.

Так вот. Людей из базы банка для такого исследования брать сложно и долго, поэтому остаётся рекрут. 5-7 сценариев для 20 банков означают, что надо набрать минимум 140 респондентов. И то, если на одном человеке будет тестироваться не один банк

Стоимость одного такого респондента варьируется в пределах 5-10 тысяч рублей, тут есть четкая зависимость от портрета, скажем, ИП-одиночка будет стоить довольно недорого, тысяч 5. А вот портрет предпринимателя-экспортёра с валютным контролем обойдется где-то в 13 тысяч.

Итого, выходит 140 человек, которым надо заплатить за участие в исследовании. Прикинем самый простой и дешевый сценарий, по 5000 рублей за респондента, и получим неиллюзорные 700 000 рублей. Минимум, да. Обычно же эта цифра приближается к 1 400 000. Впору бы своё рекрут-агентство открыть :)

И это только для основных сценариев использования банка. Кроме денег, есть более ценный ресурс — время. Его тоже тратится с большой такой горочкой сверху. Провести тесты с 30 респондентами и не сойти с ума можно за 2 недели. В месяц обычно получается примерно 60 встреч, если хочется сохранить качество интервью. 140 человек = 2,5 человеко-месяца.

После всех респондентов надо потратить ещё около 2-х месяцев, чтобы привести информацию в удобоваримый вид — транскрибировать результаты, провести анализ и группировку, сделать красивую презентацию, а не итоговый файлик в экселе на кучу строк.

В общем и целом, получается примерно 4 месяца работы и 2-3 миллиона рублей, учитывая все затраты в этот период. И это мы еще налоги не посчитали. А при условии, что зарабатывать на самих исследованиях пока особо никому не удается, такая модель, очевидно, выглядит не самой прибыльной. Если ты не зарабатываешь на самом рейтинге и местах в нём вместо исследований, само собой.

Количественные и качественные исследования, функциональный анализ

Презентации MW — это примерно 60% про функциональный анализ и 40% про юзабилити. Причем понятие «функциональный анализ» в случае с такими исследованиями это просто чеклист наличия тех или иных функций. Ты садишься, пишешь список функций — так, должна быть нормальная платёжка, плюс платёжка по фото, а еще из файла, проверка контрагента, последние контрагенты или платежи и прочее. Потом проводишь анализ и проверяешь, есть ли там функции из списка или нет. Если есть — отлично, ставишь галочку, плюс в рейтинге. Если нет — ну вы поняли.

Звучит логично. Но, увы, скатывается к тому, что плюсом и галочкой при таком тестировании является просто наличие функции в списке, а не её качество или вообще необходимость для пользователя. Так мобильные приложения стали скатываться к тому чтобы запихнуть в себя всё, чтобы соответствовать рейтингу, а не не то, что нужно пользователю. Ну вот как двойная камера у Яндекс.Телефона. Она-то есть, но, говорят, не работает. Но есть. Итого получается, что 60% значимости такого рейтинга это просто сама галочка, есть ли функция или нет. А не то, насколько она удобна и нужна пользователю.

Кроме функционального анализа есть еще количественные и качественные исследования.

Количественные usability-исследования будут очень кстати, если вы хотите поставить тесты на поток. Вы набираете побольше респондентов, прогоняете их по интерфейсу приложения, даете базовые задачи и на выходе просто спрашиваете, как оно в целом и какие проблемы были.

Качественный же usability-тест гораздо сложнее – тебе нужно вытянуть восприятие всего процесса и буквально всех элементов в процессе методом Think Aloud. Все мысли и вопросы, которые возникают у людей, все непонятные для них тексты и элементы. И все первопричины – а почему непонятно, а как ты ожидаешь, чтобы было названо, а какое слово держишь в голове?

Зная первопричины восприятия, ты не просто говоришь:
Люди это не нашли – непривычное размещение.

А ты понимаешь, как надо изменить:
Пользователь ищет этот элемент не внизу как мы его разместили, а в верхнем правом углу экрана. Ищет по слову «Поиск», а у нас «Введите», ищет иконку лупы, а у нас кнопка «Искать».


Если резюмировать, то после количественного юзабилити-теста у вас на выходе будет список проблем в его самом общем виде. Скажем, «Юзер не осилил найти Поиск». Почему не осилил? А просто не осилил – этот тест не даст ответа.

А после качественного теста у вас будет и проблема, и её первопричина. В случае с Поиском — у вас будет сценарий, пользователь расскажет, как именно искал Поиск, какие элементы он ожидал увидеть и где, какие именно слова приходили ему на ум, когда он не нашел Поиск, и прочее.

Когда у вас появляется первопричина проблемы и её подробное описание, вы уже можете что-то исправить, изменить интерфейс так, чтобы он соответствовал ожиданиям пользователей и решал возникающие у них проблемы.

Само собой, качественные стоят дороже. Вместо задания и опросника нужно обучить человека, который будет проводить такие тесты. Взять человека с правильным бэкграундом, ввести его в сферу, которую исследуете. На это уходит около 3-6 месяцев. Готовых спецов на рынке единицы – то есть практически нет.

Но даже если нормально провести все эти тесты, мы получим следующую ситуацию — в стране не знают, что делать с этими исследованиями и отчетами. На рынке до сих пор к этому относятся как к какой-то эфемерной сущности, считают, что покупают просто презентацию, а не решение проблемы.

Потому что получается: заказал банк тестирование, получил в ответ какую-то поверхностную презентацию, которую непонятно, как применить или «мы всё это и сами знали». Что дальше? А ничего, положить её в стол и радоваться, что она есть. Потому что люди не знают, что делать с этой презентацией, как использовать её, чтобы улучшить продукт, как превратить описанные в ней выводы в новые интерфейсы, которые уже не будут такими проблемными. Если не давать глубины и первопричин возникновения проблем, то и не понять, как работать с проблемами.

Всё совсем грустно?

Вообще — довольно грустно, да, но это не значит, что ситуацию нельзя исправить. Нашей целью было хорошо исследовать те вещи, в которых у нас уже была неплохая экспертиза. Например, про работу платёжек в приложении, у нас была определенная статистика по ней. Мы хотели взять главные сценарии и не просто прочекать их на «Есть — Нет», а понять, какие именно у людей возникают проблемы, на каких этапах, и вообще — почему они возникают.


Распределение по основным сценариям юрлиц

Это может быть набор барьеров, который не сильно зависит от самого банка, просто подача какой-то функции сделана для людей не очень понятно.

И, само собой, мы хотели сделать объемное исследование, а не сравнить пару банков между собой. Мы полагали, что можно будет потом продать эти подробные исследования, и заодно потестировать общий спрос на них.

Само собой, первый блин у нас получился с парой комочков.

Мы всё же попытались взять все сценарии и пройти их с одним респондентом. Спойлер — он выжил. Возможно, теперь сильно реже пользуется банковскими приложениями. Но мы ещё раз подтвердили тезис о том, что через полтора часа надо всё сворачивать и запускать другого. Поэтому мы перешли с глубокого тестирования всех фич на то, чтобы посмотреть, как люди находят те или иные функции, на что обращают внимание, как воспринимают структуру главной страницы.


Распределение по использованию платформ у физлиц

Когда ты тестируешь банковские приложения, ты не можешь просто взять и запустить их в гостевом режиме, чтобы сделать выводы. Надо как минимум иметь счёт в банке, чтобы понимать, как там все работает. А в случае с банком для предпринимателей нужен живой счет, с историей, с заведенной там компанией. Если тестируешь еще и валютный контроль и прочие радости, понадобятся валютные счета и немного афобазола. Остаток не может быть пустым, история транзакций должна быть серьезнее, чем «закину себе со счета на счет 200 р, посмотрим, как оно».

Мы думали, что зарегать счета во всех исследуемых банках и завести деньги на них будет довольно быстрой задачей.



Иногда все затягивалось на пару недель. Со стороны банков, да. И это мы еще тестировали 5 банков, а было бы их 20?

Но понять для себя распределение основных функций и количество каких-то единичных и непопулярных мы смогли. Поэтому из первого блина на второй заход мы пошли уже с более отточенной методологией. А еще в команде появился дизайнер, что вывело сами презентации на новый уровень. Это правда важнее, чем кажется, когда ты подаёшь подобную информацию.

Итогом работы стали презентации на 100+ слайдов. Когда мы делали исследование по четырем банкам для физических лиц, мы его не продавали. А вот первое исследование, по банкам для предпринимателей — продавали, чтобы посмотреть, насколько рынку это интересно в принципе. Купили у нас это 7 раз (банки из топ-5 и несколько компаний, которые продавали банкам разработку и дизайн), мы не давали какую-то рекламу, кроме постов в Facebook.

— Но вы же сами писали, что это верный способ выйти в минус!

Отличный способ, да, если занимаешься только исследованиями. Зарабатываем мы прежде всего проектированием и дизайном.

Исследования для нас — это возможность формировать рынок, потому что, как видите, его почти нет. У нас часто спрашивали, мол, ребята, вы чего, разместили такую штуку в бесплатном доступе, оно же денег стоит? Но благодаря этому мы можем показать сообществу, какими в принципе исследования могут быть. Сейчас, чтобы просто посмотреть образец подобных исследований, их надо купить. Ну или попросить у того, кто купил.

Мы публикуем их просто так. Чтобы рынок тоже понимал, что такое исследование. Чтобы клиенты, которые заказывают исследования где-то ещё, могли хоть с чем-то сравнивать и валидировать качество того, что им продают другие компании. Чтобы возникло общее понимание — исследования могут быть качественными, и из них можно получать пользу и понимание что с этим дальше делать. Нас на самом деле немного коробит, что с образовательной частью в плане исследований у нас в стране грустно. Поэтому пока пытаемся изменить ситуацию вот так – сформировав понимание, что можно получать лучший результат

А кроме образовательного аспекта, такие исследования и их публикация — это неплохая возможность сгенерировать лиды. И тут уже плюс не только в том, что к нам приходят клиенты. Недавно по одному из наших постов начали прототипировать банк из топ-3. Еще несколько лет назад мы бы реально подумали — вот блин, слизали нашу тему и пошли делать что-то свое.

А теперь думаем — круто, к нам прислушиваются, и действительно стараются сделать продукты лучше и ближе к пользователю. Поэтому мы будем делать такие исследования и дальше, качественно тестируя уже отдельные смысловые блоки приложений, а не просто весь продукт в целом по какому-то чеклисту.

Внутри команды нам это даёт повышение экспертизы — не идти во тьме, а понимать, как меняются основные сценарии и потребности людей (а они за 1-2 года меняются, представьте). И потом, когда 3-4 раза за 2 года исследуешь открытие счёта в банке для предпринимателей, у тебя вырисовывается идеальный процесс, каким он может быть в условиях текущих технических ограничений.

И ситуация вида «Захотел в рейтинг — заплатил за рейтинг — попал в рейтинг» всё-таки поднадоела. И необходимость нового рейтинга, основанного на качестве продукта, уже назрела.

А для тех, кто дочитал до конца статьи, вот две ссылки на исследование банков для юрлиц и исследование банков для физлиц.