Привет, я Саша, скрам-мастер из Туту.ру в команде туров. Не так давно мы проводили пользовательское интервью для нашей новой фичи — Джарвела. Хочу поделиться с вами ошибками и открытиями, которые помогли нам провести это интервью так, что оно затронуло и изменило краеугольную основу фичи. Это помогло продукту и прокачало нашу команду, надеюсь, будет полезно и интересно и для вас. Но чтобы понять суть наших открытий, вас нужно познакомить с Джарвелом и провести по нашему пути.

Hello, world!

Некоторое время назад у нас появилась идея — создать виртуального ассистента, который будет помогать пользователям выбрать идеально подходящий под их запросы тур, который:

• подобно человеку, даст возможность в неформальном общении указать свои хотелки;
• поможет выявить и выразить те хотелки, которые клиент для себя даже еще не сформулировал;
• как настоящий ассистент, будет искать не по одной, а по всем странам сразу, уменьшая огромную выдачу и сужая выбор до нескольких идеально подходящих предложений;
• и будет не просто постепенно урезать выдачу, как обычные фильтры, но давать клиенту контроль и понимание. Например, родители Юля и Петя едут на море с пятилетним Антоном. В таком случае ассистент предложит убрать чрезвычайно жаркие страны, которые будут некомфортны для ребенка, и оставить лишь отели с песчаным пляжем, исключив галечные. При этом ассистент не просто отрежет эти предложения, но объяснит свою позицию и даст возможность Юле и Пете отменить подобную фильтрацию.

Хм… ассистент… и тут мы вспомнили про искусственный интеллект Тони Старка — Jarvis. А так как мы занимаемся туризмом и путешествиями, т.е. темой travel, то имя родилось само собой — Джарвел (Jarvis + travel).


www.filmpro.ru/materials/26976

TOP SECRET. Инсайдерская информация

Раскрою один из главных секретов внутренней кухни. Для того, чтобы сформировать выдачу из актуальных предложений, нам нужно отправить запросы туроператорам, и вот это дело весьма медленное. Изначально, когда только разрабатывали идею ассистента, мы понимали, что поиск сразу в несколько стран (а именно этим занимается Джарвел, подбирая подходящий тебе тур не только по одной стране, а по всем тебя интересующим) может занять достаточно продолжительное время. Тогда мы придумали решение, которое, казалось, хорошо подходит для прототипа: давайте осуществлять не настоящие поиски, а искать по собственному кэшу (т.е. будем искать по результатам недавних поисков других пользователей на сайте). Подобный поиск идет в разы быстрее, и клиент не будет ждать. А для сохранения актуальности, мы будем использовать кэш не старше часа. В дальнейшем мы планировали работать над системой кэша, наполнять ее более сложными алгоритмами, увеличивать время хранения, вводить коэффициенты актуальности и т.д. С этим есть только одна проблема. Если никто, допустим, за последний час не искал туры в Доминикану на интересующие тебя даты, то Доминиканы в выдаче Джарвела ты не увидишь. Зная это, мы все равно ориентировались на то, что мы тогда считали главным удобством клиента, — быстрой выдаче, мгновенных ответах Джарвела. А полноту выбора мы бы потом тоже обеспечили. Поэтому — кэш.

N.B. Это решение еще выстрелит.

Не все видят Джарвела одинаково. Причины интервью

Ассистент, начиная с прототипа, разрабатывался итеративно: мы собирали и анализировали метрики, проводили коридорные тестирования среди других команд разработки, устраивали демонстрации со сбором обратной связи для коллег и заказчиков И вот однажды на подобное интервью в конце спринта мы пригласили неайтишника Колю, сотрудника нашего ресепшна. И… это было фиаско, братан. Коля попросту не заметил ни одного из наших нововведений, а со многим старым, из того, что мы внедрили ранее, Коля взаимодействовал абсолютно противоположным образом — совсем не так, как мы запланировали.
Тогда мы задумались.


www.meme-arsenal.com/create/template/747344

А что, если Коля не меньшинство, а большинство наших будущих пользователей?

Нет, повторюсь, мы собирали метрики, анализировали, проводили исследования и понимали, что есть некоторые проблемы.

Правда, было одно «но», которое мы не учитывали, и благодаря Коле осознали: все эти люди, которых мы опрашивали, были айтишниками, такими же как мы, а их взгляд со временем мог стать сильно зашоренным…

Поэтому мы приняли решение, что пришло время обратиться к пользователям другого типа: неайтишникам и тем, кто покупает туры оффлайн. Ведь одна из наших целей — показать, что покупать туры онлайн так же удобно, как и оффлайн.

Подготовка: люди

Мы решили не нанимать стороннего специалиста по глубинным интервью со своей пользовательской базой (с ним ранее работали коллеги из соседних команд).
Мы сами хотели проникнуться духом Джарвела, чтобы разработчики, тестировщики, аналитики и дизайнеры увидели вживую людей-пользователей, услышали и прониклись их болями, стали думать чуть больше как пользователи, а не как создатели.

В Туту.ру работают не только айтишники, у нас, конечно же, много отделов: и HR, и бухгалтерия, и юристы, и кадровое делопроизводство, и маркетинг и т.д. Ранее у команды уже был опыт использования внутренних ресурсов: мы опрашивали тутушников-родителей при разработке тем для отдыха с детьми. Родители горели и участвовали очень активно.

А мы хоть и проводили ранее некие подобия интервью, но все же, по сути, пока были не самыми опытными интервьюерами. Но если зовем «своих тутушников», а не пользователей из внешнего мира, то снижается боязнь от этой неопытности.


v1rt.ru/memy/nelzya-prosto-tak-vzyat-i-voyti

Поэтому для пользовательского интервью мы использовали внутритутушные ресурсы:
а) уже зарекомендовавших себя в предыдущих опросах родителей (из них мы выделили «неайтишников»);
б) сотрудников отделов, которые не относятся к разработчикам: просто ходили по офису и предлагали пройти интервью.

Таким образом мы следовали кредо компании: старались достигать большего меньшими средствами.

Подготовка: опросник

Параллельно с формированием списка интервьюируемых мы начали подготовку опросника и проработку формата интервью. В основу этого процесса легла книга Роберта Фитцпатрика «Спроси маму: Как общаться с клиентами и подтвердить правоту своей бизнес-идеи, если все кругом врут?»


www.ozon.ru/context/detail/id/140446253

Вкратце: меньше болтай о себе (лучше вообще не болтай), дай клиенту рассказать о своей жизни в контексте, иди от проблемы, определяй мотив, ориентируйся на прошлое клиента, а не на его заявления о том, что будет в будущем. Если клиент говорит, что ему чрезвычайно нужна та или иная функция, уточни, как он обходится без нее сейчас, что предпринимает для решения этой боли. Из ответа поймешь не только образ мыслей и действий клиента, но и то, действительно ли подобная фича является ключевой и болевой, а не просто хотелкой, без которой жилось, живется, да и вообще она особо не нужна.

Готовься к встрече заранее и заранее планируй, какие три важнейших ответа хочешь получить от любой конкретной категории людей. Обязательно задай вопрос, на который страшно услышать ответ. Без такого вопроса, ты просто тешишь самолюбие, а не проводишь реальное исследование.

Никогда не довольствуйся ответом, что все хорошо. Ищи и стремись к приземленному: к дальнейшим шагам, вопросам, контактам. Пустые комплименты — идеальный фундамент для воздушных замков самообмана, которые могут привести к созданию продукта, который никому не нужен.

Итак, нужно было определиться с ключевыми вопросами. Для нас это:

1. Легко ли клиенту взаимодействовать с Джарвелом?
2. Получает ли он то, зачем пришел?
3. Какие тематики важны людям?

И тот самый вопрос, который нужно задать, но получить ответ на него страшно:

4. А нужен ли Джарвел вообще? Точно?

Задавание этих вопросов напрямую не привело бы нас к настоящим ответам пользователей. Мы посчитали, что если не будем мешать и просто позволим интервьюируемым взаимодействовать с продуктом и попросим комментировать происходящее, то легко найдем ответы на первые два вопроса (легко ли взаимодействовать; получает ли то, зачем пришел). Соответственно, тут все на мази.



С третьим вопросом, про нужные тематики, было сложнее. Простого ответа от пользователя (например, «А было бы здорово, если бы вы добавили вопрос про звездность») на самом деле недостаточно. Как по книжке — тут важно провалидировать ценность подобной информации через прошлый опыт клиента. Поэтому мы договорились, что во время интервью будем собирать все подобные хотелки, а потом попросим ребят рассказать о своем последнем опыте покупки туров. Именно так мы сможем узнать реальные запросы и желания клиента. Во время рассказа мы должны будем «вернуть» клиенту его хотелку и спросить: «Вася, скажи, а вот тогда, когда ты ездил в Турцию, как ты определял звездность отеля, в который поехал?» Если хотелка шла действительно из потребностей Васи, то он расскажет, как подбирал отели со звездностью. В противном случае Вася ответит: «Да я как-то на это не смотрел, важнее было, что отель рядом с морем». «Ага», — ответим мы, отметим эту хотелку, но уже оставим ее с более низким приоритетом.

Что же касается последнего «страшного» вопроса, тут мы решили, что если после этапа «тыкания», расспросим клиента о последнем опыте, вернем ему его хотелки, то это позволит ему немного абстрагироваться от Джарвела и сконцентрироваться на себе. И вот уж тогда мы спросим его: «Вась, а как ты будешь планировать свой будущий отпуск?». Если в ответ мы не услышим ничего о Джарвеле, значит, сейчас в потребность клиента он не попал.

Подготовка: техническое оснащение

1. Девайсы
Джарвел пока живет только на мобильной версии сайта, поэтому мы выдавали нашим опрашиваемым телефон и выводили изображение на экран, чтобы ребята могли взаимодействовать с Джарвелом напрямую, а мы могли бы видеть все их действия

2. Видеозапись
Мы организовали видеозапись всех интервью, т.к.:
а) Считая владельца продукта, скрам-мастера, дизайнера и аналитиков, у нас в команде получается 8 человек. Чтобы интервьюируемый чувствовал себя комфортно, рекомендуют, чтобы со стороны интервьюеров было не более 2-3 человек. Поэтому у нас была ротация опрашивающих. Видеозапись была нужна, если бы что-то интересное нужно было посмотреть всем.
б) К тому же видеозапись незаменима при расшифровке интервью, при прояснении непонятных деталей.


www.vibe.com/photos/roll-safe-memes

3. Окружение

Все три вопроса из методологии, о которых мы говорили ранее, по сути, сконцентрировали на том, удобен ли пользователям UX (user experience) ассистента. И помня о кэше, чтобы обеспечить максимально полное взаимодействие со всеми фичами Джарвела, мы приняли решение: давайте перед самими интервью каждый час запускать на сайте множественные поиски в разные страны и на разные даты при помощи наших автоматических тестов. Тем самым мы наполним кэш и у пользователей будет большой выбор… Мы ошиблись, и это изменило всё.



Когда я переносил с этого черновика информацию на чистовик, то забыл пункт про поиски. В финальном документе их тоже не оказалось и во время самого интервью тоже.

Результаты интервью и большое открытие

Используя все написанное выше, мы провели интервью. Могу сказать, что сильно прокачиваешься в проведении интервью, в цепкости и внимательности даже после одного-двух раз. Но собрать информацию — это только полдела, теперь предстояло ее проанализировать. Мы создали документ, куда слили все комментарии/информацию от всех пользователей и разделили эту информацию по шагам. Здесь для прояснений, конечно, очень пригодились видеозаписи. Потом мы выделили болевые точки и собрали частоту их появления у интервьюируемых. И вот именно тут выстрелила забывчивость, благодаря которой мы сделали главный вывод: «у нас очень куцая выдача или полное ее отсутствие». Ведь я забыл перенести информацию о необходимости запуска автотестов с черновика в наш финальный вариант, и в итоге их так и не запустили. А это в свою очередь позволило нашим клиентам столкнуться с нашей реальной выдачей, а команде понять, насколько все в реальности плохо. У 80% наших опрошенных в том или ином виде возникали проблемы с выдачей, причиной же являлся тот подход, который мы изначально выбрали для поисков — поиск по предложениям, сохраненным в кэше. По результатам интервью мы выяснили: пользователям удобно взаимодействовать с Джарвелом, их радуют и им приносят пользу вопросы, которые позволяют контролировать выдачу и выявляют их хотелки, визуализация и работа сразу с несколькими странами позволяет увидеть и задуматься о странах, о которых раньше и не думал. Однако все это не имеет смысла, если выдача пуста или состоит из нескольких неинтересных предложений. А вот что делать с этим — непонятно.


www.drive2.ru/l/524851876592616104

Признание факта

Не все, с чем сталкиваешься, можно изменить,
но ничего не изменить, пока не встанешь с этим лицом к лицу.
Джеймс Болдуин

От признания того, что несомненно присутствует, приходит некая свобода.
После того признания приходит знание того, как действовать.
Грегори Бейтсон

Интервью проходили в понедельник и во вторник, а уже к среде у нас была готова аналитика с этим неоспоримым фактом. Мы провели встречу, на которой приняли решение, что должны сконцентрироваться на проблеме куцей выдачи и к пятнице собрать техническую аналитику, выработать варианты решения, и поставить все точки над i.
В итоге мы полностью пересмотрели весь алгоритм работы поиска и порядок вопросов Джарвела. Мы поняли, что никуда не можем уйти от долгих поисков, но:
а) можем ускорить поиск, исключив из него нерелевантные для клиента страны. То есть, построить общение клиента с Джарвелом так, чтобы отсеять те страны, которые не попадают под желания клиента еще до того, как запустится поиск;
б) превратить сам процесс ожидания при поиске во что-то, приносящее клиенту пользу. Тут мы вспомнили об Инстаграме, Википедии и экранах загрузок компьютерных игр, таких как Neverwinter Nights с его подсказками по управлению или Bayonetta со свободной зоной отработки комбо-ударов. И решили объединить эти идеи в одну, создав ленту с интересными фактами, которые можно лайкать и в дальнейшем подготавливать человека к последующим вопросам. Например, перед выбором звездности рассказать, что две звезды в Турции не равны двум звездам в Таиланде.

В итоге

Это история об интервью, которое мы как команда решились провести самостоятельно, и это интервью трансформировало предельное основание нашей фичи, хотя первоначально мы готовились собрать проблемы, которые касались только UX. Мы ошиблись, пытаясь добиться максимальной аутентичности в одном аспекте, и не обращая внимание на то, что обманываем искусственно воссозданной через автотесты выдачей пользователей и в конечном итоге себя.
Вывод: пользовательские интервью даже в малом формате, даже среди своих коллег, могут принести огромную пользу, прокачать команду в понимании людей и подсветить слепые пятна, если проводить их в условиях, максимально приближенных к реальным, и не только в области того аспекта, что вы исследуете, а в целом. Выбирайте вопросы, на которые хотите получить ответ, но не давайте им нарушать «реальность» пользовательского опыта. Будьте максимально аутентичны, общайтесь с пользователями самостоятельно и результаты могут вас удивить.

P.S. Советы и находки с интервью

• Известно, что многих звук печатания может раздражать, поэтому мы договорились, что ведем записи ручкой на бумаге.
• Наша маленькая команда из двух-трех человек поделилась так: один — ведущий интервью, его цель — максимально фокусироваться на поведении человека, на его мимике, на том, как он говорит, на его жестах; второй — секретарь, его цель — записать слова и действия клиента. Оба могут делать пометки, оба могут задавать вопросы, но фокус у каждого свой. Основная цель — не мешать и не подсказывать клиенту, увидеть ситуацию, максимально приближенную к реальности.

memesmix.net/meme/rbh3d3

• Во время интервью необходимо избегать двусмысленности. Например, одна из интервьюируемых сказала: «Сейчас он очень много болтает». Такие замечания нельзя оставлять непроясненными. В этом случае мы попросили раскрыть, что конкретно она имела в виду: «Ну, например, я хочу поменять количество ночей, я просто могу тыкнуть и поменять, а не вот это вот “сейчас мы поменяем кол-во ночей". Я, тыкнув на изменение, уже понимаю, что я делаю. Зачем мне дополнительная информация о том, что я делаю? Тратится время, ведь и так все понятно». Мы узнали не просто эмоцию, но докопались до причины того, что беспокоит клиента.
• Мы читали об этом и на собственном опыте поняли, что чрезвычайно важно проводить короткий рекап после каждого интервью. Мы собирались, обсуждали что услышали: каждый делился тем, что его зацепило; определяли точки роста для Джарвела, о которых мы знали, и те, о которых даже не догадывались. Например, внесли такие идеи: отмечать в календаре не только традиционные выходные, но и праздничные дни, или добавить новый тип отдыха — «лежать на пузе и ничего не делать». Обсуждали, что где-то не додержали паузу, а где-то слишком рано начали «возвращать» клиенту его хотелки, или что чрезвычайно важно следить за пальцами клиента во время интервью — тем, как он кликает в экран, потому что монитор, который транслирует нам действия пользователя не показывает «пустые» клики, когда пользователь не попадает по элементам экрана с первого раза.
• При том, что мы тестировали интерфейс Джарвела, для нас очень важно было не останавливать клиента, даже если он уже перешел на покупку, т.к. Джарвел — лишь удобный путь для ввода своих пожеланий или для их выявления. Конечная цель — подарить человеку впечатления, продать ему лучше всего подходящий для него тур. И если клиент отвалится на каком-то из шагов после Джарвела, нам чрезвычайно важно знать, где и как.

Спасибо большое за прочтение. Если у вас есть вопросы — задавайте их в комментариях, с радостью отвечу. И посмотрите на Джарвела 1.0 (пока только на мобилках).