Каждый год мы набираем стажёров в отдел UX-исследований Авито. В этом году стажировка была очень масштабной: 

• 4 наставника стажёров.

• Более 130 тестовых работ — превзошли результат прошлого года больше чем в 2 раза.

• 3 объёмных задания в каждом тестовом.

Также в этом году мы немного изменили ожидания от стажировки. Ключевое отличие было в том, что мы хотели найти ребят, которые почти сразу смогут решать несложные рабочие задачи. Наши цели на стажировку были следующими: 

• Подготовить кадровый резерв.

• Перенести на стажёра часть нагрузки в командах, где работает один исследователь.

• Не учить с нуля, а менторить новичков с опытом. 

Мы собрали все выполненные кандидатами тестовые задания в один файлик и прописали “golden path” решения тестового. Дальше синхронизировались между собой, чтобы оценивать всех кандидатов максимально равномерно и начали работать с получившейся таблицей-матрицей:

Каждое задание было поделено на блоки, в каждом блоке были моменты, за которые мы ставили баллы от 0 до 3. Кандидаты могли получить максимальное количество баллов за задание, если делали его очень приближенно к нашему “golden path”.

Данная статья посвящена как раз разбору этого «золотого пути». Она будет полезна как всем, кто подавался на стажировку и пытался сделать наши тестовые, так и начинающим исследователям, которые смогут проверить свои знания на примере двух сложных кейсов.

Содержание статьи

1. Основные ошибки кандидатов.

2. Задание 1. Разбор проведённого интервью.

3. Задание 2. Поиск причин низкой конверсии в запущенном продукте.

4. Задание 3. На что мы смотрели в опыте кандидатов.

5. Три примера лучших работ.

6. Заключение.

Основные ошибки кандидатов

Перед тем как перейти к основной части, кратко разберём основные ошибки, которые допускали кандидаты.

Прислать тестовое в 23:59 в последний день. Мы проверяем тестовые задания по мере поступления. Когда их приходит больше 100 штук, на последние работы остаётся чуть меньше сил. Поэтому, даже с этой точки зрения, опасно посылать своё задание в самом конце. 

Также тестовое, высланное в последний день, чаще всего, содержит больше ошибок. Это происходит потому, что вы торопитесь, не успели что-то сделать или обнаружили часть задания, которая требует больше времени на проработку. Задания, сделанные в последний момент, как правило, немного хуже, чем если кандидат начинает делать их заранее и уделяет им внимание равномерно на протяжении всего времени. 

Кандидатов, которые присылают тестовое после оговорённого момента, мы рассматриваем очень редко, потому что считаем, что такой же подход будет у них и в работе. И причина «неуспевания» не столь важна. 

Нет доступа к тестовому заданию. Раз десять мы столкнулись с проблемой, что кандидаты не только не давали изначально доступа к тестовому заданию, но и не отвечали на запрос о доступе проверяющим экспертам. В итоге одна или две работы так и остались непроверенными. Непонятно, что именно произошло. Пожалуйста, открывайте доступ сразу, когда отправляете потенциальному работодателю ссылку на тестовое, чтобы ему не приходилось сидеть и ждать. 

Небрежное оформление. Небрежно оформленные тестовые сложнее проверять. А вот аккуратно оформленные работы сразу располагают к себе.

Несделанная часть задания. В нашем тестовом было три задания, и в каждом из них были блоки, на которые мы хотели получить ответы кандидатов. Какой-то процент кандидатов либо не сделали одно задание, либо не провели интервью, которое было частью задачи. Кандидаты писали, что у них нет времени или нет респондентов, и просто оставили поле для интервью пустым. 

Мы смотрим на решение в целом: нам кажется, что это показатель подхода к работе и желания попасть на стажировку. Поэтому даже хорошим тестовым с пропущенными заданиям мы сильно снижали баллы. 

Были кандидаты, которые ставили под вопрос то или иное задание: говорили, что вопросы странные, на них не стоит отвечать, и что какие-то гипотезы не требуют проверки. Возможно, всем хочется выглядеть хорошими экспертами. Но если вы откликаетесь на стажёрскую программу, то, наверное, не стоит показывать, что вы умнее ребят, которые придумали тестовые. 

Лучше обдумать задачи и попытаться дать на них подробный конструктивный ответ, даже если вы считаете, что часть задания непонятна и плохо сформулирована. Не стоит писать просто «это странное задание, и я не считаю, что его необходимо делать».

Мнение, что тестовые придуманы, чтобы бесплатно сделать работу. Это не ошибка, а скорее заблуждение. Мы слышали отзыв, что даём задание, чтобы кандидат бесплатно провёл интервью и составил методологию, а потом используем результаты на безвозмездной основе. 

Наверное, такое бывает. Но поверьте: не все компании дают тестовые задания для этого. Мы так не делаем, потому что иначе выйдет двойная работа. Гораздо проще проверять то, что уже проверено нами: так мы не тратим время на дополнительный анализ нового материала, а только оцениваем, насколько задание кандидата совпадает с нашими выводами.   

Очень тяжело найти хорошего стажёра, не посмотрев на него через призму небольших проектов или тестовых заданий. Нам трудно найти в мире исследователей человека, который покажет портфолио или сможет иначе подтвердить свой опыт, не выполняя тестового или боевого проекта. 

А теперь перейдём к самим заданиям для кандидатов и идеальному пути их решения.

Задание 1. Анализ проведённого интервью

В первом задании кандидатам нужно было проанализировать интервью, которое мы провели, когда исследовали молодое поколение и изучали его опыт продаж в социальных сетях. Мы намеренно взяли довольно сложный кейс. 

Мы сделали ранний прототип интерфейса групп на Авито и пригласили респондентов на тесты. На тестах проверяли, соответствует ли решение проблеме, которую мы вскрыли на предыдущих интервью. Кандидатам на стажировку мы дали видео встречи с респонденткой, где был кусочек интервью и кусочек проверки прототипа. Задачей кандидатов было посмотреть запись и написать свои выводы.

Посмотреть первое задание

Предыстория. Мы изучаем молодое поколение Z (от 14 до 24 лет), чтобы делать наш сервис более удобным для них. Недавно мы провели серию интервью и поняли, что покупка у незнакомого человека воспринимается поколением Z как большой риск. Товар может не соответствовать описанию или быть ненадлежащего качества. Поэтому они предпочитают покупать что-то у более-менее знакомых людей.

Мы придумали функцию сообществ, где можно покупать и продавать вещи среди людей, которым вы доверяете больше. Это могут быть друзья или коллеги, студенты вашего вуза или единомышленники по увлечениям. Вы можете вступать в существующие или сами создавать уникальные группы, обмениваться любыми товарами внутри групп, как в кругу хороших знакомых. Получать от друзей индивидуальные скидки на их товары.

Мы сделали прототип и пригласили на тесты респондентов. Нашей задачей было проверить, соответствует ли решение проблеме, которую мы вскрыли на интервью. Для этого мы подготовили гипотезы и вопросы.

Наши гипотезы и вопросы:

1. Подросткам будет интересно создавать свои группы.

2. Они захотят добавлять друзей и знакомых в группы, чтобы быть «в кругу своих».

3. Готовы ли люди продавать дешевле (по особой цене) какой-то группе?

4. Покупатели, которые сейчас боятся покупать, будут готовы покупать в группах и захотят в них вступать.

5. Видят ли какую-то дополнительную ценность групп на Авито по сравнению с социальными сетями?

6. Закрытые группы добавляют ценности из-за эксклюзивности товаров и цен на них.

7. Респонденты поймут механику вступления в группы и их и создания.

8. Респонденты увидят ценность продажи и покупки в группах по сравнению с обычной продажей и покупкой.

Ваша задача — посмотреть видеозапись одной встречи с респондентом и написать свои выводы:

1. Что вы думаете о вопросах и гипотезах к этому тесту?

2. Какие гипотезы подтвердились, а какие нет?

3. Какие выводы по теме проекта вы можете сделать по этому респонденту?

4. Какие инсайты и важные мысли вы вынесли из этой встречи?

5. Как модератор провёл интервью в начале встречи?

6. Как модератор провёл тест, что вы можете сказать про его действия и вопросы?

На что смотрели 

1. Насколько хорошо кандидат может оценить правильность выбранного метода исследования, его релевантность гипотезам и задачам исследования. 

2. Понимает ли кандидат, что такое хорошие и плохие гипотезы. 

3. Видит ли кандидат ошибки во время проведения интервью и тестов. 

4. Умеет ли выделить из проведённой встречи ключевые инсайты и ответы на гипотезы.

5. Насколько грамотно кандидат может сформулировать выводы. 

Как же мы видели идеальный вариант выполнения первого задания?

Формулировки гипотез

Во-первых, мы ждали, что кандидат скажет, что сформулированные в задании гипотезы говорят о том, что мы проверяем, насколько наше решение соответствует или не соответствует проблеме, которую мы диагностировали, общаясь с молодым поколением. То есть задача исследователя — не проверка прототипов с точки зрения юзабилити, а проверка гипотезы о решении на начальных этапах. 

Мы также ждали, что кандидат заметит, что в списке гипотез не выделены ключевые для конкретного теста. То есть он покажет, что есть гипотезы второго уровня, а есть гипотезы первого уровня, ответы на которые нам важнее всего. Мы хотели, чтобы человек обратил внимание на то, что не все гипотезы верно сформулированы, например, часть содержит две гипотезы в одной. Мы подробно рассказывали об этом в прошлом году в разборе тестовых заданий с примерами хороших и плохих формулировок. 

Мы ожидали комментариев, что часть гипотез невозможно проверить выбранным методом. Выбранный метод — это интервью с юзабилити-тестированием. На деле же часть гипотез нужно было проверять в бою и смотреть на поведение клиента в естественных, а не искусственных, условиях. 

Как плюс мы рассматривали ситуации, когда кандидат дополнял наш список гипотез своими. 

Респондент

В задании мы дали запись всего одной встречи. Нам было очень важно, чтобы кандидат на стажировку отметил, что исследователю попался нецелевой респондент. Была либо ошибка рекрута, либо ошибка в критериях подбора респондентов. У девушки, с которой записано интервью, изначально не было той проблемы, решение которой мы предлагали. Поэтому и гипотезы с ней проверить невозможно.

Кандидатам можно было рассуждать по-разному и предлагать разные варианты решений проблемы, например: 

• Сформулировать выводы из записанного интервью, затем взять несколько целевых респондентов и сравнить результаты между собой.

• Полностью исключить неподходящую респондентку из выборки, а на следующие тесты пригласить более целевых респондентов. 

Действия модератора

Перейдём к проведению интервью и тестирования. Здесь мы как раз ждали от всех кандидатов, что они разделят действия модератора на две группы: проведение интервью и проведение тестов. И очень важно, чтобы кандидат в ответе на задание не только ругал действия модератора, но и предлагал свои варианты улучшения, переформулировал вопросы и задания своими словами. 

Хорошим тоном является приведение цитат модератора для доказательства и аргументации ваших наблюдений. Хорошим бонусом было, если кандидат отмечал не только минусы, но и плюсы работы модератора.

Вот ошибки модератора в интервью: 

• Запись сразу начинается с исследования. Из этого можно сделать вывод, что модератор не рассказал про встречу, дал очень мало вводных и не расположил к себе респондентку.

• Модератор не провёл скрининг. Возможно, именно поэтому респондентка оказалась нецелевой, а мы не заметили это сразу. 

• Модератор говорил едва ли не больше, чем респондентка. Если вопросы занимают большую часть времени интервью — это не очень хорошо. Более того, модератор часто додумывал за респондентку её мысли. 

• Интервьюер не задавал уточняющих вопросов, а довольствовался односложными ответами. Он не копал вглубь и не спрашивал «почему», чтобы узнать причины ответов. 

• Очень мало поговорил с респонденткой про её прошлый опыт, наличие проблем и потребности. Можно было бы спросить о её личной активности в участии и создании групп, когда она последний раз покупала или продавала знакомым, что это был за опыт. Вместо этого модератор стал вводить респондентку в гипотетическую, неестественную для неё ситуацию. Он практически сразу перешёл к проверке нашего решения, хотя обычно это сильно влияет на реакцию интервьюируемого и искажает результаты.

• Задавал очень много закрытых вопросов, на которые респондентка могла ответить «да» или «нет». Таким образом сложно получить ценную информацию. Также модератор задавал несколько вопросов за раз. Как следствие, респондентке было сложно вспомнить, на какой вопрос она отвечает и что было в самом начале вопроса. Плюс, модератор практически всегда задавал общие вопросы и обсуждал общий опыт респондентки, а не конкретные случаи. Не стоит довольствоваться ответами вроде «я обычно», «я всегда», «я чаще всего» и так далее. 

• Модератор не резюмировал итоги интервью и не сделал выводов. 

А вот ошибки модератора на тестах: 

• Большинство заданий даны без опоры на опыт респондентки. Модератор довольно сильно навязывал опыт и контекст другого человека. Поскольку респондентка — нецелевая для задачи, это сильно сказывалось на её поведении и действиях в интерфейсе. 

• Задавал сложносочинённые вопросы и задания. Как и в интервью, респондентке было тяжело его понять и приходилось переспрашивать те или иные вещи.

• Давал задания и вопросы с подсказками. Например, задавал вопросы с упоминанием элемента интерфейса и иногда в вопросе сам отвечал, что нужно сделать. 

• Модератор не опирался на реальные проблемы и потребности респондентки, а сам формулировал их в заданиях. Это сильно повлияло на действия респондентки: модератор фактически вёл её по своему искусственному сценарию. 

• Больше проверял гипотезы про интерфейс, а не гипотезы соответствия нашего решения изначальной проблеме. То есть больше занимался тестированием продукта, а не концепции решения. С ранними прототипами мы обычно не так много сил уделяем проверке самих интерфейсов. Модератор же потерял фокус. 

• Модератор проверил не все гипотезы. Это очень плохо: мы для того и формулируем гипотезы, чтобы во время тестирования получить на них ответы. Если мы выходим с тестирования с 50% непроверенных гипотез, то, фактически, мы провели его зря. Поэтому во время подготовки к тестам мы всегда составляем табличку, где напротив гипотез прописываем вопросы. За счёт этого удаётся не потеряться в процессе, проверить все гипотезы и задать все нужные вопросы.

• Во время тестов модератор часто употреблял специфические термины, например: «такой флоу понятен?», «при нажатии на таб он перейдёт в поиск?» «как вам новая фича?», «что вы думаете про выдачу?», «что вы думаете про карточку?». Во время общения с респондентом лучше не использовать узкую и потенциально непонятную лексику. 

• Много наводящих вопросов. Было легко понять, какой ответ ждёт модератор по тому, как он задавал вопрос или как реагировал на ответ. Часто он давал слишком много пояснений или высказывал оценочные суждения, додумывал за респондентку. 

• В конце разговора также важно было обсудить общие впечатления от проведённого тестирования. Например, о том, что было удобно, что неудобно, почему так, остались ли у респондентки вопросы или комментарии. 

Примеры ошибок: 

 

Результаты проверки гипотез 

Лучше всего оформлять гипотезы в формате:

• Гипотеза.

• Статус проверки. 

• Факты и доказательства. 

Вот каких ответов в идеале мы ожидали от кандидатов по результатам проверки гипотез из задания. 

Подросткам будет интересно создавать свои группы на Авито 

Формулировка. Непонятно, как мы определим интерес. Непонятно, на основе чего он возникает, какие причины и следствия в этой гипотезе. Лучше было сформулировать «интерес» как факторы, на которые мы делали расчёт. Например, безопасность, доверие и прочее.

Статус. Эту гипотезу мы не проверили, но её было бы очень сложно проверить с помощью выбранного метода. Такие гипотезы лучше проверить на прошлом опыте респондента или на будущем поведении: создавал ли уже человек аналогичные группы в социальных сетях и на других площадках. 

Подростки захотят добавлять друзей и знакомых в группы, чтобы быть «среди своих»

Формулировка. Непонятно, что значит «быть среди своих» и для чего подросткам это нужно. Опять плохая связка причины и следствия.

Статус. Эту гипотезу мы не проверили. Можно сказать, что она вообще не требует проверки: добавляя в группу друзей и знакомых, вы будете находиться среди своих. Вопрос в том, хотят ли подростки это делать для продажи и покупки товаров. Здесь можно было отметить, что у данной респондентки нет желания быть конкретно в кругу своих. Для неё речь скорее про наличие конкретного товара или нужного спроса в группе. 

Готов ли продавать дешевле в какой-то группе? 

Формулировка. Не гипотеза, а вопрос исследования. 

Статус. Несмотря на то что, модератор затронул этот вопрос, мы считаем его неотвеченным. Мы смогли проверить только интерфейс, и то, что респондентка замечает и понимает, как можно снизить цену. Про саму мотивацию снизить цену модератор подсказал и таким образом навязал её, поэтому нельзя сделать какие-либо выводы. Как верно отметил один из кандидатов: «Уточняющий вопрос респондента “Насколько я добрая?” также свидетельствует о том, что действие не имело искренней мотивации и может быть рассмотрено как социально желательное поведение». 

Скорее всего, чтобы получить ответ на такой вопрос исследования, нужно давать реальный кейс, когда человек продаёт свой товар, и смотреть на его поведение на данных уже в реальном контексте.

Покупатели, которые сейчас боятся покупать, будут готовы покупать в группах и захотят в них вступать

Формулировка. Здесь две гипотезы в одной. Ещё не хватает какой-то связи между причиной и следствием — если покупатели сейчас боятся, то почему станут готовы делать покупки в группах.

Статус: Эту гипотезу мы тоже не проверили, потому что у респондентки изначально не было такой проблемы. Она не боялась покупать, у неё не было недоверия к продавцам. Для неё был более значим товар, который она продавала или покупала, респондентка сама прямо сказала об этом. Чтобы проверить гипотезу, нужны целевые респонденты с наличием исследуемой нами проблематики. И такую гипотезу тоже важно перепроверять на «реальном» поведении.

Есть ли какая-то дополнительная ценность групп на Авито по сравнению с социальными сетями?

Формулировка. Не гипотеза, а вопрос исследования.  

Статус. И на этот вопрос мы тоже не получили ответ. Модератор не докрутил его в ходе первичного интервью и теста, также не было обсуждения после тестирования, где нужно было поспрашивать глубже. Респондентка отметила только то, что в группах гораздо проще продавать товары, потому что группы — тематические, и в них по умолчанию находятся нужные вещи. Это преимущество в сравнении с тем, чтобы искать что-то на просторах социальных сетей.  

Также респондентка отметила, что можно общаться с другими участниками группы, и задавать им вопросы. Например, чтобы спросить про продавца. Она обратила внимание, что можно посмотреть профиль продавца, но мы так и не поняли, в чём разница с социальными сетями. Поэтому считаем, что не получили достаточно данных по вопросу на этом интервью.

Закрытые группы добавляют ценности из-за эксклюзивности товаров и цен на них

Формулировка. Мы бы постарались раскрыть, что значит формулировка «добавляют ценности» и отметили, что речь идёт про продавца. А в целом гипотеза рабочая.  

Статус. Модератор проверял только интерфейс: понимает ли респондентка, где искать закрытые группы, и что это значит. Он абсолютно не проверил, есть ли за этим какая-то ценность для интервьюируемой, и что это за ценность, если она есть. Отличия закрытых и открытых групп в исследовании не обсуждались. Была проверка интерфейса, а проверки гипотезы не случилось. 

Респондент понимает механику вступления в группы 

Формулировка. В такой постановке это скорее не гипотеза, а вопрос исследования.  

Статус. Ещё одна гипотеза, направленная на проверку интерфейса. Респондентка изначально поняла, как вступить в существующую группу и создать свою при незначительных подсказках со стороны модератора. Можно сказать, что эта гипотеза подтвердилась, если не брать в расчёт ошибки при модерации, ведь респондентам не стоит делать подсказки. В идеальном сценарии гипотезу лучше перепроверить. 

Респондент увидит ценность покупки и продажи товаров в группах по сравнению с обычной продажей и покупкой

Формулировка. Что мы имеем в виду под «увидят ценность»? Что означает «обычная продажа и покупка»? Почему объединяем покупку и продажу в одну гипотезу? Что, если ценность будет только в покупке?

Статус. Эту гипотезу можно отметить как подтвержденную частично, потому что респондентка сказала, что в группах удобно находить товары с конкретной спецификой. Например, учебники для университета так искать удобнее, и респондентка видит в этом ценность для себя. Также она обратила внимание на то, что можно написать другим покупателям и узнать больше о продавце. 

Выводы

В выводах кандидатов мы в первую очередь смотрели на то, чтобы они были понятно оформлены. Давайте попробуем раскрыть, что такое «понятно» в идеальном случае. 

Во-первых, выводы разделены на три части:

1. Описание профиля, мотивов, целей и задач респондента.

2. Проблемы соответствия решения проблеме, изначально найденной у сегмента пользователей.

3. Проблемы интерфейса.

Здорово в выводах развести эти три блока, потому что проблемы соответствия решения потребности важнее проблем соответствия интерфейса. Если решение не попадает в потребность, то никакой интерфейс не поможет, насколько бы хорошим он не был. 

С нашей точки зрения, понятно оформленные выводы содержат аргументацию. У исследователя она должна быть под все собранные инсайты и проверенные гипотезы. Аргументация может содержать в себе как переформулированные цитаты респондента, так и дословные цитаты из интервью и теста. Таким выводам больше доверия, их приятно читать. 

Если формулировать выводы таким образом, получается большой объём информации: в хорошем варианте там есть и общие данные и детали. Поэтому отдельно мы смотрели, есть ли в работе кандидата общее саммари. 

Если говорить про оформление гипотез и ответов на них, тут мы, как правило, придерживаемся формата таблицы. В одной колонке — гипотеза, а во второй колонке указано, проверена она или нет, плюс какие-то аргументы и подкрепляющие этот факт цитаты. Этот формат проще всего, и его удобно читать. Примеры можно найти в тестовых заданиях в конце статьи.

Так как интервьюеру попался нецелевой респондент, и многие гипотезы остались непроверенными, в выводах мы ожидали от кандидатов слов о том, что нужно найти других респондентов и провести повторное исследование с ними. Какие-то гипотезы остались под сомнением, поэтому нужно их уточнить и, опять же, проверять повторно. Если в словах респондента были интересные мысли, на их основании следовало сформулировать дополнительные гипотезы для проверки с другими респондентами. То есть идеальные выводы по заданию, на наш взгляд, должны были содержать какие-то сомнения, дополнительные гипотезы, и вопросы для перепроверки на последующих тестах. 

Очень хорошо подвёл итоги один из кандидатов:

По сути весь тест некорректный, так как задание не подходит под реальный соцдем профиль, задачи и проблемы респондента. Более того, всё тестирование строится на постоянных подсказках модератора о том, куда нужно нажать дальше, чего делать нельзя.

Задание 2. Кейс с отелями

Во втором задании кандидатам нужно было помочь компании разобраться, что происходит с новым бизнес-направлением. Мы запустили раздел отелей на Авито. Команда видит, что конверсия в бронирования отелей очень низкая в сравнении с бронированием квартир. Нужно выяснить, почему. 

Сложность этого кейса в том, что сервис уже запущен в формате MVP, при этом есть довольно много вопросов к реализации самого MVP. Мы не дали кандидатам никаких предпосылок, почему запустили сервис и почему он существует именно в таком формате. Вместо этого, перенесли их сразу к проблеме решения — низкой конверсии в сделку.

Посмотреть второе задание

Предыстория. У Авито большая аудитория как в категории «Недвижимость», так и в целом. В месяц у нас снимают более 1 млн квартир посуточно. Мы понимаем, что наша аудитория может находить для себя подходящие варианты не только среди квартир, но и среди отелей. Поэтому мы запустили новую категорию.

Запустив новую функцию, мы видим, что очень малое число пользователей бронируют отели. Чтобы понимать, что делать дальше с новой категорией, нам нужно выяснить причины отказов от бронирования. Почему в аренде квартир высокая конверсия, а в отелях — низкая? Как увеличить конверсию в новой категории?

Ваша задача: помочь команде с проектом.

1. Сформулируйте план действий: что вы стали бы делать, если бы к вам пришли с такой формулировкой задачи.

2. Пропишите вопросы к команде, если они есть.

3. Опишите методологию исследования, которое поможет команде ответить на вопросы (цели, задачи, метод, вопросы, гипотезы, ЦА и прочее).

4. Пообщайтесь с 1-2 респондентами, если это предполагается по вашей методологии.

5. Приложите видеозаписи ваших онлайн-встреч с респондентами к отчету.

6. Напишите выводы, попытайтесь ответить на вопросы команды.

На что смотрели 

1. Насколько кандидат умеет правильно задать вопросы команде продукта до начала работы над задачей.

2. Может ли правильно выбрать метод исследования и определить целевую аудиторию.

3. Умеет ли формулировать задачи исследования, гипотезы, задания и вопросы респондентам. 

4. Насколько грамотно может провести встречу с респондентом. 

5. Умеет ли оформлять выводы, выделять суть и подавать информацию. 

Вопросы команде продукта

Пунктом номер один мы видели правильные вопросы, которые кандидат задаёт команде продукта. Вот блоки, вопросов по которым мы ожидали. 

Предпосылки запуска сервиса. Тяжело помогать с исследованием и проверять, работает ли решение, когда не знаешь предпосылок его запуска. Исследователю важно понимать, из каких гипотез о проблемах родилось текущее решение, и чем руководствовалась при его создании команда. 

Мы ожидали, что кандидаты захотят узнать:

• Предпосылки запуска сервиса и ключевые гипотезы для запуска решения.

• Какие пользовательские задачи и сценарии использовались для запуска решения.

• Какие сегменты аудитории выделила команда, и на какие сегменты был расчёт в MVP. 

• Почему решение именно такое и почему у него именно такая точка входа для пользователей.

• Как наше решение облегчает решение проблемы пользователей, в чём ценность нашего решения по сравнению с конкурентными.

Аналитика проекта. До начала работы нужно уточнить ряд вещей про аналитику проекта: 

• какие метрики изначально закладывала команда, оправдались они или нет;

• какие метрики высокие, а какие — низкие, и почему они такие; 

• как команда видит себе воронку, какие цифры на каких этапах воронки, и где отваливаются пользователи. 

Исследователь должен понимать всю аналитику на каждом шаге воронки, а также сравнить и обсудить с командой воронку отелей в сравнении с воронкой бронирования квартир. Сравнение полезно, потому что эти продукты похожи между собой по пользовательскому пути.

Особенно здорово, если кандидат отмечает, что нужно посмотреть на воронку от формирования у пользователя первой потребности до непосредственной брони отеля. То есть смотреть стоит не только на часть воронки на Авито, а также и на точки входа и каналы привлечения. Здесь задача — заглянуть на этапы, когда пользователь ещё не знает о существовании нашего сервиса бронирования.  

Что показали ранние исследования. Мы ожидали, что кандидаты поинтересуются, проводились ли до текущего момента какие-то исследования, и что они показали. Один из самых важных пунктов — были ли тесты до запуска продукта. Если мы видим проблему с конверсией, то она может быть вызвана интерфейсами. Важно понять, какие тесты уже проводились, были ли на них выявлены проблемы, какие из проблем исправили, а какие нет. Возможно, решение вообще было запущено без каких-либо проверок и UX-тестов.

Анализ конкурентов. От идеальных кандидатов мы ждали вопросов о том, проводила ли команда анализ конкурентов. Мы всегда делаем его до того, как начать разбираться в своём решении и его проблемах. В анализе нужно посмотреть, как выглядят воронки конкурентов, какие у них цифры, что можно узнать по аналитике. Если таких данных у команды нет, то исследование конкурентов стоит включить в свою работу. Нужную информацию можно собрать из открытых источников и самому пройти пользовательские сценарии в похожих на исследуемый продуктах. 

Текущие гипотезы команды. Для исследования нужно узнать у команды, откуда возникает проблема и почему, по их мнению, конверсия низкая. То есть собрать гипотезы, которые уже сформированы.  

Просмотр сессий в вебвизоре. Также можно предложить команде организовать  просмотр сессий в вебвизоре. Это может быть как этапом подготовки к исследованию, так одним из методов исследования. Для этого стоит уточнить у команды, включен ли на продукте вебвизор.

Отдельно мы ждём от кандидатов, что до начала исследования они сами пройдут пользовательский сценарий. Это позволяет экспертно оценить, какие проблемы в продукте могут быть, найти потенциальные камни преткновения в интерфейсе и сформировать свои гипотезы.

Цели и задачи исследования

В первую очередь мы смотрели не на выбранный кандидатом метод, а на описание целей и задач на исследование. Метод исследования всегда исходит из задач. Их формулировки определяют успех и полезность всего, что последует дальше. Если вы начнёте исследование с плохого или неправильного вопроса, то не получите полезного ответа. 

Цель исследования — это то, на что исследование направлено. Конечный результат, которого хотелось бы достичь. 

Задачи исследования — это этапы, которые необходимо выполнить, чтобы достичь цели исследования. 

Правильная воронка подготовки к исследованию выглядит так:

1. Контекст бизнеса и вводные. 

2. Цель и задачи исследования.

3. Гипотезы исследования.

4. Метод проверки гипотез.

5. Целевая аудитория.

6. Задачи и вопросы респондентам.

Что же является целью исследования в нашем случаи? Мы предлагаем разделить цели на две: 

1. Основная исходит из задачи команды. Надо определить причины отказов от бронирования отелей на Авито. 

2. Вторая может быть связана с отсутствием понимания, а как вообще пользователи проходят путь от появления потребности забронировать жилье до непосредственно бронирования не важно на каком сайте. То есть цель — понять, как клиенты ищут, выбирают и бронируют отели.

Задачи тогда можно поделить на два блока и сформулировать так.

Блок 1. Причины отказов на Авито:

1. Описать целевую аудиторию клиентов, бронирующих отели на Авито.

2. Определить основные сценарии пользователей при бронировании жилья на Авито.

3. Определить, как клиенты попадают в раздел с отелями.

4. Выявить и описать возможные барьеры для бронирования отелей на Авито.

5. Найти потенциальные причины ухода из раздела на разных этапах бронирования.

6. Определить ожидания и задачи пользователей при бронировании отелей на Авито.

7. Сформировать рекомендации по улучшению конверсии для бронирования отелей.

Блок 2. Общий опыт:

1. Понять, как люди выбирают сервисы онлайн-бронирования.

2. Понять, почему переключаются с одного сервиса онлайн-бронирования на другой.

3. Определить, на каких этапах возникают сложности/неудобства/дискомфорт. 

4. Определить, что клиентам нравится в сервисах бронирования.

5. Определить, в каких случаях пользователи бронируют отели, а в каком — квартиры. 

Гипотезы

Гипотезы — это предположения, которые мы собираемся проверить в ходе исследования. Хорошо сформулированная гипотеза — залог полезного исследования. Что такое хорошие и плохие гипотезы читайте тут. Исследование без гипотез или со «слабыми» гипотезами обычно неэффективно. Поэтому этап формулирования гипотез очень важный, на нём нельзя экономить время. 

Откуда мы обычно берём гипотезы:

• Изменения в продукте.

• Обратная связь от пользователей.

• Аналитика.

• Прошлые исследования.

• Экспертный опыт.

• Конкуренты.

Все гипотезы должны вытекать из целей и задач исследования. А из них, в свою очередь, должны вытекать вопросы и задания для респондентов. Всё это удобно оформлять в отдельную табличку: так исследователю всегда будет понятно, из какой гипотезы какие вопросы растут. 

Перейдём к гипотезам, которые можно было сформулировать на нашем проекте. 

Общие гипотезы:

• Авито не ассоциируется с бронированием отелей, поэтому клиенты не доверяют решение этой задачи сервису. 

• Сервис не предлагает достаточной ценности по сравнению с другими сайтами онлайн-бронирования гостиниц, поэтому нет смысла «переключаться» на него.

• Пользователи видят, что сервиса по факту нет — что это OneTwoTrip внутри Авито — и, не увидев ценности, уходят с сайта. 

• Прошлый негативный опыт поиска жилья влияет на доверие при бронировании отелей.

• Отсутствие отелей за границей сильно сужает целевую аудиторию сервиса.

• Маленький выбор отелей по сравнению с другими аналогичными площадками.

• Пользователи Авито предпочитают квартиры, а не отели, так как они дешевле. 

• На Авито специфическая целевая аудитория, которая хочет сэкономить, поэтому она не готова рассматривать отели. 

Интерфейсные гипотезы. Их может быть много, приводим несколько для примера:

• Пользователи не могут найти «Отели» на сайте Авито.

• Пользователям недостаточно фильтров для поиска. 

• Недостаточно информации на странице гостиницы для принятия решения о бронировании.

• Непонятно, как поменять что-то после бронирования. 

• Пользователи не понимают, на каком этапе они уже завершили бронирование.

Выбор метода исследования

Мы ждали, что сформулировав цели и задачи исследования, кандидаты предложат следующее: 

• Модерируемые или немодерируемые юзабилити-тесты. Они отлично подойдут для поиска проблем с текущим решением. Начинать тесты стоит с самого первого этапа, когда клиент только решил искать жилье, чтобы посмотреть на весь его путь. Можно дополнить юзабилити-тест небольшим SUS-опросником по окончанию.

• Интервью про опыт бронирования жилья на разных сервисах конкурентов. Очень хорошо подсветит, что мы не учли в нашем решении, как выглядит удачный и неудачный опыт, какие проблемы люди замечают на разных сервисах. 

• Можно провести интервью с юзабилити-тестом. В первой части — задать респонденту открытые вопросы, во второй провести непосредственно юзабилити-тест, а затем подвести итоги. 

• Сервис уже запущен, поэтому можно сделать обзвон или опрос разных групп клиентов. Например, выделить и опросить тех, кто зашёл в категорию отелей, но не начал процедуру бронирования, тех, кто начал, но не закончил оформление брони, и тех, кто дошёл до последнего шага и забронировал отель.   

• Изучение обращений в поддержку. Опять же, сервис уже запущен, а значит, существует поток клиентов. Их обращения — один из источников понимания того, что происходит с продуктом.

• Сравнительное тестирование с конкурентами, чтобы посмотреть, что происходит у них. 

Целевая аудитория

Также нам было важно, насколько правильно кандидат описал целевую аудиторию исследования. Ключевая проблема — описание её социально-демографическими критериями, таким как пол или возраст.

Чаще всего главное для формирования выборки — опыт респондента в использовании сервиса и его текущая потребность в задаче, которую вы хотите проверить.

На что мы советуем обращать внимание при формировании выборки:

• Новизна опыта респондента в задаче.

• Актуальные задачи/потребности.

• Опыт в продукте/сервисе.

• Конкурентный опыт.

• Платформа — десктоп или мобайл.

• Соцдем критерии.

В случае с бронированием отелей, в целевой аудитории важно взять как опытных, так и неопытных пользователей. Тех, кто:

• Уже бронировал квартиру и тех, кто не делал никаких бронирований. 

• Бронировал отели на других сайтах и тех, кто делал бронирование на Авито. 

• Прошёл сценарий до конца, и тех, кто сценарий бросил на том или ином этапе.

Также мы хотели, чтобы кандидат посмотрел на целевую аудиторию с точки зрения разных потребностей. Есть клиенты, которые ищут отели для путешествий, а есть те, кто ищет отели для командировок. Это тоже два разных сегмента. 

Плохо, если кандидаты не объясняли, зачем вводили специфические параметры для ЦА. Например, «ценят стабильность, комфорт, защищенность, размеренность. Подвержены рекламе, отзывам, рекомендациям». Нам было непонятно, что дают эти дополнительные критерии, на какие гипотезы или задачи исследования они влияют.

Итого, мы ожидали, что ключевыми критериями при выборе аудитории кандидаты назовут наличие у респондентов опыта и потребности, а также поделить их на клиентов Авито и новых клиентов. Конечно, можно добавить и социо-демографические параметры, но они — дополнительные. 

Вопросы и задания 

Задания для юзабилити-теста — способ погрузить респондента в контекст задачи, приближенной к реальной жизни. Работа исследователя здесь заключается в том, чтобы по ходу решения респондентом текущей задачи проверить и оценить, насколько пользователю может удобно и эффективно решать её в интерфейсе, какие возникают проблемы, какие он даёт комментарии.

Чаще всего вопросы и задания для юзабилити-тестов мы делим на следующие типы:

• С чёткими критериями (сфокусированные).

• С контекстом (содержат историю).

• Пользовательские (с опорой на опыт пользователей).

• Без заданий.

Для теста в кейсе с отелями лучше всего было опираться на опыт пользователей и давать задания исходя из их реальной задачи. То есть отталкиваться либо от прошлого опыта поиска жилья, либо от такой потребности на будущее.

Мы отмечали как плюс, когда кандидаты связывали свои гипотезы на исследование с заданиями и вопросами для респондента. Например, так:

 

Проведение интервью или теста

Следующая часть для оценки кандидатов — это проведение ими самого интервью или теста с респондентом. Конечно же, мы не просили проводить пять или десять интервью. Нам было важно, чтобы кандидат провел хотя бы одно. 

Большой ошибкой было не провести ни одной встречи, или провести встречу в формате «отстаньте от меня». Это встречи, которые длились меньше пяти минут, и были сделаны скорее для галочки. При этом мы повышали балл ребятам, которые провели полноценную встречу, которая длилась не менее 20–30 минут. Некоторые кандидаты даже провели несколько встреч. За это они получили дополнительные баллы.

Лучшие интервью — это управляемые беседы, а не жёсткие вопросы и ответы. Стоит быть гибким в порядке вопросов и стараться создавать у респондента ощущение естественной беседы. 

Когда вы нечасто проводите исследования, то невольно беспокоитесь о том, что делаете это неправильно и можете совершить ошибки. Наш совет — расслабиться и признать, что ошибки вы действительно будете совершать. Все их делают, но они обычно не сводят на нет все полученные выводы. 

Человек, который сидит перед вами, очень любезен и готов отвечать на утомительные вопросы. Дайте респонденту почувствовать, что он разговаривают с любопытным собеседником, а не замкнутым исследователем. Постарайтесь создать чувство расслабленного, дружеского разговора, а не жёсткого, нервного собеседования.

Во время интервью с респондентом мы считаем важными мягкое погружение респондента, рассказ о целях и регламенте встречи, небольшой повторный скрининг и верные формулировки вопросов.  

Несмотря на то, что кандидаты использовали для выполнения задания друзей и знакомых, хорошее вступление и вводные обязательно нужны. Всё равно интервью — непривычная ситуация для респондента, поэтому небольшой смол-ток поможет человеку расслабиться, а исследователю — установить контакт. 

Далее стоит рассказать респонденту про цель встречи, что будет происходить, каков регламент:

• Представиться: кто вы, что вы делаете.

• Какая цель встречи.

• Почему позвали именно его.

• Что будет происходить.

• Для чего это вам нужно.

• Что вы ожидаете от респондента, какие правила есть.

• Что для вас очень ценно и важно. 

• Спросить про то, сколько у респондента времени.

• Предупредить о записи.

• Уточнить, нет ли у респондента вопросов до начала.

Пример вводного слова

Добрый день. Меня зовут Миша. Со мной тут также мои коллеги Татьяна и Влад. 

Больше вам спасибо, что согласились с нами поговорить. Я немного расскажу вам о том, кто мы, почему мы с вами общаемся и что будем сегодня делать. 

Мы с коллегами занимаемся разработкой сервисов Авито для продавцов. Чтобы сделать сервис удобнее и эффективнее, мы постоянно проводим такие встречи с нашими клиентами. На них мы пытаемся понять, как вы размещаете и продаёте товары на Авито, какими сервисами продвижения пользуетесь, какие стратегии используете, что вам нравится и не нравится в нашем сервисе. 

Не бойтесь нас покритиковать и дать нам любую обратную связь. Мы как раз и хотим услышать все ваши комментарии по работе с Авито, чтобы сделать его удобнее. 

У нас есть примерно 40 минут вашего времени, верно? Может быть у вас есть какие-то вопросы, прежде чем мы начнём?

Если вы не против, мы запишем нашу встречу, чтобы не потерять никакую важную информацию. Запись будет только у нас, мы никуда не будем её выкладывать и ни с кем не будем ей делиться.

Конкретно сегодня мы хотим посмотреть, как вы работаете в личном кабинете Авито и показать вам новую функциональность. Чтобы это сделать, нам нужно, чтобы вы открыли свой кабинет и включили демонстрацию экрана. Так мы сможем видеть, что вы будете делать. Не переживайте, мы увидим только ваши объявления в личном кабинете и как вы с ними работаете. Поделиться экраном можно, если нажать…

Ещё очень важно провести с респондентом небольшой рескрининг: вдруг приглашенный гость не подходит по каким-то критериям. Поэтому кандидатам было бы здорово обсудить такие характеристики через специальные вопросы, чтобы проверить человека на соответствие целевой аудитории исследования.

Мы повышали баллы при проведении тестов и интервью, если кандидат:

• Не влиял на действия и ответы респондента.

• Чаще молча наблюдал за поведением.

• Придерживался сценария исследования.

• Получил ответы на задачи исследования.

• Понял причину проблем и действий респондента.

• Создал комфортную и интересную обстановку на встрече.

Далее мы смотрели, как кандидат проводит интервью. Мы обращали внимание на то, задаёт ли он плохие вопросы. Это вопросы:

• наводящие респондента на ответ;

• закрытые;

• про будущее или прошлое, которое респонденту будет очень тяжело вспомнить;

• про мнение о продукте

• с профессиональным жаргоном или сложными формулировками;

• слишком общие, без уточнений;

• несколько вопросов за один раз.  

Мы смотрели, как часто кандидат их задаёт. И, конечно, в противовес отмечали хорошие открытые вопросы, которые и были нам важны. Мы оценивали, спрашивает ли кандидат вглубь, задаёт ли вопрос «почему», умеет ли чередовать этот вопрос с другими открытыми вопросами. А также насколько много он говорит в сравнении с собеседником, даёт ли респонденту возможность высказаться и делает ли паузы.

В юзабилити-тестах мы смотрели на ошибки модератора. Основным фактором оценки для нас было то, может ли кандидат просто наблюдать за действиями респондента или постоянно даёт подсказки. С нашей точки зрения модератор должен не подсказывать, и минимально вмешиваться в процесс, желательно просто молча наблюдать за поведением другого человека. Задача модератора в том, чтобы не повлиять на ход исследования. Он просто ведёт человека по нужному сценарию и в процессе получает ответы на гипотезы исследования. Если модератор что-то не понимает, то ему стоит копнуть вглубь, чтобы понять причину проблем и действий респондента. 

Во время юзабилити-теста также важно, чтобы модератор создал комфортные условия для респондента. Мы обращали внимание на то, насколько свободно кандидат ориентируется в своей теме и своих вопросах, ведёт ли он с респондентом беседу, а не допрос, может ли быстро сориентироваться, если что-то идёт не по плану. Плюс, если человек может выйти из неожиданной ситуации и гибко ведёт беседу, всегда помня о гипотезах. 

Анализ результатов и выводы

Во втором задании кандидаты проводили исследования сами, у них была своя методология и свои респонденты. Поэтому выводы были максимально разнообразными. Мы смотрели на общий объём: встречи с респондентами занимали в среднем от 15 минут до часа, поэтому и объём выводов мог получиться довольно большим. Мы всегда повышали балл, если кандидат написал подробные выводы.  

Как и в первом задании, мы повышали балл за структуру. Результаты, которые содержали в себе общие выводы, ответы на вопросы, гипотезы и задачи исследования, были для нас привлекательнее других вариантов.

Мы также повышали балл за всевозможные аргументы и артефакты, которые подкрепляли выводы, сделанные кандидатом: 

• приведённые факты и доказательства из интервью; 

• приложенные фотографии и скриншоты; 

• отссылки на части видеозаписи.

Так как кандидаты смогли провести всего одно или пару интервью, мы считали плюсом, когда кандидат выражал сомнения. Здорово, если кандидат подчеркивал что какие-то выводы нуждаются в перепроверке, потому что их нельзя сделать на основании одного-двух интервью. Мы считали правильным, если в тестовом человек писал, что после первого разговора с респондентом у него появилась новые гипотезы, что методологию можно исправить и доработать. 

Отдельно повышали балл за аккуратность и красоту оформления. Приятно, когда кандидаты оформляют результаты красиво в гугл-документе красиво, но ещё лучше их можно оформить в Miro или Notion. Хорошее оформление всегда добавляет плюс к выводам исследователя, потому что так их гораздо комфортнее читать.

Хорошо, когда выводы приоритезированы по критичности или важности наблюдений. В таком случае читателю гораздо проще понять, что из результатов исследования является наиболее важным для проработки. Также в выводах нужно сформулировать последующие шаги: что делать команде продукта и что бы сделали вы.

Задание 3. Опыт и навыки кандидата

В третьем задании мы просили кандидатов на стажировку ответить на ряд вопросов, чтобы получше их узнать. Вот что было плюсом:

• Есть опыт проведения боевых UX-исследований. Участие в проектах с реальными заказчиками и пользователями. Например, в роли второго модератора. 

• Есть опыт тестовых UX-проектов. Такие проекты кандидат мог проводить во время обучениях или стажировки. 

• Профильное образование — социология, психология, IT. Фундаментальные знания тоже имеют значение, особенно для интервью и опросных методов.

• Опыт работы дизайнером, редактором, менеджером продукта, HR, опыт в продажах или IT-сфере. Мы считаем, что кандидаты из этих сфер и направлений умеют общаться, задавать правильные вопросы, докапываться до истинных потребностей собеседников.

• Дополнительные курсы по UX. Как мы писали выше, мы не хотели обучать кандидатов с нуля, а хотели найти специалистов с небольшим опытом и уже имеющимися знаниями в теме UX-исследований. Мы поднимали балл за курсы Coursera, ВШЭ, Bang Bang Education, школы Wonderfull, БВШД, GeekBrains, Skillbox, CustDev-курс Вани Замесина и участие в других стажёрских программах. 

• Теория в качественных и количественных методах. Без этого было сложно сделать наши тестовые задания.

• Кандидат работал в продуктовой команде. Это хороший показатель того, что даже если кандидата придётся «поднатаскать» в исследованиях, влиться в команду он сможет быстрее других. 

• Человек хорошо формулирует и выражает свои мысли. Это было видно как в тексте тестового, так и во время финального интервью.

• Целеустремлённость: кандидат пробовал разные стажировки, делал отклики, ходил на курсы, постоянно читает и развиваться в теме. Как пример, в итоге мы взяли на стажёрскую программу девушку, которая в прошлом году попала в ТОП-10 наших кандидатов, но не прошла. Она не сдалась, и в этом году попробовала свои силы во второй раз. 

• Читает каналы, книги, слушает подкасты про UX и разработку продуктов и сервисов. Без этого сейчас тяжело быть в теме и владеть актуальной информацией. Мы смотрели чтобы кандидаты «мониторили» популярные источники:

  • Каналы и рассылки — UXHorn, ReOps, Юру Ветрова, soloveev, ux.pub. 

  • Статьи — Steve Krug, Fitzpatrick, Medium, Habr, NNG.

  • Конференции — ProfsoUX, ProductSense, ProductCamp, EpicGrowth. 

  • Подкасты — Подлодка, Дизайн Такой, ProductSense, Ламповый Кастдев, Awkward Silence.

  • Книги — «Пиши, сокращай», «Спроси маму», «Дизайн простых вещей», «Клиенты на всю жизнь», «Доставляя счастье», «ВкуссВилл: Как совершить революцию в ритейле, делая все не так», «СтартUp», «Разработка ценностных предложений», “Understanding Your Users”, “Observing UX”, “Think Like a UX Researcher“, “Measuring the User Experience“.

Три лучших работы кандидатов 

Чтобы наши оценки не были голословными, а идеальный вариант не казался «космосом», мы выкладываем с согласия кандидатов ри лучшие работы. Эти тестовые задания набрали больше всего баллов. Всё, про что мы писали в статье, вы сможете в них встретить: 

1 место

2 место

3 место

Заключение

В итоге мы отобрали 15 финалистов, из которых нужно было выбрать троих. Нам было очень сложно это сделать, потому что все кандидаты-финалисты были очень крутыми. Мы нашли способ взять в команду шесть стажёров: трое кандидатов теперь работают с нами на аутсорсе. У ребят есть реальный шанс остаться работать в Авито, если они хорошо покажут себя за время стажёрской программы. 

Тестовые работы и финальное интервью ещё 9 финалистов мы с их разрешения собрали в таблицу, и отдали как рекомендацию в другие компании. Если у вас есть запрос на хорошего стажёра, мы готовы поделиться контактами, напишите для этого Мише в телеграм. Этих людей мы также добавили в наше сообщество CloudResearch, чтобы поработать с ними на отдельных проектах.

Бонусом мы решили сделать кандидатам подарки. Мы отлично понимаем, сколько времени они вложили в решение наших тестовых заданий, и поэтому отправили сувениры 9 лучшим финалистам.

Ссылки для исследователей

1. Стать частью исследовательской команды Авито.

2. Присоединиться к сообществу облачных исследователей.