Привет, Хабр! 

Нас зовут Анастасия Пушкарева и Полина Адрианова и мы — старшие аналитики-исследователи в компании VK. 

В последние несколько лет кроме основных исследовательских задач мы активно обучаем не-исследователей, участвуем в разработке образовательных программ VK Education (читаем лекции, выступаем наставниками студентов-разработчиков и учим их проводить юзабилити-тестирования). 

Отдельная наша большая задача — обучение дизайнеров немодерируемым исследованиям. Мы решили рассказать, зачем мы это делаем, как подошли к созданию программы и с какими трудностями столкнулись. 

Всё это применимо не только к обучению исследованиям но и будет полезно всем, кто задумывается о составлении собственных образовательных программ в компании.

Акт I. О просвещении дизайнеров, в коем спорят, стоит ли учить немодерируемым исследованиям 

Почему мы решили обучать дизайнеров исследованиям? 

Для исследователей основное преимущество — это демократизация исследований. Вовлечение дизайнеров позволяет проводить больше исследований и делает их доступнее. Дизайнеры, находясь в контексте продукта, могут быстрее проводить исследования, что ускоряет внедрение изменений. Также демократизация исследований сокращает время нахождения исследования в беклоге продукта, когда в продуктовой команде не хватает исследователей.

Для дизайнеров основное преимущество в том, что проведение исследований развивает критическое мышление, помогает выйти из своего «инфопузыря» и избавиться от ряда когнитивных искажений. Это позволяет создать более проработанное решение.

Если говорить про недостатки, то с обеих сторон нужно выделить много ресурса: дизайнеру — на прохождение обучения и проведение тестов, а исследователю — на проработку материалов и поддержанию регулярно процесса.

Почему мы решили обучать именно немодерируемому юзабилити-тестирования, а не классическим модерируемым юзабилити-тестам? Есть несколько причин: 

Скорость. Часто дизайнеру нужно поскорее собрать дополнительные данные для принятия решения в условиях ограниченного времени. Немодерируемый тест позволяет буквально за несколько дней проверить отдельные элементы, экраны или небольшие процессы, тогда как модерируемый тест займёт больше времени из-за необходимости искать респондентов. 

Простота. Большую роль в получении «качественного» результата юзабилити-теста играет правильная модерация, которой сложно научить в рамках курса. Нужна регулярная и частая практика, на которую у дизайнеров не хватит времени. В этом плане немодерируемое юзабилити-тестирование чуть проще. 

При этом оно так же, как и любые другие методы исследования, требует умения формулировать гипотезы, наличия критического и аналитического мышления для анализа результатов. Поэтому такое тестирование можно считать оптимальным способом входа в исследовательскую практику. 

Акт II. Сбор гильдии исследователей для подготовки обучения 

Для подготовки учебной программы мы собрали рабочую группу исследователей, которые были готовы в этом участвовать. Мы выбрали одного исследователя, кто будет управлять всем процессом разработки программы (далее «менеджер обучения»).

• Менеджер обучения руководит рабочей группой и следит за сроками выполнения этапов проектирования. 

• Помимо менеджера есть исследователи-менторы. Они готовят материалы и лично обучают дизайнеров.

• 1 этап. Подготовка (Discovery). На этом этапе мы искали информацию о том, какие есть подходы к обучению и демократизации в других командах и компаниях, какие форматы обучения существуют, и т. д.. Собрали в одном месте всю найденную информацию и выделили преимущества и недостатки различных подходов: что мы хотели бы добавить в свою программу и какие риски надо учесть.

• 2 этап. Составление плана и учебных материалов. Определили общую структуру программы и перечень материалов, которые нам необходимо сделать: презентации, шаблоны, инструкции и т. д.

• 3 этап. Пилотирование обучения. Набрали пилотную группу дизайнеров и провели для них первый вариант обучения, после чего собрали обратную связь

• 4 этап. Работа с обратной связью. Здесь мы обработали обратную связь и переработали пилотный формат обучения. 

• 5 этап. Архивирование процесса обучения. Подготовив и согласовав итоговый вариант, мы архивировали все данные в Confluence и описали процессы в виде подробных инструкций. Теперь любой исследователь в команде может использовать наши материалы и перенять процесс обучения немодерируемому тестированию.

• 6 этап. Регулярное обучение. В обучении самое важное — регулярность. На этом этапе мы определили ответственного за будущие потоки обучения и формат отчета для руководителя дизайнеров. 

Что важно для управления рабочей группой:

1. Регулярные встречи. Это помогает держать рабочую группу в тонусе и вовремя решать возникающие вопросы и проблемы. 

2. Диаграмма Ганта со сроками каждого этапа. Важно составить список задач, назначить ответственных, сроки проверки выполненной работы и готовности финальной версии, к которой нет комментариев ни у кого из рабочей группы. 

3. Правила «клуба». Наша рабочая группа состояла из исследователей разных продуктов и с разным темпом работы. Поэтому нам было важно сформулировать правила совместной работы. Например, что нужно заранее предупредить рабочую группу, если из-за занятости в других проектах не сможешь вовремя выполнить какую-то задачу.

4. Общее пространство для работы. У рабочей группы должно быть общее пространство, в котором хранятся все рабочие материалы. Мы использовали интерактивную онлайн-доску, на которой создали диаграмму Ганта, собрали полезные материалы и правила коммуникации.

Акт III. О рождении программы: как после нескольких итераций и обсуждений вышел стройный замысел 

Первый вариант программы обучения выглядел так: 

• один раз в квартал;

• 10-15 дизайнеров-студентов;

• один наставник на 4-5 дизайнеров.

После нескольких итераций мы пришли к оптимальной программе, которая минимизирует нагрузку на исследователей, а дизайнерам позволяет освоить теорию и во время практической части провести полноценное немодерируемое исследование «от и до». 

Дальше расскажем, как выглядит финальная версия нашего обучения.

Обучение занимает примерно три недели и состоит из лекций и практики. Обычно набираем в поток по 10 дизайнеров.

По итогам курса участники узнают:

• Что такое немодерируемые исследования и для каких случаев они подходят.

• Как подготовиться к исследованию: составить план, сформулировать гипотезы и определить выборку.

• Какие методы проверки гипотез существуют и какой тип задания подойдёт.

• Из каких разделов состоит тест и как избежать типичных ошибок при подготовке.

• Как разместить тест на специальной платформе.

• Как анализировать ответы респондентов в зависимости от типа задания.

• Как лучше представить данные в отчёте.

• Как работать с результатами исследования.

Сначала участники смотрят запись вводной лекции о подготовке исследования, а затем выбирают себе кейс для практической отработки навыка. 

Для курса мы заранее собрали базу различных кейсов по мотивам реальных немодерируемых исследований, которые когда-то проводили исследователи ВКонтакте. Каждый кейс включает в себя исследовательские вопросы и макеты. После первой лекции дизайнер должен выбрать кейс, с которым он будет работать и подготовить план исследования. Затем дизайнер индивидуально обсуждает план с ментором. 

Кстати, ещё одна часть практики — тесты с самопроверкой. Они не обязательны, но служат хорошим вспомогательным инструментом для отработки особо сложных тем, например, по формулированию исследовательских гипотез и выбору типа задания для немодерируемого теста (когда подойдет тест первого клика, а когда – тест ожиданий). 

Такие тесты не требуют проверки преподавателями, мы сделали так, что после выбора ответа обучающийся видит правильный вариант, а также получает объяснения, почему другие варианты неправильные. 

После согласования плана исследования студент получает доступ в Pathway (этот инструмент для немодерируемых тестов мы используем в VK) и может приступить к «программированию» теста. Ещё мы присылаем видеоинструкцию по работе с платформой. Исследователь-ментор обязательно просматривает собранный тест и отвечает на вопросы, если у студента что-то не получается. Также на платформе у нас есть шаблон теста с частыми вопросами, который можно копировать (а затем удалять вопросы, которые не нужны для конкретного исследования). 

Следующий этап — просмотр записи лекции по анализу результатов, в которой мы подробно разбираем, как анализировать результаты различных типов заданий (первый клик, тест ожиданий, тест 5-10 секунд и другим), а также как работать с результатами немодерируемых тестов (например, какие бенчмарки есть, что мы считаем успешно выполненным заданием и т. д.). 

После этого дизайнеры могут приступать к практике и анализировать результаты (студенты получают кейсы по уже проведённым исследованиям). На этом этапе к описанию задачи добавляется табличка с сырыми данными: дизайнер не тратит время на сбор ответов. Мы присылаем видеоинструкцию по работе с Excel для обработки результатов исследования.

Завершающая часть — подготовка и представление результатов. Это общая встреча со всеми менторами и студентами, к которой ребята готовят небольшие презентации и рассказывают о результатах исследования. На встречу мы также зовём неравнодушных исследователей и просим их дать отзывы (можно слегка «почелленджить», дать комментарии, обязательно выделить позитивные моменты). 

Всё это помогает дизайнерам освоить проведение немодерируемого исследования от планирования до подготовки и защиты результатов. 

Акт IV. В коем герои трижды оступились, прежде чем узрели финальную программу

Наш курс получился не сразу: результат, к которому мы в итоге пришли, это итог длительной работы (всего у нас было четыре волны обучения). 

Первый подход к обучению у нас был ещё пару лет назад, когда по итогам небольших тренингов с командой у нас родился предзаписанный курс, который мы выложили на внутренний образовательный портал. По отзывам курс получился очень общий, и после его прохождения всё ещё оставались вопросы, поэтому мы занялись более детальной проработкой. 

Во второй раз у нас получилась более подробная версия (например, мы добавили важный блок про работу с результатами) и мы даже добавили практику, чтобы студенты смогли попробовать провести весь цикл проведения немодерируемого исследования. Но в этот поток мы не включили этап работы с результатами и помогали учащимся только с дизайном исследования и поиском респондентов. 

После окончания обучения мы собрали обратную связь через опрос и узнали, что коллеги всё ещё неуверенно чувствуют себя при самостоятельном проведении исследований. Кроме того, во время курса мы мониторили обстановку и заметили несколько проблем: 

• Сложно выбрать кейс. Изначально мы хотели, чтобы студенты получали навык на своей реальной задаче, чтобы обучение было максимально полезным, но на практике оказалось, что не всегда у дизайнера может быть в работе задача, которую можно взять в исследование (например, где-то вопрос выбора между несколькими вариантами дизайна лучше решать всё таки через А/В-тест, а не через исследование). 

• Сложно найти респондентов. У нас одновременно запускалось сразу около десяти тестов, и на каждый из них нужно было набрать как минимум 50-60 респондентов, чтобы потренироваться в анализировании данных. Даже несмотря на то, что для учебных кейсов в качестве респондентов мы брали коллег, одновременно такое количество участников найти было крайне проблематично.  

Поэтому в третьей итерации мы пришли к идеальному формату, чтобы, с одной стороны, решить эти сложности, а с другой — минимизировать трудозатраты исследователей на проведение обучения (в VK очень много дизайнеров, поэтому запрос на подобный курс появляется регулярно). Так у нас и получился итоговый формат с записями лекций, тестами для самопроверки, укомплектованными кейсами и видеоинструкциями. 

Кстати, во время сбора обратной связи мы отловили ещё одну проблему: дизайнерам сложно даётся работа с сырыми данными в привычных исследовательских инструментах, таких как Excel или PowerPoint. Поэтому мы адаптируем инструментарий, например, с помощью дизайнеров сделали шаблон для презентации в Figma. 

Большинство дизайнеров (те, кто был заинтересован в этом) уже прошли наше обучение. Поэтому мы перешли от потокового формата к точечному. Это значит, что если у дизайнера появился запрос и желание научиться проводить немодерируемые тесты, мы просто прикрепляем к нему ментора без привязки к потоку или кварталу. Дальше дизайнер индивидуально учится с помощью исследователя. 

Кроме того, мы планируем проводить точечные мастер-классы для закрепления конкретных навыков — уже провели несколько мастер-классов для тренировки анализа данных для разных типов заданий в немодерируемых тестах.

Акт V. О вечном круге обучения, в коем открывается, что конец — лишь начало

Сейчас обучение дизайнеров немодерируемым исследованиям трансформировалось у нас из разовой инициативы в регулярный процесс, который мы постоянно дорабатываем. Что важно для его поддержания?

• Не забывать о цели. Что именно мы хотим получить? Повысить культуру UX-исследований в продукте, улучшить SLA исследований за счёт подключений к ним других ролей, или что-то ещё? Только понимая проблемы и цели можно составить программу, которая подходит для конкретного случая. 

• Собирать отзывы. Мы регулярно собираем обратную связь после всех образовательных активностей. Это позволяет создавать максимально полезные и полные материалы. 

• Быть готовым к регулярной работе. Недостаточно один раз провести обучение, чтобы дизайнеры уверенно и проактивно проводили самостоятельные исследования. Нужно советовать и подсказывать после обучения, подкидывать кейсы. Кроме того, нужно постоянно актуализировать полученные знания, потому что люди могут что-то забывать — это нормально, так как исследования не их основная задача. 

И да — курс не может получиться идеальным с первого раза, потому что он должен быть не разовой активностью, а системой, когда дизайнеры учатся исследовать, а исследователи — обучать. 

P.S. Наш курс не получился бы, если бы не помощь коллег!

• Спасибо рабочей группе — Гале Кырбасовой, Даше Крыловой, Ксюше Вареник и Наде Евстигнеевой.

• Спасибо тем, кто помогал доносить дизайнерам ценность обучения и помогал с программой — Серёже Розуму, Ане Семеновой и Кириллу Блюмину.