Привет! Меня зовут Ксюша, я продуктовый дизайнер в MAGNIT TECH, и уже больше года работаю над карьерными сайтами. Я присоединилась к продуктовой команде, в которой были продакт-менеджер, продуктовый аналитик, исследователь и разработчики, но не хватало меня -  дизайнера:)

В первую очередь мы разбирали задачи из бэклога, а также принимали запросы, которые приходили от коллег. Мы хотели перейти к проактивной работе: генерировать и проверять гипотезы, чтобы не просто поддерживать работу сайта, а развивать его и влиять на ключевые показатели бизнеса

Собираем команду мечты

Чтобы двигаться дальше и находить действительно ценные решения (а не просто реагировать на запросы), мы решили раз в спринт устраивать мозговые штурмы. Для этого собрали кросс-функциональную команду: продакт, продуктовый аналитик, исследователь, сторона разработки и я (дизайнер). Начали приходить на встречи с разными вопросами и данными: интервью с кандидатами, отчеты аналитика, отзывы пользователей, обратная связь от эйчаров и видение продуктовой команды. Благодаря совместной работе каждую встречу удавалось собрать список гипотез – здесь главное не бояться смелых предложений, даже если ты в них не совсем уверен, а фиксировать все

Все наши идеи попадают в таблицу – живой бэклог гипотез, где мы также указываем основные и дополнительные метрики, на которые хотим повлиять (плюс их текущий показатель), примерную наблюдаемую разницу с текущим вариантом, подтверждение данных, подробное описание гипотезы или примерную визуализацию, ЦА, а еще автора гипотезы и её статус

Приоритизация гипотез или как не утонуть в океане идей 

После сбора идей перед нами встал вопрос: как определить, какие гипотезы действительно важны и где стоит сфокусироваться в первую очередь? Тут на помощь пришёл RICE-фреймворк, где Reach - количество пользователей, которое охватит предлагаемое изменение (его мы можем вывести, как количество пользователей, посетивших страницу, на которой планируется внедрить изменение в среднем за 1 день за последний период в 30 дней), Impact - степень уверенности в росте от гипотезы, Confidence - это субъективная уверенность в нашей оценке, то есть насколько точно мы смогли оценить нашу гипотезу и Effort - сумма трудозатрат, которые понесем в рамках реализации гипотезы. RICE высчитывается по формуле:

Мы немного адаптировали фреймворк под себя и решили, что для того, чтобы оценить гипотезу, нужно мнение пяти ролей: 

Продакт, дизайнер, разработка, аналитик, исследователь. Каждый ставил оценку от 1 до 5. После подсчетов гипотезы, у которых скор выше, шли в работу. Остальные - дозревать в excel-таблице:)

Выбор методов и запуск экспериментов

Следующий этап - правильно выбрать методы проверки гипотез. Чаще всего мы использовали A/B тесты, так как это самый надежный способ эмпирически проверить, работают ли изменения на улучшение показателей сайта

Наш процесс выглядел так:

1. Выбор гипотезы с четкой формулировкой, чтобы точно понимать, какую проблему или улучшение мы проверяем

2. Расчет исследователем сроков теста и параллельно разработка экспериментальной версии решения дизайнером

3. Запуск теста на выбранной группе пользователей с учётом минимального объёма трафика для статистической значимости 

4. Мониторинг ключевых метрик: CR в отклик, время на сайте и тп

5. Анализ результатов с применением статистической значимости 

6. Принятие решений на основе полученных данных: подтвердить гипотезу, доработать или отвергнуть ее

К примеру, у нас был гипотеза, что демонстрация количества откликов рядом с формой на главной увеличит конверсию в отклик. Для теста нужно было два варианта:

• Без текста

• С текстом "Сегодня откликнулось: N человек" возле анкеты на главной. Параметр цифры динамический от 201 до 800
  Меняем цифру раз в час, с шагом 20 до 40

Сначала наш исследователь сделал расчет длительности теста:

Параллельно я сделала макет экспериментального варианта:

Далее мы запустили тест на рассчитанный промежуток времени и после завершения эксперимента зафиксировали статистически значимые отличия:

По оценке p-value статистически значимые различия между вариантами наблюдаются, значит вариант со счётчиком работает лучше и дает рост CR в отклик с главной формы на 0,16 п.п. или на 8,53%. Поэтому решение ушло в прод :)

Но также у нас были тесты, которые не показали стат.значимой разницы - так мы проверяли гипотезу о том, что размещение кнопки "Откликнуться" на каждой карточке конкретной вакансии увеличит конверсию в отклик с конкретной вакансии

Из результатов теста нельзя сказать, что добавление кнопки “Откликнуться” повлияло на уровень конверсии в отклик из карточки вакансии. Поэтому мы решили дополнительно провести коридорное исследование и анализ статистики по карточке вакансии

Из коридорок мы выяснили, что соискатели хотели бы сначала изучить вакансию и только после этого откликнуться на неё. А анализ статистики показал, что при практически равном количестве просмотров списка вакансий у нас больше кликов. При этом конверсия в клик из просмотра списка вакансий во втором периоде статистически более значимая, чем в первом. Также мы получили одинаковую конверсию в успешный отклик при меньшем количестве просмотров карточки вакансии, поэтому решили оставить данное решение

Результаты теста не подтвердили влияние кнопки "Откликнуться" на конверсию из карточки вакансии. Мы провели дополнительное исследование и анализ статистики, в ходе которых выяснили, что соискатели сначала хотят изучить вакансию перед откликом. Кнопка "Откликнуться" воспринимается не как "Подробнее", поэтому большинство не нажимают ее. Статистика показала, что при примерно одинаковом числе просмотров больше кликов во втором периоде, при этом конверсия в отклик осталась такой же, а просмотров - меньше. Поэтому решили оставить текущие решения

Но не все гипотезы мы проверяем с помощью АБ, иногда мы смотрим на эффекты после релиза. Так мы добавили к хедеру раскрытый поиск и решили проверить, стали ли пользователи чаще откликаться на вакансии через эту фичу

Эффект от реализации фичи решили оценивать через 2 основные метрики: CR в использование поиска, CR в заполнение формы в целом и CR из поиска в отклик. После релиза нового функционала мы заметили их рост на 3 п.п. , 0.37 п.п и 3,59 п.п. соответственно. Таким образом, иногда можно обходиться без A/B теста, если есть высокая уверенность в гипотезе, а проведение теста занимает много времени или ресурсов

Что в итоге?

За год мы: 

• Провели более 15 A/B-тестов

• Увеличили конверсию на ключевых шагах 

• Научили команду думать гипотезами

• И, самое главное, перестали бояться ошибаться. Потому что неудачный эксперимент - это не провал, а данные

Вы тоже не бойтесь: не ждите идеальных условий и начните с малого. Даже если гипотезы не подтвердятся, вы уже выиграли, потому что лучший способ узнать, что работает - это попробовать :)