Привет! Меня зовут Дарина Кухтина, я руководитель аналитики в компании, которая разрабатывает мобильные игры, и наставник на курсе «Аналитик данных». В статье я расскажу, зачем бизнес нанимает аналитиков данных.

Ключевые умения аналитика данных

Как говорил мой бывший руководитель: «Задача аналитика — помочь бизнесу принять решение, и в целом неважно, как именно он это сделает». Так что если бы карты таро работали, аналитики бы их использовали. Но предсказывать будущее люди пока не научились, поэтому аналитики работают с инструментами вроде статистики, дашбордов, Python и SQL. Однако владение этими технологиями не делает человека аналитиком, как умение готовить не делает человека шеф-поваром, — этого ждёшь по умолчанию. Для аналитика очень важно пользоваться софтскилами:

• видеть за проблемами бизнеса метрики, 

• критически оценивать запрос бизнеса и результаты аналитики,

• слышать собеседника и строить диалог. 

Так что если хочется уйти в аналитику, потому что сложно общаться с людьми, то шансы на успех стремятся к нулю :) Правильно понятый запрос — половина работы. 

Разберёмся, как это устроено в реальности, на примере A/B-теста — типовой и частой задачи аналитика. Вообще у аналитика, конечно, гораздо больше разных задач, но в этой статье мы будем работать только с этим примером, чтобы не запутаться. 

A/B-тест — это честный способ проверить, как изменение продукта повлияло на метрики. Например, как повлияло на конверсию в клик изменение дизайна интерфейса или стиля рекламного баннера. 

Когда проводят А/В-тест, аудиторию случайным образом делят на две группы (конечно, иногда бывает больше). Первой показывают старый вариант продукта, второй — новый. После эксперимента берут данные о поведении обеих групп и сравнивают их, чтобы определить, какой вариант работает лучше. Для понимания примера этой информации нам хватит, и углубляться в тонкости А/B-тестирования мы не будем —  это точно тема для отдельной статьи.

Представим ситуацию: мы тестировали разные баннеры для рекламы интернет-магазина спортивных товаров: хотели выбрать тот, что приведёт больше покупателей на сайт, увеличит продажи и, соответственно, увеличит выручку. В итоге выбрали баннер и запустили его.

Конечно, это утрированный пример, но на нём лучше видна суть проблем, с которыми сталкиваются аналитики. Такие ошибки часто встречаются и в реальных задачах — поговорим об этом в следующем примере.

Какого результата ждёт от аналитика бизнес

Заказчик ждёт рекомендаций по достижению целей, поэтому аналитику нужно знать основные рычаги влияния на бизнес. Их можно увидеть в разрезе метрик и аудиторий, о которых мы говорили выше. Иногда, увы, цифры бессильны. Но задача аналитика — даже в такой ситуации подсказать бизнесу план действий. 

Чтобы понять, как работают рекомендации, разберём настоящую задачу про A/B-тесты, где данные не смогли помочь принять решение.

Представим ситуацию: заказчик считает, что на рекламном баннере нужно добавить кнопку «перейти». Он ссылается на старые исследования: два года назад именно такой баннер с кнопкой приносил больше кликов, чем обычные. А ещё у него есть гипотеза, что люди просто не знают, что по клику на баннер можно перейти на сайт.

Шаг 1: оценить запрос

За два года могло измениться что угодно: аудитория, оффер или предпочтения посетителей. Также за это время изменились другие части интерфейса, и такой баннер может смотреться хуже. Поэтому, взглянув на ситуацию критически, аналитик предлагает провести честный А/B-тест, а не просто менять все баннеры.

Шаг 2: задизайнить тест

Продумать дизайн теста — значит понять, что с чем будем сравнивать и как измерять результаты. 

В нашей ситуации дизайн будет выглядеть так:

• Какова суть теста? Увеличить количество продаж с помощью баннера.

• Как можно увеличить количество денег? По нашей гипотезе, если поместить на баннер кнопку, больше людей станут кликать на него — увеличится конверсия, и появится больше платящих пользователей.

• Как проверим? Сравним старый баннер и новый и посмотрим, на какой люди кликают чаще. Также стоит посмотреть отток — если людей будет раздражать эта кнопка и они перестанут заходить на сайт, это может негативно сказаться на выручке в будущем.

Также на этом этапе необходимо понять, как долго должен идти тест, вся ли аудитория участвует, и другие технические нюансы эксперимента.

Шаг 3: провести тест

После запуска А/В-теста нужно следить, как он продвигается. Уже в первый день можно как минимум убедиться, что тест запущен: зайти на сайт, посмотреть на баннер, проверить в базе данных, что группы наполняются равномерно. Бывает так, что аналитик приходит за результатами через запланированные три недели, а тест не запустился из-за сбоя. Время потеряно, и всё нужно начинать по новой.

Шаг 4: определить результаты

Многие аналитики, особенно начинающие, считают результатом «победу» одного из вариантов — появление статистически значимых изменений в лучшую или худшую сторону в одной из групп. В реальности статистически значимые изменения появляются далеко не всегда. В нашем кейсе явного «победителя» тоже не было: люди не стали больше кликать на новый баннер, но и оттока не произошло. Было непонятно, какую рекомендацию дать бизнесу. 

Чтобы решить эту задачу, стоит вспомнить, что А/В-тест нужен для надёжного выбора одного из вариантов. Наши результаты говорят лишь о том, что надёжно выбрать на основе данных нельзя. Но можно исходить из других предпосылок: как принято в индустрии, какое решение дешевле в поддержании, как проще масштабировать и так далее.

Мы посоветовались с отделом, который разрабатывает баннеры: они сказали, что на главной есть ещё один баннер с кнопкой, и одинаковые макеты проще поддерживать. Получилось, что тестовый вариант не влияет на метрики, но требует меньше ресурсов, поэтому выбрали его.

Шаг 5: презентовать результат и наметить план действий

Важно зафиксировать изменения, которые произошли в ходе теста, и рекомендации: проводить ли ещё подобные тесты, стоит ли тестировать этот же баннер с новым текстом и так далее.

Чтобы грамотно презентовать результат, важно сфокусироваться на важном и честно представить информацию, а не пытаться показать её в более выгодном свете.

Мы честно написали, что статистически значимых изменений нет, но для простоты дальнейших тестов и поддержания баннеров рекомендуем выкатить тестовый вариант. Заказчик согласился и даже сам сказал, что это сэкономит время дизайнерам, и они смогут сфокусироваться на новых задачах.

Шаг 6: зафиксировать результаты

Мой самый нелюбимый этап :) Кажется, зачем же всё записывать, если выводы уже сделаны, эффективный вариант в продакшене, а дальнейшие действия запланированы? Но есть как минимум три причины:

• чтобы коллеги могли посмотреть результаты задачи и, возможно, применить в похожих кейсах;

• чтобы «будущий ты» не забыл, как получил такой вывод;

• чтобы можно было понять, как баннер пришёл к текущему виду.

Кстати, через полгода эти результаты пригодились, так что всё не зря.

Какие рекомендации давать нельзя

Бизнесу важно иметь план действий, так что рекомендации, которые нельзя реализовать, давать бессмысленно. Например: заказчик хочет увеличить выручку, а в ходе какого-то теста мы выяснили, что средний чек больше у старых пользователей. Мы не можем порекомендовать просто увеличить количество старых пользователей, хотя теоретически это, конечно, поможет увеличить выручку. 

Как стать хорошим аналитиком

Мне кажется, как и в любой профессии, аналитику нужно любить свою работу, критически мыслить и не воспринимать всё на веру. А ещё — искренне хотеть помочь бизнесу и продукту, в котором работаешь. 

Этого не получится, если сам не веришь в продукт и не знаешь его :) Многие аналитики воспринимают продукт как чёрный ящик: там есть нечто, и оно выдаёт данные. Это проигрышный подход: он мешает понимать коллег, давать хорошие рекомендации и иногда заставляет делать лишнюю работу. Иногда один заход в приложение скажет больше, чем все графики и гипотезы, вместе взятые.