Привет, Хабр! Меня зовут Денис, я работаю продуктовым аналитиком в Delivery Club. Наша команда за последние полгода провела около сотни продуктовых исследований данных, которые способствовали появлению нескольких десятков продуктовых гипотез по улучшению нашего продукта. За это время мы структурировали процесс и минимизировали работу «в стол». Я расскажу об основных этапах исследования, применив которые вы можете значительно улучшить качество своей работы.

Зачем бизнесу аналитические исследования? 

Я думаю, что практически каждый, кто пытался найти вакансии аналитика данных, так или иначе видел в описании фразу «поиск точек роста» или «решать проблемы бизнеса». И вроде бы всем понятно, что это и зачем нужно, но при первом столкновении с задачей исследования данных многие молодые специалисты испытывают трудности. Под аналитическим исследованием я понимаю

сбор данных, их глубокий анализ и представление выводов, понятных заказчикам.

Это могут быть совершенно разные задачи: от понимания, почему в определенный день был всплеск метрики, до точного прогнозирования показателей бизнеса. У всех них одна понятная цель: помочь бизнесу найти оптимальное решение задачи, используя собранные данные. Этапы работы, про которые я расскажу дальше, подходят к большинству подобных задач. 

Алгоритм действий

Этап первый: проблематика

Это самый важный этап. В первую очередь вам нужно встретиться с заказчиком и задать ему простые вопросы:

• «Почему это нужно и важно?»

• «Какую проблему пользователя или бизнеса это решает?»

• «Из-за чего эта проблема могла возникнуть?»

• «Что ты хочешь получить в результате исследования?»

и так далее, в зависимости от задачи. Лучше, если это будет личная встреча или разговор. Чем больше у вас гипотез на руках, тем проще определиться с дальнейшими шагами. 

Польза этапа и в том, что если заказчик не может вам ответить на эти вопросы, то велика вероятность, что проблема может подождать или отсутствует вовсе.

Проанализируйте полученную информацию и ответьте теперь себе на вопросы:

• Важнее ли эта проблема всего остального, чем вы занимаетесь сейчас?

• Что компания сможет сделать с результатами вашего исследования?

• Действительно ли необходимо крупное исследование, или можно ограничиться небольшим ad hoc-исследованием? 

Следующий важный шаг — запишите основные мысли по поводу проблемы в отдельную заметку. Не доверяйте своей памяти и поверьте, что вы ещё не раз вернëтесь к этим записям, чтобы напомнить себе о конечной цели. Мне обычно хватает простой заметки в блокноте, но можно и схемку нарисовать для более масштабных проблем.

Представьте, что у вас повысилась нагрузка на Call Center, бизнес просит найти причины и предложить решение. Пример схемы:

Без выполнения этого этапа вся дальнейшая работа может быть проделана впустую, и не потому, что она будет плохой, нет, просто она может быть про другое. Нечëткая постановка задачи — одна из самых распространëнных ошибок. А ещё точное понимание масштаба проблемы помогает лучше планировать время на еë исследование:

Ещё раз повторюсь, это самый важный этап: одна эта встреча может сэкономить вам часы размышлений или целые дни кропотливой работы.

Этап второй: планирование

Часто случается, что уже во время обсуждения проблемы в голове рождаются идеи, как всë это можно исследовать и какие методы из тех самых статей наконец-то применить на практике. Тут важно не переборщить, а для этого вам нужен план, и вы будете его придерживаться.

Проводить большие, точные исследования круто; ещë круче, когда они приносят пользу бизнесу. А как они могут принести пользу, если вы делаете их месяц или целый квартал? 

Потратьте время на подробное планирование своей будущей работы. Список пунктов, которые вы хотите проверить, уже должен быть у вас после общения с заказчиками, и напротив них запишите, как вы это будете делать, какими методами и в какие сроки. Некоторые простые методы анализа разберëм чуть позже; если же сомневаетесь в том, с какой стороны подойти к проблеме, то посоветуйтесь с коллегами-аналитиками или своим руководителем. К большинству бизнес-проблем уже есть проработанные подходы, так называемые best practices, начните с них.

План может состоять из нескольких блоков:

Аналитики при планировании часто не учитывают пункты «Подготовка» и «Выводы», и это большая ошибка. Посидеть и подумать до начала анализа и после — не менее важные этапы, чем сам анализ. Про это тоже поговорим чуть позже. 

Этап второй с хвостиком: итерации

Этот пункт немного не вписывается в последовательность действий, но он столь же важен. Запланируйте время для дополнительных итераций работы над исследованием. Под итерациями я понимаю повторный анализ после первых полученных результатов, их обсуждение с заказчиками и декомпозицию.

Когда вы тщательно исследуете какую-то проблему, при планировании сложно учесть сразу все нюансы, особенно если ранее вы не работали с нужными данными и методами. После того, как вы проверите данные, проанализируете их и сделаете выводы, обязательно появятся новые вопросы, захочется проверить новые гипотезы. Вместо того, чтобы сразу приступать к этому, лучше запишите их, чтобы обсудить с заказчиками.

В любых исследованиях, особенно крупных, нужно несколько итераций. Их количество должно быть строго ограничено, не стоит весь год посвящать исследованию одной метрики. Каждая последующая итерация должна занимать минимум в два раза меньше времени, чем предыдущая, потому что:

• уже не нужно выгружать и проверять свои данные, вы должны знать их вдоль и поперёк;

• у вас уже есть список вопросов, на которые надо ответить;

• и, скорее всего, вы понимаете, как на них ответить.

Лично мне дополнительные итерации работы над исследованиями нравятся даже больше, чем первый подход, потому что возвращаешься к задаче как к чему-то знакомому, это значительно облегчает восприятие предстоящей работы и ускоряет её выполнение.

Этап третий: исследование

Вернёмся к нашей последовательности действий. Если вы добросовестно отнеслись и выполнили первые два пункта, то исследование уже не должно вам казаться большим и непонятным. Вы точно знаете проблемы, которые исследуете, почему они важны и, самое главное, как будете всё это проверять. Осталось выполнить простые пункты вашего плана в нужной последовательности. Здесь хочу посоветовать несколько основных действий: 

• тщательно проверяйте данные;

• не усложняйте;

• сомневайтесь.

Разберëм каждый пункт по порядку. 

Данные — основа любого исследования. В любом курсе по анализу данных вас будут учить, что в первую очередь нужно проверить их качество. Посмотрите на срезы выгружаемых данных с помощью вашего запроса, нет ли там пропусков, все ли типы верны, есть ли часовые пояса в датах, уникальны ли ID. К сожалению, этот пункт нельзя автоматизировать, в каждой компании свои правила хранения и обработки данных, и пока с ними не поработаешь, всех подводных камней не узнаешь.

Не стоит усложнять без необходимости. Всегда начинайте с простых методов анализа, зачастую визуализация ваших данных уже может дать хорошие выводы. Большинство задач можно решить проверенными методами: корреляцией, регрессией, конверсионными воронкам, когортным анализом и их комбинациями.

Под сомнением я имею в виду не неуверенность в чём-то, а максимальную дотошность. Видите пик на графике — декомпозируйте. Заметили кратный рост метрики у какой-то определëнной когорты пользователей — сравните её по всем метрикам с остальными. Не бойтесь задавать вопросы и сомневаться в данных. Найденная на раннем этапе ошибка может спасти вас от перерасчëта всего исследования в будущем; а может, это вовсе не ошибка, а та взаимосвязь, которую вы ищете.

Ещё одна моя идея: если вы хотите принести пользу для бизнеса или продукта, то сложность ваших подходов, алгоритмов или статистических методов играет не самую важную роль.

Для нахождения инсайтов гораздо важнее понимать поведение пользователей, цели бизнеса и ключевую пользу продукта. Прокачивайте свой business sense, общаясь с коллегами и пользуясь продуктом. Следите за конкурентами отрасли и их решениями. Хорошего аналитика от обычного отличает не количество методов, которые он знает, а умение правильно их применять.

Рекомендую послушать выступление Владимира Абазова «Как мы ищем точки роста в продукте: пошаговая инструкция».

Пара примеров:

1. Задача: хотим улучшить, проверить или понять, почему падает конверсия. Анализ общей воронки будет отличным решением.
   Общая идея: идëм от общего к частному.

   • Строим обычную воронку действий пользователя в приложении. 

   • Ищем в ней самые «проседающие», по нашему мнению, шаги. 

   • Разбиваем эти шаги по параметрам, характерным для вашего бизнеса. Это могут быть местоположение, периоды дня, партнëры или типы услуг. Всë, что важно для вашего бизнеса.

   • Аналогично разбиваем на пользовательские сегменты: новички, старички, лояльные.

   • Также наблюдаем за динамикой этих конверсий по времени, ищем аномалии.

   С помощью такого исследования можно, как минимум, найти и подсветить узкие места общей воронки, а как максимум — устранить явные дефекты продукта и понять, до каких реальных конверсий можно вырастить, просто «подтянув» самые худшие случаи хотя бы до среднего.

2. Задача: понять, за счëт чего растить метрику Х, или определить, что влияет на неë. Регрессионный анализ подойдëт как нельзя кстати. Для этого метода очень важен первый пункт нашего алгоритма. Вам нужно максимально точно собрать список признаков, влияющих на метрику Х. Не забывайт про мультиколлинеарность, выбросы и пустые значения. Очень важно собрать максимум действительно влияющих факторов, чтобы модель получилась максимально полной. В итоге получаем для каждого параметра коэффициенты, по которым можно определить, насколько сильно они влияют на нашу целевую метрику.

   
   Важные замечания про этот способ:

   • У вас должны быть ретроданные, необходимые для расчёта вашей метрики, а также тех метрик, которые могут на неё влиять.

   • Нужно понимать, как работают регрессии и что обозначают их параметры, чтобы правильно потом интерпретировать выводы бизнесу. 

Этап четвёртый: описание

Исследование готово: вы нашли инсайты, объяснили, как вы их нашли и что они значат. Теперь нужно подвести итоги и описать в одном отчёте. Очень важно переводить все найденные точки роста в понятные бизнесу показатели, вернее, чего он может достичь, если послушает вас. Это может быть выручка, количество пользователей или то, на чём ваш бизнес сейчас сосредоточен. Причём лучше, если вы рассчитаете не мгновенный рост, а перспективу на год или два вперëд. 

Мы в команде придерживаемся одинакового оформления аналитических отчётов по нашим исследованиям: в начале описываем основные выводы и самые интересные инсайты, которые удалось найти. Они должны быть весомы, чтобы привлечь внимание заказчиков. Основная мысль: сначала важное, а потом подробности, как в дашбордах.

Вторым пунктом всегда идёт раздел «Что предпринять» (или Call to Action). В нём мы пишем, что конкретно должен сделать бизнес для получения пользы. Например, проверить гипотезу с помощью A/B-теста, или пересмотреть систему мотивации новых пользователей, или добавить всех пользователей в email-рассылку и т.д. Чёткие и понятные действия, в идеальном варианте рекомендуем сразу указывать, кто их должен сделать и кто в этом заинтересован. Не стесняйтесь также написать такой раздел для себя и следующих итераций этого исследования, или идеи для новых.

Этап пятый: презентация

Если вы думаете, что на этом всё, то вы ошибаетесь. Недостаточно просто отправить отчёт заказчикам или опубликовать в Confluence, необходимо его презентовать. Одна из слабых черт многих аналитиков — неумение донести результат своего исследования не только до ваших заказчиков и коллег, но и до всей команды, которая работает над улучшением продукта и ростом бизнеса в целом. Это Last Mile, которой не хватает многим хорошим аналитикам. Организуйте встречу, на которой вы расскажете о проделанной работе и полученных выводах. Для начала поговорите с вашими прямыми заказчиками, так вы сформулируете дальнейшие итерации, после окончания которых вам нужно рассказать об итогах всей компании или заинтересованному отделу.

У нас принята практика Deep Dive-встреч, на которых аналитики подробно описывают весь процесс исследования: какие данные взяли, как их обработали, к каким выводам пришли, почему именно к таким и что нужно делать дальше для пользы бизнеса, а также отвечают на всевозможные вопросы заказчиков. На таких встречах рождается куча новых идей и гипотез, исследования превращаются в последовательность действий для всей компании. Только так можно вырастить культуру Data Driven и действительно развивать бизнес на данных.

А ещё мы с командом ведём свой новостной канал в корпоративном мессенджере, там мы публикуем краткие анонсы и выводы из исследований, различные результаты нашей работы. Таким образом мы привлекаем больше людей к аналитике. Не молчите, особенно если ваши идеи подкреплены данными, не обесценивайте свою работу.

Заключение

Основная идея в том, что если вы потратите немного больше времени на подготовку, анализ и выводы, это принесёт бизнесу гораздо больше пользы от одного исследования, чем от нескольких, сделанных без качественной подготовки.

Давайте подведём итоги и сформируем чек-лист ваших действий:

1. Обсудите и сформулируйте вместе с заказчиками чёткие цели исследования. Важно точно понимать, чего от вас хотят на уровне бизнеса и в какие сроки это можно сделать.

2. Детализируйте свои шаги в виде плана, это поможет не закапываться в исследовании и последовательно прийти к конечной цели.

3. Проведите исследование по плану. Постарайтесь не делать того, чего вы не планировали изначально. 

4. Сформулируйте понятные бизнесу выводы и необходимые шаги, вынесите их в самое начало отчёта. Постарайтесь заинтересовать тех, кто будет читать с самого начала.

5. Организуйте встречу с заказчиками для обсуждения дальнейших итераций и обязательно приступайте к ним в ближайшее время. 

6. После всех доработок постарайтесь донести ваши выводы для всех причастных людей в компании, а не только до ваших заказчиков. 

Полезные ссылки

• Как мы ищем точки роста в продукте: пошаговая инструкция — Владимир Абазов, Delivery Club

• Как сделать проект одним из главных драйверов ретеншена в компании — Иван Люляев, Delivery Club 

• Продуктовая аналитика — Авито

• Logistic Regression Model Fitting and Finding the Correlation, P-Value, Z Score, Confidence Interval, and More