Готовлюсь к собеседованию по аналитике, решил прочитать все кейсы про аналитику в блоге Mixpanel (48 статей), а заодно опубликовать сжатые переводы здесь.

VSCO - приложение фоторедактор. 30 млн. пользователей. 

Продукт собирает километры логов, но пользоваться этим невозможно. Данные разрозненны, противоречивы, а иногда просто неверны. Нет документации, чтобы построить отчет нужно спрашивать “старожилов” куда смотреть. 

По мере роста компании дела не становятся лучше, что делать продакту?

Легкого пути нет

В компании выделили команду инженеров, которые несколько месяцев фокусировались на метриках. CPO Мэт Тернер вместе с CTO Стивеном Тангом прошли по каждому отслеживаемому событию с вопросом - надо ли это трекать команде c-level? А команде продукта? Разработке? Продажам?

Что сработало

• Удалить непонятные метрики

Важно все означает не важно ничего. Изначально в продукте трекали все события, позже оказалось, что на них никто не смотрит. Например одно из самых популярных событий в системе было “настройка установлена”, при этом никто не знал что это за настройка. Все “я не знаю” события удалили.

• Уплотнение

Каким образом мы можем включить одни события в другие, более простые/важные события? Создали отчеты с более высокоуровневыми, но показательными событиями.

• Усреднение

Например у фотографии есть много настроек - экспозиция, сатурация, контраст... оказалось что не надо трекать время каждой настройки, достаточно знать среднее время настройки фотографии, чтобы понять насколько хорошо работает фото-редактор.

• Точность

Отслеживание метрик не было главным приоритетом при разработке. Фичи дописывались а аналитика оставалась старой, часто не точной. Команда инженеров несколько месяцев работала над этим тех. долгом.

• Документирование

Вначале компания была командой из 6 человек в одной комнате, по мере роста потребовалось хорошо документировать метрики, чтобы новые коллеги могли пользоваться.

Как продать аналитику внутри компании

Ок, система аналитики налажена, и с-level умеет ей пользоваться, как внедрить data-driven культуру в остальных отделах, вот что сработало:

• Не давать аккаунт в Mixpanel, пока человек не попросил.

Надо подождать пару минут пока человек не задаст вопрос, на который можно ответить данными. А потом показать ему, как найти ответ в Mixpanel. Большинство людей скажут: “а что, так можно было? А можно мне тоже аккаунт сделать?”

• Большие презентации на 50 человек не работают.

Люди стесняются задавать вопросы, чтобы не тратить общее время.

• В малых группах или 1-на-1

Человеку не нужно знать все о системе, ему достаточно найти ответ на свой вопрос.

VSCO не единственный пример. С ростом компании отслеживать метрики становится сложнее, больше ошибок. Особенно если аналитика не была приоритетом во время первого бурного роста. Все мы можем оказаться в такой ситуации, но для системного и планомерного роста продукта все равно понадобится точная система метрик.

Если вам удобнее читать меня в Телеграме, вот ссылка на канал.