В середине ноября наши друзья из Sports.ru запустили курс для тех, кто хочет стать продакт-менеджером мобильных приложений. Среди лекторов – сотрудники Sports.ru, AppFollow, Aviasales, Uber и другие классные ребята. Студент курса kirillkobelev рассказывает нам, как проходило обучение. Сегодня – заметки о том, на какие аспекты аналитики должен прежде всего обращать внимание начинающий продакт-менеджер (по мотивам лекции Олега Новикова из Uber) и как продвигать свое приложение в сторах без бюджета (со слов Сергея Шарова из ASO Desk).

Ранее в серии:

> Часть 1 – кто такие продакт-менеджеры и немного о дизайне.
> Часть 2 – об этапах разработки приложения.
> Часть 3 – о монетизации и управлении командой.

Лекция пятая: аналитика и массивы данных

Если вы стремитесь использовать инструменты аналитики в своих продуктах максимально эффективно, начните с правильной постановки задачи. Недостаточно формально выбрать два-три мощных инструмента – вам придется понять, зачем вы вообще что-то собрались измерять. Удивительно, как мало людей это делает.

Итак, зачем что-то вообще измерять? Варианты ответов:

• Оценка текущего состояния ключевых показателей (KPI);
• Срез состояния бизнеса (dashboard);
• Детальное изучение заданного набора метрик (исследования ad hoc);
• Сравнение разных версий проекта (эксперименты и тестирования).

Очевидно, в жизни каждый из нас использует свое сочетание из списка выше, но если вы поймете, к какой категории измерений относится нужная вам метрика, ваша жизнь станет значительно легче.

И снова про деньги

Неожиданно, но факт: чем дальше от реальных денег стоит метрика, тем меньше она должна вас волновать. В первую очередь стоит измерять непосредственно где и сколько вы зарабатываете, а также где и как вы умудряетесь все это потратить. Затем посмотрите на метрики, косвенно влияющие на деньги. Наконец, в третью очередь… ладно, стоит вовремя остановиться.

Ключевой монетарной метрикой по праву считается Lifetime value (LTV), то есть сколько денег принесет пользователь за все время взаимодействия с продуктом. Показатель этот считается по умопомрачительно сложной схеме: LTV = lifetime * ARPU.

LTV описывает, насколько пользователю нравится работать с вашим продуктом (и как долго он им, вероятно, будет пользоваться), а главное, сколько денег он готов на вас потратить. Этот показатель хорош тем, что от него начинающий продакт-менеджер может самостоятельно, не тратя деньги на МВА, построить минимальную стратегию: либо вы делаете акцент на увеличение срока использования продукта, либо работаете на повышение дохода с каждого пользователя. В идеале, нужно заниматься обоими направлениями, но не будем понапрасну себя обнадеживать :)

Важнейшим немонетарным показателем можно считать Retention rate, то есть долю возвращающихся к вам пользователей. И помните, что привлечение новых пользователей всегда стоит дороже, чем удержание тех, кто уже пришел к вам.

Эксперименты

Помимо сложного выбора, ехать с первой премии на Мальдивы или на Сейшелы, продакт-менеджерам приходится задумываться, например, о соотношении прибыли и инвестирования. LTV позволяет правильно определить объем инвестирования в привлечение новых пользователей. После того, как вы подсчитали затраты, начинайте экспериментировать с разными инструментами привлечения (acquisition).

Любой эксперимент и любое тестирование должно начинаться с гипотезы. Гипотеза фокусируется на одном конкретном параметре или на одном измеряемом эффекте. Другой важный элемент эксперимента – достаточность, то есть то, какой минимальный эффект мы будем считать достаточным, чтобы продолжать работу. Знаете, в чем подвох? Точный ответ на этот вопрос есть только у вас и в ваших конкретных условиях, универсального показателя не существует.

Чек-лист юного экспериментатора

• Параметр, который вы собираетесь менять;
• Гипотеза (если …, то …);
• Минимальный достаточный эффект;
• Уровень статистической значимости и минимальный размер выборки;
• Показатель вероятности, что разница случайна.

Уровень статистической значимости показывает, сколько участников нужно, чтобы эксперимент был признан состоявшимся. Зная размер выборки и аудиторию вашего приложения, вы сможете рассчитать длительность эксперимента.

Если для выбранных параметров вам придется крутить тест полгода, чтобы набрать нужную выборку, скорее всего, вы слишком углубляетесь и время для тестирования пока не пришло.

Для проведения эффективного тестирования нужно распределять на группы именно пользователей, а не их сессии в приложении. Надо ли говорить, что распределение должно быть случайным? Аккуратное распределение можно быстро и недорого сделать средствами Google Analytics или Optimizely.

Если у вас в руках есть база пользователей и нет платных инструментов, захешируйте нужное количество записей из базы и выберите какой-нибудь логический способ распределения (например, все четные / нечетные). Ну и конечно, не забудьте про контрольную группу, чтобы видеть, насколько ничтожны потуги что-то оптимизировать, наблюдать за ходом тестирования.

В тестировании есть много подводных камней, но это не должно умалять его значимости. Просто подойдите к организации очень аккуратно и хорошо представьте, какой результат вы ожидаете. Проверить качество выборки и постановку задачи на тест можно с помощью АА-теста, когда двум группам показывают одинаковые варианты, и вообще-то их результаты не должны различаться ;)

Сколько можно это терпеть?

• Один день, чтобы получить первое впечатление;
• Определенную протяженность эксперимента, чтобы получить статистическую значимость (это самый громоздкий синоним слова “неделя”, который я видел);
• Один бизнес-цикл (возможно, все самое интересное произойдёт в выходные);
• И еще немного :).

Если на период тестирования выпадают важные события вроде выборов или “чёрной пятницы”, результаты могут быть сильно искажены.

Но, допустим, все прошло хорошо и один из вариантов действительно лучше. Значит ли это, что можно прекращать тестирование и, наконец, вернуться к Мальдивам? Думаю, ответ очевиден. Успешный тест дает отправную точку, позволяет углубиться в детали и понять, всем ли стало лучше. Если общий положительный результат достигается за счет того, что кому-то стало значительно хуже, возможно, стоит отказаться от результатов тестирования.

Лекция шестая: оптимизация поиска в сторах

Выше я говорил, что зная, сколько денег приносит вам в среднем ваш пользователь, можно определить уровень инвестиций в привлечение новых людей. Увы, цена платного пользователя постоянно растет, поэтому важно обращать внимание на условно бесплатные инструменты.

Органический поиск почти всегда оказывается максимально эффективным, потому что напрямую отвечает на запрос. И в вебе, и в мобильных сторах поисковый трафик хорошо конвертируется, а пришедшие с него пользователи долго остаются лояльными вашему продукту. Этот тезис подразвеется в следующей лекции, где речь пойдёт о фичеринге, но пока останемся при своем.

Оно мне надо?

Поисковая оптимизация в магазинах приложений решает 3 ключевые бизнес-задачи:

• Увеличение числа установок за счет привлечения более качественного трафика,
• Снижение расходов на привлечение,
• Повышение Retention rate.

Круги ада

Поскольку совсем бесплатно продакт-менеджер никогда ничего не получит, за условно-бесплатную поисковую оптимизацию придется заплатить потом и кровью.

• 70% трудозатрат придется на текстовую оптимизацию, то есть составление семантического ядра;
• Визуальная поисковая оптимизация предполагает работу со скриншотами и видео, иллюстрирующими ваш продукт на витрине магазина приложений;
• АБ-тестирование в сторах позволяет последовательно улучшать выбранные тексты / картинки / креативы.

Важно помнить, что поисковые выдачи в App Store обновляются несколько раз в день; Google Play обновляется один раз в день, но значительнее. Внесение новых данных в аккаунт всегда происходит через новую версию. Apple индексирует это сразу, а Google в течение нескольких дней.

В начале было слово

При составлении семантического ядра есть три основных источника:

• здравый смысл;
• предложение поиска в магазине (каждый термин из первого пункта получит несколько ассоциаций);
• анализ конкурентов.

Точных данных по частотности запросов в поиске магазинов почти нет. Соответственно поскольку количество терминов ограничено, важно точно знать трафик для каждого из них. Лайфхак: есть связанные страны и локализации, и этот список можно использовать, чтобы заливать менее важные кусочки ядра в страны, не являющиеся основными для вашей локализации, но все же индексирующие продукт.



Текстовая оптимизация занимает порядка 70% работы, поэтому важно пользоваться правильным инструментарием: ASODesk предлагает автоматизированный подход, когда список конкурентов вы заполняете руками, а затем программа проходит по сторам и выбирает из базы ключевые слова. Внимание, подарок: введите PRODUCTDEGREE на сайте ASODesk и получите скидку в 5%.

3 сравнительно интересных факта об ASO

• Начинать надо с максимально релевантных низкочастотников, чтобы нарастить устойчивую органическую базу. По мере наращивания скачиваний продукт пойдёт в топ и сможет активно биться в более конкурентной среде.
• Черный поиск дает хороший импульс скачиваний, а потом его уже поддерживает органика. Я вам этого не говорил, но практически все лидеры поиска в тот или иной момент пользовались этим инструментом.
• Поисковые тренды – это локальный инструмент, он привязан к стране и попадание в него дает прирост трафика, но для этого нужно быть в списке рекомендованных приложений и в топе по категории.

Запрещённые приёмы

Формально школьники, выводящие приложение в топ, ничего не нарушают. Они проходят по поисковому термину, забирают нужное приложение и так поднимают его в выдаче. Все же платформы прикладывают массу усилий, чтобы отделить зёрна от плевел и живых школьников от ботов.

Интересно, что сторы выбирают разную тактику защиты: Apple сначала предупреждает, а Google банит налево и направо. С другой стороны, Google позволяет отвечать на отзывы и поощряет за это рейтингом. Карма накапливается сквозь все версии приложения и через какое-то время начинает работать на продукт.

Вбить или не вбить?

Из составленного семантического ядра вам придется выбрать такой набор ключевых слов, чтобы они, включая служебные слова, покрывали максимум поисковых запросов. Изменения нужно отслеживать примерно 4 недели. Затем сравните низшую позицию за две недели до релиза и в течение следующих двух недель после релиза. На основе этой информации можно продолжать пилить описание и готовить следующий релиз. А в следующий раз мы расскажем о бизнес-моделях для приложений и о поиске лучших специалистов в продуктовую команду или как жить в мире без Linkedin.