В этом интервью мы беседуем с сооснователем сервиса SplitMetrics Евгением Невгенем. Компания разработала сервис, который позволяет протестировать такой важный показатель, как конверсия страницы приложения в магазинах Apple и Google. Кроме того, SplitMetrics позволяет выявить ряд факторов, влияющих на решение пользователя об установке. Это позволяет повысить конверсию, изменив описания, картинки или видео об игре. Идея весьма интересная, и благодаря ей, стартапу удалось получить инвестиции, и сейчас компания открывает офис в США.

Надеюсь вы помните, что эту тему мы освещаем не в первый раз. Базовые советы по оптимальному присутствию в магазинах приложений мы уже публиковали в блоге Appodeal. Кстати, не забывайте подписываться.
Что касается интервью, то оно преподносится в следующем формате: «Q:» – вопросы основного интервьюера, «E:» – ответы Евгения Невгеня. Все просто.

Q: Учитывая то, что существенная часть людей о вас уже знает, давай попробуем очень коротко рассказать о компании. Итак, основная ваша задача – это оптимизация посадочных страниц. Первое, что приходит в голову к человеку, который об этом слышит, это вопрос: «Но вы же не имеете доступа в статистику магазина приложений». Что вы делаете?

E: Это довольно-таки частый вопрос. Так вот, мы создаем веб-страницы, которые имеют те же элементы, что и App Store или Google Play. Это веб-страница, размещенная на нашем домене, которая имеет те же элементы и работает по тем же принципам, как и аналогичная страница в App Store или Google Play. Именно на этих страницах мы проводим эксперименты, а посетители попадают на них с рекламы.

Кроме того, что мы занимаемся оптимизацией страниц приложений в App Store, мы еще и предоставляем аналитику поведения посетителей, то есть мы не только отвечаем на вопрос, какую иконку или скриншот поставить, но еще и даем информацию о том, как посетители целевых url ведут себя. То есть, интересуются ли пользователи вашими скриншотами, скролят ли они их, как долго они их смотрят, открывают ли они полноразмерные скрины галереи или смотрят только на миниатюры. Читают пользователи описание или нет. В зависимости от этого можно уже принимать решения и делать выводы о том, стоит ли инвестировать свое время и деньги, к примеру, в перевод описания приложения. Или же лучше сфокусироваться на скриншотах.

Очень актуален сейчас вопрос на счет видео, видео на странице – так называемое app preview. Нужно ли делать это апп превью или нет. У нас есть довольно-таки частый кейс, когда клиенты приходят, задаются таким вопросом, создают какое-то очень простое видео, допустим записывают скринкаст при помощи QuickTime. Затем маркетологи создают эксперимент с видео и без видео и смотрят, интересуются ли посетители, смотрят ли они это видео и как это влияет на конверсию.

Q: Какой объем трафика нужен для того, чтобы сделать правильные выводы?

E: Это зависит от конверсии в App Store и в целом от того, насколько активно посетители переходят по рекламе, и как они интересуются. То есть очень сильно зависит от таргетинга.

Q: Да, понятно. Если это узконаправленное приложение, ему понадобится больше трафика, чтобы увидеть какие-то действия.

E: Или же наоборот. У нас часто были такие кейсы, когда конверсия на в App Store была очень низкая, потому что приложение было слишком широкое. К примеру, кейс с конкретным, предельно понятным приложением, например с оффлайн-картами, у них конверсия очень хорошая. У игр конверсия так себе, потому что конкуренция в этом сегменте очень высокая. У фото-приложений, так как это тоже такая широкая тема и приложений много, тоже конверсия так себе. В целом, мы рекомендуем направлять по тысяче-полторы посетителей на каждую вариацию. На тесты двух вариаций соответственно около трех тысяч. Если же у вас высокая конверсия, вам понадобится намного меньше.

Кстати, не обязательно покупать трафик, допустим рекламу. Большинство наших клиентов закупает трафик в Facebook. Там трафик, конечно, очень качественный, таргетированный, но, мягко говоря, не самый дешевый. При этом есть другие решения, другие платформы для привлечения трафика, и достаточное количество наших клиентов используют кросс-промоушен, то есть рекламу из других приложений для таких экспериментов. Это тоже вполне работает и позволяет сэкономить на трафике, на рекламе.

Q: А есть какие-то ограничения, подводные камни? Какие приложения не подойдут для тестирования?

E: В принципе то, что я уже сказал: если приложение не слишком привлекает пользователей, может возникнуть проблема – понадобится очень много трафика для анализа конверсии. Некоторые наши клиенты изначально не могут это предположить, запускают первый эксперимент и понимают, что нужно очень много трафика, а они не могут такое количество найти. Наверное, это единственная более-менее заметная проблема.

Q: Какой обычно стартовый бюджет на тестирование?

E: Сложно ответить на этот вопрос. Я думаю, от 100-200 долларов и выше, но это очень приблизительно.

Q: Ок, порядок ясен. Давай вернемся к вопросам, которые могут беспокоить разработчиков в механике вашей работы. Что происходит с пользователями, которые приходят на тестовую страницу приложения? Они же приходят и считают, что попали в каталог.

E: Естественно, это, в общем-то, основополагающий, главный принцип сервиса – пользователь не должен знать, что участвует в эксперименте. Когда посетитель приходит, ему уже выделяется какая-то одна вариация, то есть других вариаций он увидеть не может. Он не знает, что участвует в тесте, и ведет себя так, как вел бы себя в обычных условиях. То есть для него это и есть обычные условия. Он изучает страницу и принимает решение: либо устанавливать приложение, либо не устанавливать.

Собственно, в этом и заключается эксперимент: посмотреть, установит он приложение или нет. Что касается того, что это не App Store, это веб-страница, которая сделана так, что пользователи не отличают ее от магазинна приложений. Мы проводили исследования и заметили, что пользователям все равно. Они видят знакомые для себя элементы, они видят иконку, скриншоты, которые точно так же скролятся.
Тут есть один момент: изначально мы делали другие дизайны магазина приложений. То есть тестовая страница была менее похожа на App Store и Google Play, но пользователи все равно вели себя так, как им это было привычно.

Второй интересный момент: если закупать трафик, допустим, в Facebook, то в Facebook-е url открывается в веб-вью, в нативном приложении, то есть не происходит перенаправления в «Сафари», в другой браузер, и для пользователей Facebook страница, в принципе, выглядит очень похожей на каталог. Если бы я в этой теме особо не разбирался, я бы просто не заметил, что это не App Store.

Еще хочется сказать, что мы не собираем никаких личных данных пользователей. Все данные обезличены и деперсонализованы. И мы не собираем ни паролей, ни кредитных карт, у нас даже не происходит установка приложения. Мы только производим тест и после этого отправляем пользователей в настоящий App Store или Google Play, где они могут совершить покупку или установить приложение бесплатно.

Q: Я как раз намекал на последний момент. А нет ли негатива, связанного с тем, что пользователь приходит, грубо говоря, в App Store, а потом попадает в него же еще раз?

E: 30 % посетителей на этом этапе откалывается. Когда они все-таки увидели еще раз App Store, некоторые уходят. Я, кстати, читал исследование, что даже когда App Store просит пароль – вот пользователь захотел скачать приложение, нажимает «скачать», ему говорят: «Введи Apple ID или пароль от Apple ID», – то тоже около 30 процентов пользователей отваливается. Просто из-за того, что показывается дополнительный диалог, где нужно сделать какое-то действие.

В нашей ситуации примерно такая же история: когда пользователь просто видит еще раз, что ему что-то нужно сделать, некоторая часть посетителей уходит. Плюс определенная часть отваливается из-за слабого Интернета при перенаправлении на App Store. Но наша главная цель – не заставить пользователя скачать приложение в каталоге приложений, а понять, как сделать так, чтобы пользователь скачал приложение в настоящем магазине. То есть – провести эксперимент.

Q: Хорошо, еще вопрос. Допустим, я новый разработчик и хочу оптимизировать свою страницу. Почему мне стоит потратить деньги на A/B-тестирование своего приложения вместо того, чтобы идти и слушать общие советы – мол, видео полезно, оно для всех работает, добавьте его на свою страницу.

Вот Rovio, допустим, прошли с вами огромное тестирование. Представим, что они взяли и выпустили на «Хабре» статью о том, как лучше оптимизировать представленность своего приложения в App Store, на своем опыте, со своей статистикой. Насколько будут отличаться советы разным приложениям из разных тем с разной целевой аудиторией?

E: Такие вот советы, гайды, статьи очень хороши для того, чтобы пополнять список гипотез, но не для того, чтобы делать решения. Почему? Потому что даже сами Rovio для себя сделали большое открытие. К примеру, они (да и большинство других разработчиков игр) всегда использовали горизонтальные скриншоты.



Ранее считалось, что так нужно делать потому, что, скорее всего, геймерам так привычнее, им так удобнее изучать гейм-плей на фулл-скрине. И по другим тестам Rovio мы увидели, что они часто использовали горизонтальные скриншоты. Во второй части Angry Birds они решили просто проверить: а что будет, если скриншоты сделать вертикальными?



И оказалось, что именно для этой игры лучше работали вертикальные скриншоты. У нас тоже была некая гипотеза, что как раз потому, что Angry Birds – это такая игра, в которую могут играть даже люди, очень далекие от понятия «геймер». Например, я свой смартфон практически всегда держу вертикально, горизонтально очень редко, если только видео смотрю.



Хочу сказать, что советы других людей – это отлично, но нужно проверять все на своем приложении и на своей целевой аудитории.

Q: Этот кейс очень нагляден, становится понятно, зачем проводилось тестирование. Есть ли еще какие-то эксперименты, которые привели к позитиву, о которых можно сказать, или это тайна?

E: Сейчас в голову ничего особо не приходит. У нас был тест с крупным продавцом авиабилетов. Там суть была в том, что эта компания сделала видео, которое почти никто не смотрел.

То есть опять-таки возник вопрос: почему? Мы сделали вывод, что так произошло потому, что тест делали на Россию, а в России их уже многие знают и если кто-то приходит скачивать приложение, то пользователь не будет отвлекаться – ему нужно приложение. Пользователю в России не слишком важно это видео смотреть – все знают, что это приложение для покупки билетов. Какой может быть там сюрприз внутри?

Но в то же время интересно, видео очень часто увеличивает количество скроллов и просмотров скриншотов. Если мы говорим про App Store, то видео ставится на место первого скриншота. И посетители проматывают этот первый скрин, чтобы увидеть другие, вовлекаются в процесс скроллинга, скролят дальше. Такое поведение пользователей было подтверждено в наших тестах. Возможно, есть и другие примеры, но у нас получилось именно так.

Q: Вот попробую навести на мысль, может быть, вспомнится какой-то кейс. В моем опыте, когда проводились тестирования, например, с каким-то контентом в соцсетях, иногда получалось, что какой-то плохой контент, очевидно плохой, входит необычно хорошо. Например, если поставить фотографию приготовленного в домашних условиях салата оливье и красивый салат оливье, сделанный шеф-поваром, то лучше сработает первый, потому что внешний вид «домашнего» салата ну очень узнаваемый. Не нужно, чтобы он был идеально красивый.

Или другой пример: в «Одноклассниках» иногда лучше работают тексты, написанные капсом, хотя они ужасно выглядят. Но такой текст берет и срабатывает лучше на конверсию. Вот, может быть, есть аналогичные примеры, когда какая-то вещь, которая не должна была сработать, взяла и сработала?

E: Сходу приходит в голову даже не отдельная история, это в принципе такой частый подход, когда дизайнер решает поменять текущие скриншоты приложения на более свежие, профессиональные. Он делает минималистичные скриншоты: например, просто айфон и сверху надпись. Дизайнер-то рисует скриншоты на своих 27 дюймах, и делает шрифт, сексуальный айфон, скриншотик и все. Но часто бывает так, что новые скриншоты работают хуже именно за счет того, что дизайнер считает, что все должно быть очень просто, очень минималистично. Но иногда эта штука не срабатывает. Это очень сильно зависит опять-таки от аудитории. Ты вот говоришь про «Одноклассники». Дизайнер иногда не думает о том, что больше половины посетителей могут не открывать фулл-скрин галерею скриншотов и они просто не смогут прочитать текст – слишком мелкий, на миниатюрах его не видно, он плотно сливается.

Но это не универсальный совет, так бывает далеко не всегда. Если посмотреть у Instagram скриншоты – у них вообще проще некуда. Кусочек интерфейса и сверху текст. Но Instagram-то, он же узнаваемый, известное приложение.

Вообще нужно делать скриншоты такими, чтобы, когда посетитель посмотрел буквально секунду, полсекунды, он за что-то смог зацепиться глазом.

Q: Если нас читает владелец какого-то приложения, который пока не занимался тестированием – возможно, его приложение еще не вышло, он думает, как ему его запускать. Что ты рекомендуешь, идти сразу к вам и запускать бета-тестирование или сначала почитать какую-то литературу? Может быть, ты порекомендуешь, что читать на тему правильного оформления помимо публикаций, которые можно найти в нашем блоге?

E: Во-первых, хочу сразу отметить, что мы позволяем проводить тестирование еще до того, как приложение вышло в App Store. Вот основные задачи нашего сервиса: первая – определить, какая иконка, скриншот лучше, второе – это анализ поведения пользователей, а третья, очень интересная часть, – это то, что наш сервис позволяет владельцам приложений, владельцам стартапов лучше понимать свое позиционирование.
У нас был такой кейс, и не один за последнее время, когда к нам приходили клиенты, у них был продукт, была идея продукта, но они не знали, как правильно его позиционировать на рынке. И для таких случаев можно запускать тесты еще до выхода приложения, до вывода его в каталог. Тогда при нажатии на кнопку «скачать» в App Store или Google Play на нашем лендинге будет выходить диалог, что приложение еще пока не доступно, но вы можете оставить свой e-mail, и мы вам сообщим, как только оно выйдет.

С одной стороны, собирается тестовая база пользователей перед запуском, с другой – уже можно проводить тесты. Что очень важно – это попытаться понять свою аудиторию: какая это аудитория, какой здесь таргетинг. Перед этим очень сложно делать какие-то тесты, потому что трафик будет очень дорогим из-за отсутствия таргетинга. Такие тесты могут позволить лучше понять, какая аудитория как себя ведет и какая аудитория более заинтересована в вашем продукте.

Q: Но для того чтобы начать тесты нужно все равно сделать ряд страниц, то есть нужны гипотезы, нужны базовые варианты. Здесь что-то порекомендуешь? Куда пойти людям, чтобы подготовиться?

E: Нужно показать все возможности продукта. И самое главное в презентации своего продукта в каталогах приложений – показывать, какую пользу принесет это приложение клиенту. Грубо говоря, почему жизнь пользователя станет лучше и счастливее после того, как у него появится это приложение. У меня лично такой подход.

Q: Хорошо, с этим ясно, давай посмотрим на потенциальное будущее. Во-первых, поздравляю с получением инвестиций.

E: Спасибо!

Q: Какие планы на дальнейшее развитие?

E: Ох, планов громадье. Если кратко, то мы строим платформу для мобильных маркетологов, не разработчиков. Чтобы они могли получать максимальное число установок в наше тяжелое время, когда CPI стремится к бесконечности. Мы можем показать, как выжимать из уже текущих рекламных кампаний максимум, как выжимать максимум из других каналов. То есть это всяческая оптимизация процессов получения пользователей. Пока реализация этого проекта – секрет.

Q: Вы быстро растете и помогаете клиентам оптимизировать представленность каждого приложения. Удается справляться сейчас?

E: Мы позиционируем себя как self-service платформа, то есть мы ни в коем случае не агентство и, естественно, у нас есть саппорт, который поддерживает наших клиентов. Тем не менее мы делаем все так, чтобы пользователь смог без проблем справиться сам, максимально все автоматизируем. Пришел пользователь в любой момент времени, хоть ночью, сам запустил эксперимент, сам сделал выводы, сам принял решение и залил свое приложение в App Store. Нам, конечно, уже тяжеловато, потому что клиентов, уже много. С другой стороны, мы инвестируем в продукт, чтобы он был еще более понятным.

Q: Отлично, было очень интересно обсудить эти вопросы. Желаю продвигаться дальше и надеюсь, что клиенты Appodeal смогут извлечь максимальную пользу из вашего сервиса.