Привет Хабр!

Хочу сделать небольшое отступление перед основным постом. Я увидел ваши комментарии к прошлой статье, так что буду стараться улучшать качество текста, чтоб его было ну как минимум проще читать чем 2 моих прошлых.

Конец отступления.

Две недели назад я выложил свою игру в двух местах сразу, в MAX и немного позже в каталоге мини-приложений VK. Игра простая Wordly, думаю всем вам она известна и задача у нее простая, просто каждый день угадывать загаданное слово.

За две недели игру открыли 525 разных человек. Из них 263 пришли из VK, 165 из MAX, ещё 97 через прямую ссылку в браузере. Если судить по этим цифрам, то VK у меня самая успешная площадка, и первые дни я так и думал.

Но тут появляется одно большое НО, возврат на следующий день у игроков из VK равен нулю. При чём ноль человек возвращаются каждый день, с того момента, когда там вообще кто-то появился. А у MAX за тот же период возврат держится около 36%, это примерно 59 человек из 165.

Я смотрел на график роста и радовался

VK десять дней вёл себя как мёртвая площадка: 11 августа один человек, 13 августа ещё один, дальше тишина. Но с 18 августа пошёл рост, сначала пять человек, потом семнадцать, потом сорок пять, потом сто двадцать семь за один день.

Ничего для этого я не делал. Не постил, не рекламировал, никому не писал. Алгоритм каталога VK в какой-то момент решил сам показывать мою игру чаще, и трафик поехал вверх. Если честно, то ощущение при виде такого графика довольно приятное, и следующие пару дней я в основном проверял, насколько ещё вырастет.

Ошибка была ровно в этом, так как я в основном смотрел на количество открытий, потому что это была самая заметная цифра на дашборде, а заметность и полезность метрики совпадают редко. Да-да, я в начале не смог найти где мне статистику в VK смотреть, и поэтому написал себе свою, но уже сути не меняет.

Разделил в графике источники и увидел три разных продукта

Сводная цифра в 525 человек описывает три совершенно разные ситуации, слепленные в одну строку.

Человек из MAX приходит по ссылке, которую ему кто-то прислал, или из канала, на который он подписан. У него есть контекст: он знает, что это за игра и почему ему её показали. Человек из каталога VK листает список мини-приложений, видит иконку и заголовок, тыкает. Контекста нет никакого, кроме самой иконки. Третья группа, это 97 заходов через голую ссылку, вообще смешанная: там мои собственные тесты, заходы с десктопа и, скорее всего, пара ботов-сканеров.

Пока эти три группы лежат в одной цифре, любой вывод из неё бессмысленный. Как только я разложил их по источникам, картина изменилась на противоположную:

VK прислал в 1,6 раза больше людей и дал в 2,2 раза меньше игроков. Из 263 человек, открывших игру из каталога, 222 не сделали ни одной попытки угадать слово.

Проверил, не врёт ли счётчик

Первое что пришло мне в голову при виде ровного нуля – сломалась аналитика. Живые люди так ровно себя не ведут, зато баг в подсчёте выглядит именно так.

Я проверил три вещи: Считается ли возврат по одному и тому же идентификатору пользователя (да, id устойчивый, он приходит из подписанных данных платформы и не перегенерируется между сессиями).

Не теряется ли метка источника при повторном заходе (нет, она пишется в профиль игрока один раз при первом визите и дальше не переписывается).

Есть ли вообще в базе хоть один игрок из VK со вторым визитом (нет).

Следовательно делаем вывод, что счётчик работает, просто люди действительно не возвращаются.

Попробовал понять, в чём дело, и до сих пор не уверен

Дальше начинается то, чего я не знаю точно, и врать не буду.

Гипотеза первая: каталог гонит случайный трафик. Человек листает витрину мини-приложений, ему показывают всё подряд, он тыкает во что попало из любопытства. Такой заход почти по определению одноразовый, и ноль возврата тут вполне ожидаемая цифра. Никакого сигнала о проблеме в ней тогда нет.

Гипотеза вторая, менее приятная: первые тридцать секунд игры у меня объяснены хуже, чем кажется изнутри. Игрок из MAX приходит уже с контекстом и переживёт неудачный онбординг, потому что он уже понимает, зачем пришёл. Игрок из каталога такого запаса терпения не имеет: не понял за полминуты, что тут делать, закрыл и не вернулся. Если это так, то каталог исправно показывает мне то, чего я не вижу на собственной аудитории, и никакого мусора там нет.

Гипотеза третья: техника. Часть игроков из VK могла попасть на баги, которых я не видел, потому что мини-приложение внутри VK живёт в другом окружении, чем внутри MAX. За две недели мне трижды приходили скриншоты со сломанной вёрсткой с одного старого телефона, и все три раза я не воспроизводил проблему у себя. Сколько людей просто закрыли игру, не написав мне ни слова, я не знаю по определению.

Проверить это можно только разделением: показать части новых игроков из VK другой первый экран и сравнить возврат. Выборки в 263 человека для этого мало, поэтому жду, пока наберётся хотя бы тысяча.

Переставил на дашборде то, что смотрю первым

Практический вывод из этих двух недель у меня получился про собственный дашборд, при том что начиналось всё с претензий к VK.

Метрика «сколько человек открыло» бесполезна в одиночку. Она красиво растёт, её приятно показывать, и она ничего не говорит о том, есть ли у продукта пользователи. Я держал её на главном экране дашборда просто, потому что её проще всего посчитать.

Сейчас на главном экране висит другое: возврат на следующий день, отдельно по каждому источнику. Цифры там гораздо скромнее и растут гораздо медленнее. Зато когда такая цифра растёт, это означает, что людям стало интереснее возвращаться, и никакого другого объяснения у неё нет.

Отдельно я перестал считать сводные показатели по всем источникам разом. Средний возврат по всем трём каналам у меня 11%, и это число не описывает ни одну реальную группу игроков: ни тех, у кого 36%, ни тех, у кого ноль. Среднее между работающим и неработающим каналом даёт цифру, по которой невозможно принять ни одного решения.

Досчитал до вывода, который сам же готов оспорить

Бесплатный алгоритмический трафик из каталога площадки может стоить ровно ноль, при этом делая ваши графики красивыми. Хуже того, он активно мешает, то есть пока на дашборде растёт большая цифра, нет ощущения, что что-то не работает.

Слабых мест у этого вывода минимум три. (P.s. Да у меня всё по 3)

Две недели и 263 человека – небольшая выборка. Ноль на такой выборке статистически отличается от, скажем, 2% не так сильно, как хотелось бы. Правда и то, что 0 из 263 при ожидаемых 36% выглядит слишком ровно для случайности.

Каталожный трафик вполне может быть полезным, просто требующим другой воронки: раз человек пришёл без контекста, его надо этим контекстом на месте и обеспечить. Возможно, моя ошибка в том, что я показываю обеим группам один и тот же первый экран.

Самое неудобное для меня: возможно, дело просто в игре. Ежедневный вордли на русском вряд ли тот продукт, ради которого возвращаются на следующий день, если ты не пришёл в него осознанно. Проверить это можно только на другом продукте, а другого у меня пока нет.

Через пару недель у меня наберётся выборка побольше, и я вернусь с новыми цифрами. Если ноль удержится и на тысяче человек, значит расти вширь за счёт каталога бессмысленно, пока не починено что-то внутри. Если возврат появится, значит проблема была в объёме, а я поторопился с выводами на маленьких числах.

Если у кого-то есть свои цифры по каталожному трафику из VK или похожих витрин мини-приложений, мне правда интересно, как было у вас, особенно в начале. Я нашёл на эту тему только общие рассуждения про качество трафика, без конкретных чисел по конкретным каталогам, и до сих пор не знаю, попал я в типичную ситуацию или в собственную.