Статья не претендует на научность, а просто рассказывает, как бывает в жизни, когда уже прошел все курсы, проверил разные гипотезы, но все еще получаешь новый опыт. На моем примере вы увидите как не нужно «впиваться» в конкретную фичу и биться с ней до конца, отпускать — это нормально, ошибки — это нормально.

Контекст 

Речь пойдет про мобильное приложение букмекера, где пользователю в любой момент доступны тысячи событий, десятки тысяч маркетов (победа, фора, тотал) и еще больше исходов — коэффициентов на которые ставит пользователь.

Все события можно поделить на 2 типа: live и прематч. Live’ом мы называем события, которые происходят в реальном времени, прямо сейчас по всему миру. Для них у нас есть видеотрансляции и статистика в реальном времени. Все это еще больше погружает пользователя в игру и добавляет эмоций.

Помимо Live событий, ставку можно сделать на прематч. Это те события, которые еще не случились. Крупные спортивные соревнования, такие как чемпионат мира по футболу появляются задолго до начала и привлекают аудиторию игроков за много месяцев.

Далее мы поговорим про Live события.

Вспомните себя

Что вам нравится больше в спорте?

• Футбол, в котором забивают голы или счет 0:0 в конце 90 минуты

• Хоккей, в котором залетает по несколько шайб за период или фигурное катание с шайбой

• Уверенное лидирование Ферстаппена или напряженная борьба Reb Bull с Ferrari

Не удивлюсь, если вы выберете первый вариант во всех случаях.

Но как найти «живые события», за которыми будет интересно наблюдать, болеть за команду и заключать интригующие пари?

Как раз эту гипотезу мы и начали проверять.

???? Гипотеза

Если мы поможем пользователю находить «живые» события, в которых происходит что-то интересное, тогда он с большей вероятностью будет в них заходить и заключать пари, что повлияет на наши метрики (в данной истории метрики не главное, мы опустим их для простоты).

Начинаем с аналитики

Часто, когда в событиях происходят опасные ситуации: забивают гол, бьют пенальти, получают карточку, отправляют на скамейку запасных или удаляют игрока — коэффициенты значимо обновляются. В это время пользователю не доступно совершение пари, а на карточках мы так и пишем: «Событие обновляется».

На момент эксперимента у нас не было качественной разметки таких кнопок, но мы смогли добыть немного информации:

• Посмотрели количество переходов в такие события

• Посчитали конверсию в ставку (после того, как коэффициенты возвращались к торгам)

• Узнали количество пользователей, которые переходят в такие карточки

По всем признакам мы можем прибавить в целевое действие.

Наша гипотеза проста в разработке, нужно переименовать кнопки и написать несколько условий. Проведя PBR с командой, получаем набор таких ситуаций и названий. Решаем сделать A/B тест 50/50 и посмотреть, что будет. Докидываем заодно и более качественную разметку событий.

Результаты получаются вот такими:

Мы и правда смогли направить внимание пользователей на события, где с большей вероятностью происходит что-то интересное.

Но, получив более качественную разметку, замечаем, что большинство кликов приходятся на 0 минуту и 90, когда событие только начинается и заканчивается.

Добавим еще пару условий, и попробуем убрать бесполезные переходы в карточку, когда с ней нельзя ничего сделать.

Что же, уже интересней, идем смотреть метрики.

Переходы в карточку со статусом «Окончание события» падают, а это как раз то, что нам было нужно. Пользователям незачем туда заходить, мы не тратим их внимание и время в приложение зазря, ставку там сделать не получится.

Смотрим еще раз на конверсию в ставку из карточек с «Опасный момент!» и немного расстраиваемся. Статистически значимого результата здесь не будет. Самой формулировкой мы не смогли значимо повлиять на продукт, но зато существенно сократили переходы в те карточки, которые уже точно не дадут ставок, а это тоже отличный результат.

Некоторые выводы:

1. На разработку и проверку было потрачено мало времени, но благодаря этому опыту мы больше узнали о наших пользователях, получили аналитику и поняли, что можем управлять вниманием пользователя схожими механиками.

2. Мы нашли улучшение там, где неверное и не нашли бы, если не решили проверить данную гипотезу. Ошибаться — нормально, не ошибается тот, кто ничего не делает.

3. Стоило ли делать предварительную долгую системную аналитику для этой задачи, чтобы заранее продумать все статусы и переходы, предусмотреть разметку и т.д. Нет! Зачем? Большого профита мы здесь явно не получили бы, а проверяя гипотезу в лоб, особо ничем не рисковали. Win - Win.

4. Самое печальное, что кнопку «Опасный момент» нам все же придется заменить на старую «Событие обновляется», так как пока мы еще не научились на 100% попадать в действительно опасный момент, и статистически значимо увеличить конверсию в ставку. При этом, иногда мы получаем гневные комментарии в поддержку от пользователей так как понять что за опасным момент произошел в событии они все еще не могут.

5. Надеюсь эта небольшая статья поможет вам находить плюсы, экспериментировать и получать опыт даже не в самых удачных гипотезах.