В рамках спецпроекта Product Analytics Champions: Лига Ставок разбираемся, почему ошибки в продукте — это нормально, как продуктовая аналитика ускоряет их исправление и как с внедрением Amplitude в Лиге Ставок изменили подход к работе с багами на примере 3 коротких кейсов.

Ошибки в продукте — это нормально

Разрабатывают ли продукт десятки разработчиков или несколько энтузиастов — ошибок скорее всего не получится избежать. При этом пропущенные креши, некорректные ссылки, проблемы с версткой могут влиять не только на снижение продаж, но и отразится на репутации бренда и привести к негативным отзывам. Лояльные пользователи могут написать в поддержку и помочь с решением проблемы, но надеяться только на это не стоит.

Если все ошибки исправить не получается, то можно снизить эффект от них через мониторинг стабильности продукта в режиме реального времени. И Amplitude как система продуктовой аналитики позволяет сделать из оперативного отслеживания неполадок конкурентное преимущество.

Давайте посмотрим на примере Лиги Ставок, как Amplitude меняет работу с багами, позволяет быстрее находить их и в результате повышать лояльность клиентов.

Работа с ошибками в Лиге Ставок

Было: баги вне контекста

Раньше на сайте и в приложении Лиги Ставок собирали данные об ошибках в системах PowerBI, Splunk/Grafana. У такого технического мониторинга было сразу несколько недостатков:

• данные поступали с задержкой;

• ошибки отображались без детальной информации о пользователе и контексте;

• отражались только серверные ошибки;

• для работы с данными нужно разбираться в программировании.

По сути, в этих системах аналитики могли увидеть только количество схожих ошибок. А чтобы их проанализировать, нужно было подключать разработчиков. Как нам уже известно по кейсу о внедрении Amplitude, это могло занимать недели. Так решение ошибок значительно усложнялось и затягивалось.

Стало: баги как часть продуктовой аналитики

Во время внедрения Amplitude аналитики Лиги Ставок c помощью коллег из Adventum вместе с разметкой основных воронок сразу настроили и мониторинг ошибок.

Благодаря этому в букмекерской компании произошел переход от технического мониторинга к продуктовому: у любого сотрудника появилась возможность анализировать ошибки в контексте пользовательского пути и в режиме реального времени.

При появлении ошибки можно посмотреть:

• Параметры пользователя, столкнувшегося с ошибкой — версия приложения, устройство, и т.д.

• Параметры ошибки — вид ошибки, идентификационный номер и т.д.

• Контекст ошибки — на каком экране или после какого действия она произошла.

Чтобы контролировать ошибки в продукте, создали дашборды, где показано отношение успешных конверсий по основных воронкам к неуспешным: можно увидеть, с какими проблемами сталкивается клиент во время прохождения, в каком месте и в какое время.

Если случаются какие-либо аномалии в данных, сотрудник может быстро проанализировать, в чем причина, воспроизвести и оперативно исправить ошибку.

Для нас основной приоритет — совершение ставок, так как это прямая цель нашего продукта. Поэтому нам важно отслеживать, какие ошибки случаются у пользователей на этом этапе и почему. Раньше мы не могли узнать, на какой странице застрял пользователь, а в Amplitude в реальном времени можно посмотреть весь путь клиента.

Алексей Кочанов

Руководитель отдела аналитики в Лиге Ставок

Рассмотрим несколько примеров из опыта Лиги Ставок.

Кейс с текстом уведомлений

Было: ошибки в текстах нотификаций

До внедрения Amplitude у команды Лиги Ставок была только обрывочная информация об ошибках на фронтенде, так как в сторонних системах собирались только серверные неполадки.

Иногда пользователи делали скриншоты и отправляли в поддержку, но этого было недостаточно для оценки масштаба проблемы и исправления всех моментов.

Стало: рост лояльности пользователей

С внедрением Amplitude в Лиге Ставок узнали о целом ряде ошибок на стороне пользователей. В большинстве своем это были уведомления о совершенном (или несовершенном) действии с некорректным текстом. То есть клиент не мог сам понять, что пошло не так.

Команда Лиги смогли выявить все такие ошибки и оперативно поправить, чтобы сделать взаимодействие пользователя с продуктом прозрачнее и в целом улучшить пользовательский опыт.

После этого команда заметила снижение нагрузки на поддержку продукта и рост лояльности клиента.

Кейс с ошибками в воронке регистрации

Было: отток на этапе регистрации

Этап регистрации и верификации в Лиге Ставок строится по большой воронке: пользователю нужно заполнить анкету в несколько страниц, добавить документы, дождаться валидации и пройти еще много шагов, чтобы в итоге сделать ставку.

Как и в любой воронке Лиге Ставок важно удержать как можно больше пользователей на каждом из этапов. Поэтому в компании есть отдельная команда по направлению регистрации и верификации, которая использует данные из Amplitude для поиска и оптимизации узких мест в пути пользователя к созданию аккаунта.

К декабрю 2020 в Amplitude набралось достаточно данных по воронке, чтобы считать их репрезентативными, и именно тогда обнаружились первые узкие места.

Благодаря Amplitude аналитики Лиги Ставок увидели, что конверсия падает уже на первых этапах воронки: по их гипотезе, это происходило из-за проблем в UX/UI части.

Во-первых, на первом экране было большое количество полей и при это в некоторых из них не хватало место для ввода всей информации.

Во-вторых, обнаружилась ошибка на этапе создания пароля — требования были слишком высокими. Это приводило к серьезному оттоку пользователей.

Показатели воронки регистрации до оптимизации:

На скриншоте из раздела Pathfinder видно, что 29,3% из 50% не завершивших регистрацию пользователей уходили как раз на этапе создания пароля.

Стало: рост конверсии на 5,2%

После анализа воронки в Лиге Ставок запустили серию экспериментов:

• Разбили форму регистрации на несколько экранов.

• Снизили требования к паролю.

В эксперименте участвовала когорта пользователей мобильных приложений, пришедших из органики. Также было введено ограничение на прохождение воронки — оценивались 3 дня после первого события .

Вот как изменилась воронка после оптимизации этапов регистрации:

Вот как сократился отток пользователей на этапе генерации пароля:

На этом оптимизация воронки регистрации и верификации только началась. О других итерациях и их результатах мы расскажем в следующих материалах. Подписывайтесь на обновления спецпроекта, чтобы ничего не пропустить.

Кейс с лимитом на вывод денег

Было: call-центр не мог помочь клиенту разобраться с ошибкой

Чтобы вывести деньги из Лиги Ставок, клиенту нужно зарегистрироваться. При этом лимит на вывод денег зависит от степени верификации пользователя.

Почему это влияет на вывод денег: Лига Ставок работает через центр учета букмекерских контор ЦУПИС, который на момент создания заявки на вывод денег сам решает, может клиент совершить операцию или нет. Если центр отклоняет запрос на вывод денег, до бекенда Лиги Ставок не доходит эта информация, а на экране пользователя через API отображается ошибка.

Так появилась ситуация, когда пользователь не может вывести свои средства и не понимает почему. Из-за этой проблемы теряли 10% успешных депозиторов:

Стало: call-центр в реальном времени видит ошибку и помогает ее решить

С помощью дашбордов Amplitude в Лиге Ставок стали в реальном времени видеть клиентов, у которых превышен лимит и по какой причине это произошло.

Доступ к дашборду открыли сотрудникам call-центра. Теперь, если пользователь сталкивается с проблемой вывода денег больше одного раза, ему звонит сотрудник Лиги Ставок и помогает разрешить ситуацию.

С помощью этого подхода в компании сократили потерю успешных депозиторов до 5,79%:

Заключение

С внедрением Amplitude в Лиге Ставок произошел переход от технического мониторинга ошибок к продуктовому. Теперь любые неполадки в продукте и в пользовательском опыте мгновенно отображаются в доступных дашбордах.

Ошибки также перестали быть обособленной информацией, теперь они — часть продуктовой аналитики. Можно посмотреть, кто именно столкнулся с багом, с каким именно и в каком разделе продукта.

Вместе оперативность и полнота данных позволяют быстро определять и исправлять проблемные места в сервисе.

В следующих частях мы расскажем, какие еще проблемы Лиги Ставок помогла решить Amplitude.