Когда-то мы договорились внутри компании, что будем запускать фичи в приложении под A/B-тестами. Но всё равно были вещи из серии «да это же очевидно, что так нужно сделать». Вот история одного из самых долгих и крупных «да это же очевидно», помешавшего в итоге пользователям.

Итак, люди покупают у нас билеты. Мы зарабатываем на том, что делаем покупку на любой вид транспорта удобной и быстрой — быстрее, чем обходить несколько сайтов и возиться со вводом данных там. Но первая покупка самая сложная, потому что нужно повозиться со вводом данных у нас. Мы решили, что можно добавить обработку фотографии паспорта с камеры, чтобы ускорить ввод данных:



Возможность появилась в нашем флагманском приложении в 2019 году. Реализована она была через партнёра Smart Engine, решение Smart IDReader. Вот их публикация про применение этого SDK. Партнёра выбирали после долгих тестов: этот обеспечивает очень хорошее качество распознавания и готов юридически на все необходимые процедуры по передаче и защите данных. Они поставляли такие решения чуть ли не таможне.

Сначала подключили фичу только на авиабилеты и начали смотреть, что получается. Важно то, что это была одна из последних фич, когда не было возможности проводить A/B именно в приложении, мы использовали последовательные тесты на iOS/Android и A/B-тесты на вебе. Пока мы узнали только то, что конверсия не падает, а сканирование паспорта использует 10,1% iOS-юзеров и 8,2% Android-юзеров. Всё выглядело хорошо, и мы начали раскатывать фичу дальше.

Раскатка дальше

Тут важно сказать, что чем больше сканирований, тем дешевле единичное распознавание по условиям партнёра. Соответственно, мы раскатали на весь пул пользователей, получили сладкие цены и через некоторое время сделали ещё один контрольный замер после релиза. Тоже всё было хорошо. Единственное, что несколько удивляло, это то, что доля внесения правок после сканирования на Android была 83,7%, на iOS — 28,9%. Видимо, речь про не самые хорошие камеры или плохое взаимодействие софта и камеры. Но люди пользовались фичей, и вроде всё было отлично.

Через 2 года нужно было продлевать пакет, и мы решили посмотреть, а что же там в A/B-тестах, благо такая возможность в приложении на тот момент уже давно была. Идея была в том, чтобы понять, насколько увеличивает конверсию такой быстрый и удобный ввод документов и сколько это вообще создаёт добавленной стоимости продукту.

Запустили ухудшающие A/B-тесты (скрывающие от пользователя часть функционала).

Получили результаты.

Удивились.

Выключили фичу.

Результаты тестов

Без сканирования: +8,7% продаж на новых железнодорожных билетах. Это лучший прирост конверсии за 3 года: нужно было просто выпилить фичу, в которую мы все верили.

Но при этом есть сегмент, где рост значимый: это авторизованные пользователи, у которых ещё нет данных в списке пассажиров. То есть это те люди, которые прежде чем покупать, решили зарегистрироваться. Надо сказать, что мы не требуем для покупки у нас сначала регистрироваться, а используем «мягкую регистрацию» — заводим личный кабинет автоматически, уже после первой покупки. Это самый популярный сценарий регистрации у нас. То есть тех, кто регался вручную, не очень-то много.

Если выделить только те сегменты, где фича сканирования паспорта давала прирост, то получалось не так уж и много людей, чтобы включать сканирование только для них — напоминаю, цена операции зависит от размера пакета. Поэтому мы глобально отключили фичу вообще везде.

Выводы

Мы узнали, что первые тесты вообще даже близко не показывают, как фича будет работать на большинстве юзеров (спасибо, Капитан Очевидность, но тогда мы тестировали именно так). Мы добавили сквозные метрики ко всем коммерческим фичам, показывающим, что они всё ещё полезные. И научились работать с конкретными сегментами пользователей, чтобы смотреть, что фичи удобны или не удобны именно для них.

Аналитика «период к периоду» на меняющемся рынке ничего не говорит про фичи. Оказалось, это не единственный случай, где тренд поменялся, а мы увидели это в тестах только спустя год.

Итоговый результат парадоксален: чем больше времени человек проводит в приложении, тем выше вероятность покупки. Сканирование, которое экономит ему около 30-40-50 секунд, ухудшает показатели конверсии. Возможных гипотез две:

1. Возможно, пользователи, которые приложили больше усилий, больше дорожат этими усилиями и меньше уходят, поэтому ручной ввод работает на цель.
2. Либо сканированием пользовались те люди, которые меньше были настроены на покупку. Барьер входа ниже, они пробуют и уходят — тогда мы создали условия искусственного отбора именно таких.

В сканирование по фото с камеры телефона мы всё ещё верим и считаем, что фича удобная. Кажется, надо искать варианты, глубже анализируя аудитории. Плюс камеры улучшаются, и, скорее всего, скоро процент ошибок будет исчезающее низким. В этой истории мы докрутили автоввод, где это можно, сейчас продолжаем эксперименты.

А мораль такая — тестируйте даже очевидное. Ещё раз спасибо, Капитан Очевидность, но нам это стоило довольно много времени разработки и, соответственно, денег.