Виджет для заказа обратного звонка может быть очень полезным, если появится в нужный момент. Но как вычислить, когда посетитель сайта «дозревает» до разговора по телефону?



С самого старта проекта было очевидно, что необходимо постоянно работать над повышением эффективности работы нашего виджета — только так можно обойти конкурентов (которых, как известно, уже довольно много).

На конверсию огромное влияние оказывает выбор правильного момента. Если виджет «выскакивает» в тот момент, когда у пользователя возникает какой-то вопрос, то он с большой долей вероятности согласится на звонок и не испытает при этом негативных эмоций. Этот момент — настоящий «Святой Грааль» всех callback-виджетов, но найти его не так-то просто.

Наш путь занял уже 4 этапа, и надеемся, что успешно завершился.

Этап первый: разное время появления виджета


На момент старта работ по тестированию число уникальных посетителей сайтов, на которых стоял виджет Cashmyvisit, составляло около 20 тысяч в месяц.

Мы решили проверить, как влияет на конверсию время задержки до появления виджета на сайте — 30, 40, 50 секунд. В первоначальную выборку попали все подключенные сайты, оценивалось количество звонков на 100 посетителей.

Выяснилось, что слишком раннее появление виджета приводит к росту числа отказов. Кроме того, мы заметили, что на результаты очень сильное влияние оказывают различные внешние факторы, на которые никак нельзя повлиять — в итоге цифры, от недели к неделе, очень сильно разнились. Все не то.



Этап второй: А/Б-тесты


Когда первый этап находился в разгаре, команда нашего проекта попала на конференцию ФРИИ в Санкт-Петербурге. Там мы послушали выступление Григория Бакунова, директора по распространению технологий «Яндекса», который очень кстати упомянул А/Б-тестирование. Позднее, мы нашли в YouTube видео о том, как он с помощью машинного обучения и таких тестов занимался продвижение CRM-системы в США — механизм показался подходящим для наших задач.

Мы начали внедрять в процесс разработки А/Б-тестирование. За короткое время были запущены пять сценариев появления виджета, начиная с таймаута в 37 секунд с шагом в 8 секунд.

К сожалению, надежды не оправдались. После месяца тестов стало понятно, что:

  • Он не дает пищи для реальных выводов.
  • Данные по всей системе в общем нерелевантны для одного конкретного сайта.
  • Выводы следует делать не по факту посещения сайта, а по факту активации виджета.

Этап третий: критерии для определения заинтересованности


Всем ли пользователям нужно показывать виджет? На следующем этапе мы решили определять наиболее вовлеченных посетителей сайта, и предлагать обратный звонок только им. Чтобы это сделать, нужно было выработать критерии «заинтересованности». К ним мы отнесли:

  • Время активности на сайте более 30 секунд (на основе отслеживания движений мышью).
  • Время активности пользователя больше среднего времени активности других посетителей.
  • Глубина просмотра превышает средние цифры.
  • Источником перехода было контекстное рекламное объявление.

Помимо этого, дополнительные «баллы вовлеченности» начислялись в двух случаях:

  • За каждые 15 секунд, сверх среднего времени, проведенного на сайте.
  • За осуществление 100% скролла страницы.

Комбинация таких поведенческих факторов должна была сигнализировать о том, что для посетителя появление виджета будет своевременным.

Буквально на следующий день после внедрения описанной математической модели в прототип новой версии виджета один из конкурентов «выкатил» обновление, включающее все то, с чем мы планировали стать лидерами рынка!

Это был удар по нашему самолюбию, но мы довели начатое до конца и выпустили собственное обновление. Собранные данные показали, что продукт все равно работает не так, как нам бы того хотелось.

Тогда мы привлекли к работе профессиональных математиков, которые указали на главную ошибку. У нас и у конкурентов, время нахождения пользователя на сайте было в качестве самого важного показателя во всей системе. В 9 разных параметрах степень корреляции с параметром «время» было более 80% — в итоге система не контролировала то, какому количеству людей будет показан виджет и не соотносила его поведение с тематикой конкретного сайта.

Стало ясно — эта система далеко не Грааль.

Четвертый этап: опорные векторы


Именно метод опорных векторов — нам порекомендовали использовать математики.



Мы решили попробовать и уже через пару часов отдел разработки, совместно с математиками, исписывали формулами листки бумаги.

Получившаяся в итоге, система включает несколько параметров в 230 разрезах (страницы сайта, источники посещения, время на сайте, время суток, день недели и т.д.). В ходе анализа вычисляются натуральные логарифмы, значения суммируются, эта сумма сравнивается с единицей. Если результат равен или больше единицы, то виджет показывается посетителю. Значения пересчитываются ежесекундно.

Несколько месяцев ушло на доработку системы, в апреле мы запустили ее в тестовом режиме на небольшой выборке клиентских сайтов. Уже первые замеры показали рост конверсии, в среднем, на 20-25%.

Радоваться рано


На все описанные выше поиски, пробы и ошибки у нас ушло больше, чем полгода. Однако, полученный в итоге результат радует и нас, и наших клиентов (вот здесь мы рассказывали о том, как применение виджета помогло повысить лояльность клиентов автодилеров). Мы не собираемся останавливаться на достигнутом и продолжаем дорабатывать систему так, чтобы конверсия была еще выше.

В конце концов, постоянное развитие — единственный способ победить на таком конкурентном рынке, как наш.

Комментарии (4)


  1. ncix
    18.05.2015 23:14
    -1

    Вы лучше расскажите как бизнес идет «на таком конкурентном рынке, как ваш». Только на хабре пяток компаний с callback-виджетами за последнее время отметились.


    1. CashMyVisit
      20.05.2015 10:15

      Отличный вопрос — стоит отдельной статьи :)
      Если кратко, то по нашим подсчетам и оценкам рынка операционно рентабелен только КБХ.
      Свои данные мы пока раскрывать не спешим :) Однако, по охвату аудитории мы находимся на 4-5 месте, среди 30 известных мне виджетов.


      1. ncix
        20.05.2015 10:17

        КБХ?