Компания Soasta предоставляет ряд сервисов для аналитики и тестирования сайтов. Специалисты компании использовали огромный массив данных, собранный их системой аналитики, в машинном обучении с целью определить, какие взаимосвязи между различными показателями обнаружит искусственный интеллект. Тэмми Эвертс из Soasta и Пэт Минан из Google представили результаты на конференции Velocity 2016, проходившей в Нью-Йорке в сентябре 2016 года.

Исследование проводилось в отношении двух конечных результатов взаимодействия пользователя с сайтом – отказов и конверсий. То есть исследователи пытались научить искусственный интеллект «отгадывать» с большой вероятностью на основании различных признаков уйдет ли пользователь со страницы не совершив никаких действий (отказ), и совершит ли он конверсию.

Вывод 1: только очень ограниченное число параметров влияет на процент отказа.

Изначально исследователи предполагали, что едва ли не любой параметр важен для прогнозирования. Это оказалось не так.

На графике ниже показано, что при заданной нижней границе вероятности предсказания отказа в 70%, только знание 6 факторов значительно улучшает точность прогноза. Большое количество факторов не влияет существенно на качество прогноза, и около четверти – не влияет вообще.

Вывод 2: скорость появления события DOM Ready и скорость загрузки страницы оказались лучшими предикторами отказов.

Знание этих параметров позволяло с вероятностью 89,5% предсказывать совершит ли пользователь отказ на странице. Точность предсказания никогда не достигает 100%, а вероятность предсказывания в 50% практически эквивалентна подбрасыванию монетки. Поэтому все, что выше 50% можно считать «улучшением прогноза», а 89,5% — это действительно хорошая вероятность прогноза.



На следующем графике показана вероятность отказа на странице в зависимости от скорости наступления события DOM Ready и загрузки страницы.



Очевидно, что любой сайт должен ставить своей целью загружаться не дольше 4-х секунд, потому что более длительная загрузка страниц будет приводить к очень большому проценту отказов.

Другой важный момент: не наблюдается нижнего предела скорости загрузки в отношении улучшения процента отказов. Начиная от 5 секунд и далее в сторону сокращения скорости загрузки, вероятность отказа снижается почти линейно.

На 3-м месте по влиянию на точность предсказания отказа оказалась скорость начала отображения страницы (событие start render).

Вывод 3: Предсказывать конверсию оказалось сложнее. Максимум точности – 81%.

Как показано на графике ниже, 81% — максимум достигнутой точности, при этом гораздо больше факторов не влияют на конверсию совершенно.

Вывод 4: Чем больше скриптов на странице, тем хуже она конвертирует.

В данном случае под количеством скриптов понимается количество элементов, начинающихся с тэга <script>.

На графике ниже представлена вероятность конверсии в зависимости от количества тэгов <script>.

Вывод 5: Количество элементов DOM очень сильно влияет на конверсию.

Как видно из графика ниже, страницы с максимальной конверсией содержат от 400 до 700 элементов DOM.



Можно уверенно предположить, что чем более перегруженной становится страница (более 2200 элементов DOM), тем хуже она конвертирует.

Вывод 6: показатели, связанные с пользователями мобильных устройств не являются предикторами конверсии.

Такие параметры, как, например, ширина канала, тип устройства или тип соединения у мобильных пользователей не оказывали влияния на точность предсказания конверсии.



Исследователи пришли к следующей интерпретации этих результатов. Они считают, что пользователи не делят в своем сознании интернет на «мобильный» и «нормальный». Они привыкли к тому, что страницы грузятся быстро, и поэтому примерно одинаково реагируют вне зависимости от того, с какого устройства они просматривают страницы.

Вывод 7: не все результаты стоит принимать на веру.

Машинное обучение определяет взаимосвязи между различными точками данных, но полученные результаты стоит воспринимать с осторожностью и искать интерпретации в тех случаях, когда результат противоречит здравому смыслу.

В качестве примера исследователи приводят график ниже, который показывает, что страницы оформления заказа с временем ответа сервера в 8 секунд конвертируют лучше всего.



Однако данный результат скорее говорит о том, что страницы оформления заказа просто работают относительно медленно. Обычно на таких страницах находятся различные дополнительные скрипты, например, проверки номера карты, которые обращаются к внешним источникам. А решение пользователя о том, что он хочет купить некоторый предмет, принималось гораздо раньше – на карточке товара или на лендинге.

В заключение стоит отметить, что эти результаты получены по данным клиентов сервиса Soasta. Возможно в вашем случае влияние упомянутых показателей на процент отказов и конверсии будет другим. Однако сложно оспорить тот факт, что ускорение сайта помогает уменьшить отказы и улучшить конверсию.