image

Помимо b2c проекта Surfingbird в нашей компании есть b2b продукт Relap. Это рекомендательная система для медиа. Вы могли видеть нашу технологию в действи на Лайфхакере, AdMe, РИА, COUB и других сайтах, которыми пользуетесь каждый день. Мы помогаем клиентам вовлекать аудиторию в потребление контента, с помощью алгоритмов, которые разрабатывали несколько лет.

Мы часто сталкиваемся с заблуждениями и мифами о том, какими должны быть рекомендации вокруг основного контента, за которым приходит юзер. В статье рассказываем о самых распространенных ошибках, которые совершают медиа при проектировании интерфейсов и как нужно делать правильно.

Рекомендовать по тегам


Самое большое и самое популярное заблуждение. Чаще всего СМИ делают рекомендации в конце статьи по тегам. Так поступает Look At Me и РБК, например. Есть материал с тегами: трактор, Путин, сыр. К нему выводятся тексты про трактора, про Путина и сыр. На первый взгляд, логично:

image
image

Подобная механика рекомендации в реальной жизни выглядела бы так. Вы идете в магазин за продуктами. И кладете в корзину сливочное масло. К вам подходит консультант с потными от волнения ладошками и говорит: «О, я вижу, вы взяли масло и это значит, что вам нужно масло. Возьмите еще пять видов сливочного деревенского и подсолнечного и козьего масла». Максимум, что может случиться из ряда вон выходящее — вам предложат трансмисионное, если вы читали что-то про автомобили. И это уже будет считаться rocket science.

Мир устроен чуть сложнее. На самом деле, все работает так: пользователь приходит на сайт, смотрит курс доллара, коубы из «Безумного Макса» и видео, где кто-то кидается чебуреками. Значит, другой человек, который уже посмотрел доллар и Безумного Макса, скорее всего, захочет посмотреть на летящий чебурек, как бы это странно не звучало. Это называется коллаборативная фильтрация. Есть кластеры пользователей и закономерности с помощью которых можно максимизировать вовлеченность читателя в ваш контент.

По результатам А/В тестов коллаборативная фильтрация без дополнительных настроек, дает на 20-30% больше кликов, чем подборка по тегам. И это означает, что никто не должен составлять блоки “Читать также” на основе тегов.

Рекомендовать контент из того же раздела


Вторая инкарнация предыдущего заблуждения — сегментировать рекомендации по разделам.

Представьте, что консультант отдела сливочного масла берет вас в заложники со словами: «Сегодня ты купишь только маслице, о да ты купишь много маслица!» Вы с криком выламываете двери, и никогда больше возвращаетесь в этот магазин.

Мы показали одной группе юзеров сегментированные рекомендации: человек читает новость из раздела «Общество» — рекомендуем ему статьи только из раздела «Общество». Другая группа получала рекомендации со всего сайта (кросс сегментные рекомендации). CTR виджета с рекомендациями без учета разделов — в 2 раза выше, процент отказа ниже на 16% и время проведенное на сайте было на 23% выше. Нет никакого смысла ограничивать читателя рамками одного раздела. Будьте разнообразны в своих рекомендациях.

Рекомендовать популярное


Рекомендовать популярные новости — значит рекомендовать ненужные новости, которые все уже видели. Популярное — это материалы, которые посмотрело много людей. Именно так популярное становится популярным. Каждый раз, когда вы хотите сделать у себя на сайте такой блок, вспоминайте это предложение, потому что именно так это и работает. Это новости, которые видели все.

Мы сравнивали в A/B тестах популярное и коллаборативную фильтрацию. CTR виджета с коллаборативной фильтрацией выше в 7 раз. Это совсем не значит, что вот наши алгоритмы такие классные. Это значит, что блок популярное на сайте — отстой и не нужен вообще никому. Мы понимаем, что блок «Популярное» на сайте — это must have для большинства медиа, но пора попрощаться с этим заблуждением.

Не ставить ограничение по времени


Почему новостные издания рекомендуют новости полугодичной давности понять сложно. Такой подход порождает дикие примеры типа этого:

image
image

Медиа думают, что пользователь хочет знать, что было на эту тему раньше. Нет не хочет! Ему это неинтересно, и никому это неинтересно.

Во время тестов на новостных СМИ мы выясняли наиболее оптимальный возраст новостей, которые стоит рекомендовать посетителям. Было протестировано три варианта: 72, 48 и 24 часа с момента публикации. Тестовая выборка составляла 2.7 миллиона читателей и проводилась месяц. Большая часть наших коллег ставила на 24 часа, потому что им казалось, что новости очень быстро устаревают, и никто не будет читать вчерашние новости. Чуть меньше людей верило в 48 часов. Видимо, потому, что не все успевают прочесть актуальное за день и, скорее всего, они что-то пропустили за вчера и хотят наверстать упущенное. Никто не верил в 72 часа. Да, 72 часа победили. В этом диапазоне пользователи находят больше всего интересующих материалов и блоки собранные из таких новостей кликабельны на 4.2% больше чем 48 часов и на 10,9% больше чем 24 часа. Вероятно, это происходит потому, что люди не успевают (или просто не хотят) потребить весь объем информации, который генерируют медиа. Поэтому новости, вышедшие позавчера, для них еще актуальны. Исключение составляют breaking news.

Делать рекомендации руками


«Алгоритм не может быть умнее человека и знать потребности аудитории лучше профессионала» — так в среднем звучит аргумент тех, кто собирает рекомендации руками.

Мы не согласны. Люди научились летать на луну, сажать спутник на летящую в космосе комету, еще электромобили, суперкомпьютеры, роботы, адронный коллайдер и всякое такое. Что намекает о торжестве технологии вокруг нас. И поэтому нет, алгоритм знает лучше. Чтобы история не превращалось в антиутопию, расскажем, как это работает.

Каждый пользователь выполняет небольшую работу редактора. Один-два раза в день переходит на ресурс, читает новость, и выполняет два-три внутренних перехода. Алгоритм понимает, что пользователю нравится и находит рекомендации для него и для людей с похожими интересами.

Мы провели A/B тест, где сравнили работу нативых виджетов СМИ с рекомендациями. В первом случае рекомендации собирали редакторы. Во втором — работал наш автоматизированный виджет. В итоге Relap увеличил CTR блока в 2 раза.

Мы очень рады, если эта статья помогла в работе вашей редакции и проектировании интерфейсов. Если есть вопросы, безумные гипотезы и идеи, которые вы хотите реализовать вместе с нами — напишите на lab@relap.io.

Если хотите использовать наши технологии, вовлекать читателей и вообще автоматизировать рекомендации контента на сайте, мы с радостью в этом поможем. Пишите на hello@relap.io.

Комментарии (4)


  1. edogs
    06.09.2015 11:28
    +1

    Странный пример про сливочное масло в пункте про теги.
    Если мы уже покупаем сливочное масло, то понятно, что нам еще одно не нужно.
    Но если мы читаем про сливочное масло, то мы вероятно хотим прочесть про него еще что-то.
    Чего далеко ходить — вот читаем мы статью про рекомендательные системы контента, на фига нам статья про безумного макса? Мы лучше еще что-то про рекомендательные системы почитаем:)


    1. DrPass
      06.09.2015 14:34

      Вообще, нет. Это справедливо, если мы речь идем об изучении какой-либо проблемы. Когда пользователь собирает материалы вокруг нужного ему вопроса, анализирует их, выбирает более релевантные и т.д.
      Человек, который читает новости, обычно не тратит время на их разглядывание со всех сторон. Он прочитает одну статью про фестиваль дикобразов в Бангладеше, и после этого перейдет на статью про финансовый кризис в Нигерии, а не будет собирать взгляды других журналистов про фестиваль и фото очевидцев. Бывают исключения, какие-то крупные события, которые пользователь будет смотреть в реальном времени, или которые сильно привлекут его внимание, и он будет искать подробности. Но это частные случаи.


      1. edogs
        06.09.2015 17:54

        Он прочитает одну статью про фестиваль дикобразов в Бангладеше, и после этого перейдет на статью про финансовый кризис в Нигерии, а не будет собирать взгляды других журналистов про фестиваль и фото очевидцев
        Но речь же про тэги к статье. К статье про фестивали будут тэги про дикобразов, бангладеш и вообще о том что такое фестивали… Финансовый кризис в нигерии может быть интересен, а может и нет. А вот дикобразы скорее всего будут интересны читателю статей про их выставки.


        1. quantum
          08.09.2015 05:46

          В том-то и дело, «скорее всего будут интересны».

          Как раз эту гипотезу и проверили и оказалось, что «По результатам А/В тестов коллаборативная фильтрация без дополнительных настроек, дает на 20-30% больше кликов, чем подборка по тегам.»