Илон Маск заявил, что намерен открыть алгоритмы Twitter и превратить соц. сеть в модель с открытым исходным кодом. Если это произойдет, любой желающий сможет их изучать или использовать в своих целях. Мы (дата-сайнтисты из центра машинного обучения «Инфосистемы Джет») решили пофантазировать, какие возможности дает открытие алгоритмов. А у вас есть мнение на этот счет? Давайте попробуем предсказывать будущее! Присоединяйтесь к обсуждению в комментариях.

Алгоритмы станут понятными и прозрачными

Сейчас многие юзеры обеспокоены, что соц. сеть навязывает им мнения с помощью манипуляций. Иногда это подтверждается и результатами исследований. Например, около половины трендов Twitter в Турции продвигают искусственно / Хабр (habr.com). Открытие алгоритмов будет означать, что мы будем узнавать о всех искусственных влияниях, и будем различать рекламные кампании и пропаганду от обычных пользовательских постов.

Иногда искажение в работе алгоритмов не может объяснить даже представители компании. Например, однажды Twitter призналась, что усиливает голоса правых, но не знает, почему так получается / Хабр (habr.com). Тогда в Twitter отметили, что пока не выяснили, почему алгоритмы сервиса предвзяты. Согласно одному из предположений, такое поведение алгоритмов — следствие того, что искусственный интеллект по-разному оценивает стратегии, которые принимаются в соц. сетях разными партиями. Открытый доступ к алгоритмам, может быть, сработает как коллективное исследование проблемы, с помощью чего получится понять причину таких девиаций.

Конечно, очень небольшой процент пользователей действительно будет разбираться в этих алгоритмах, но тем не менее это создает иллюзию открытости социальной сети. Исчезнет ощущение, что она работает как какой-то «черный ящик». Отчасти это может сработать как избавление от ответственности, так как больше пользователи не смогут говорить что-то про коварные алгоритмы, которые что-то там замышляют.

Поиск «дыр» приведет к укреплению и совершенствованию, но создаст риск мошенничества

Среди тех энтузиастов, что будут ковыряться в коде, кто-то вполне сможет найти дыры. Это в любом случае будет способствовать развитию компании и укреплению алгоритмов, даже если злоумышленники первое время будут пытаться в эти дыры пролезть, создавая мошеннические схемы и пути обхода.

С другой стороны, если алгоритм ранжирования будет открыт, он не на столько прост, чтобы можно было "хакнуть" его. Возможно, сообщество сможет обнаружить какую-то дыру в системе продвижения, но вряд ли компания оставит аномально всплывающие посты без внимания.

Как бы то ни было, в целом мы всегда за Open Source решения, такой ход может задать хорошую тенденцию для будущего соц. сетей.

Ранжирование и рекомендации

Потенциально открытие алгоритмов Twitter позволит точнее настраивать таргет постов, поскольку можно будет еще до выхода проверить теги, которые соц. сеть определит для этого контента.

Скорее всего, самым весомым в продвижении поста является не какая-то информация, которую алгоритмы извлекают из содержимого, а активность пользователей вокруг новой записи. А в этом разрезе знание конкретных алгоритмов ранжирования и рекомендаций не даст больших преимуществ.

Есть также версия, что, изучив внутренние алгоритмы (например, ранжирования пользователей), можно будет использовать эту информацию для вывода дезинформации и пропаганды.

Развитие науки и социума

Общественные науки опять получат доступ к материалам для исследования (за последние года API Twitter для сбора данных прикрыли достаточно сильно). Кроме того, открытие алгоритмов формирования ленты с предложенными постами покажет, как происходит формирование общественного мнения силами онлайн-рекламы и пропаганды.

Естественно, все, кто пишет рекомендательные системы, при открытии рекомендательного алгоритма скажут «а можно списать?». С одной стороны, Open Sourse алгоритмы многие смогут копировать. Сильной беды в этом нет, так как Twitter все равно будет на милю впереди будущих конкурентов как по бизнесу, так и по технике. Но польза в том, что можно разобраться (и прокачаться) в этих алгоритмах, чтобы перенести опыт в новые сферы и продукты.

Комментарии (3)


  1. QualcommAtheros
    03.06.2022 12:05
    +1

    Мне кажется для общественности, в прозрачности таких систем больше плюсов, чем минусов.


    1. pulsework
      03.06.2022 14:02

      Забавно... ИИ продвигает правых хотя руководство левое... а может быть ИИ просто симпатизирует правым и уже вступил в партию Трампа?


  1. makar_crypt
    03.06.2022 20:55

    Меня больше интересует не их алгоритмы ранжирования, а как они эффективно джойнят данные на клиенте , структуры данных.

    И самое главное как они передают между микросервисами огромные бэтчи , тут поясню больше на примере. У них есть сервис статистики , и есть сервис Enity , но запрос по фильтрациям получается такой что на стороне Enity нельзя отсортировать , это можно сделать только после join с statistic, а в статистики для enity миллионы строк , судя по взломанным исходным кодам твитча где они как раз работают со статистикой твитера