В сентябре 2023 года прошёл седьмой хакатон Demhack. Тогда особенно тревожной была  ситуация с VPN, которые массово начали блокироваться в России через ТСПУ. И естественно эта тема стала центральной. Вторым значительным направлением разработки внезапно оказались инструменты для выявления пропаганды и манипуляций в СМИ и социальных сетях - и в результате хакатона мы смогли получить несколько отличных проектов. 

Расскажем сегодня о том, как развиваются лучшие проекты Demhack 7 (и сделаем небольшой анонс нового хакатона!). Итак, чем же помогают эти инструменты, в чём их ценность именно сейчас и что они планируют развиваться дальше?

Видеть манипуляции насквозь

Одним из победителей прошлого хакатона стал проект Textgericht — решение для проверки текстов на признаки манипуляций, логических ошибок и хейт‑спич. После хакатона проект продолжил работу и взял себе название «Насквозь».

Система “Насквозь”, используя искусственный интеллект, анализирует новости из Telegram-каналов и выявляет манипуляции в них, а затем выдаёт итог в виде процентного соотношения. Получается своеобразный “термометр пропаганды” - инфографика, которая иллюстрирует ситуацию в режиме онлайн:

Сейчас в разработке у команды ещё и свой Telegram-бот с персональным агрегированным дайджестом новостей, дополненных индикатором уровня манипуляций. Он анализирует новости с разных точек зрения, основываясь на методах автоматического определения главных тем и нарративов пропаганды.

В основе технологии проекта “Насквозь” – автоматическая обработка текстов или NLP. В первую очередь используется ChatGPT для продвинутой аналитики с подробным объяснением ответов. Но в распоряжении команды есть и более быстрые и недорогие в работе модели, которые были созданы за счёт самостоятельного обучения нейросети Transformer. Они могут с высокой точностью (~ 80%) определить, есть ли в тексте пропаганда или нет. 

Скриншот с сайта проектанеформальныДля обучения моделей используется как открытые данные научных конференций (например, SemEval 2023), так и данные, которые команда собрала и разметила сама. В корпусе проекта 2800+ предложений, размеченных на 6 классов манипуляций (логические ошибки и передёргивание, демонизация врага, эмоционально заряженный язык, апелляция к традициям, обоснование войны, черно-белоё мышление). Качество разметки сопоставимо с научными публикациями в этой области. 

В первую очередь продукт рассчитан на профессионалов: его могут использовать для работы журналисты и исследователи, агрегаторы новостей для определения качества информации, преподаватели специальных курсов и образовательных инициатив. Среди партнёров “Насквозь” – “НеНорма”, TrueStory, AskRobot и другие проекты. 

Важным является и то, что ресурс помогает в частной жизни, например, при дискуссиях с людьми, чтобы аргументированно показывать масштаб манипуляций в различных медиа, а также для самоконтроля, проверки своих текстов. 

Уже сейчас система может одновременно анализировать тысячи текстов с очень высокими показателями точности. Однако на данном этапе  “Насквозь” не может проверять тексты на фактическую достоверность информации, делать фактчекинг. Система не может справиться со специфическим языком сообщений, жаргоном и сарказмом, с неформальным стилем текста. Это возможное направление развития.

Ещё одно существующее ограничение - работа с текстами только на русском языке. Тем не менее специалисты говорят, что, например, компоненты бинарной оценки (есть пропаганда/нет пропаганды) достаточно легко переносятся на другие языки, и  это тоже задача на будущее. Команда будет рада сотрудничеству: попробовать модель на личной подборке текстов или напрямую поработать с корпусом можно здесь (пароль: tester).

Противостоять фейковой реальности

После хакатона продолжает свою работу ещё один победитель Demhack 7  - проект “vox-harbor”. Он изучает накрутки голосов и деятельность ботов в Telegram. Проект исследует феномен создания искусственного мнения.

В арсенале команды - современные инструменты такие, как Clickhouse, Grafana и др. Они нужны, чтобы обнаруживать манипуляции общественным мнением  (астротурфинг) в социальных сетях и на платформах, в частности в Telegram, с использованием метода анализа большого объема открытых данных для выявления активности ботов.

Команда создала большой распределенный парсер, который проверяет каналы в Telegram на наличие накруток реакций под сообщениями, голосов в опросах и комменариев под постами. Собранная внутри мессенджера информация загружается в базу ClickHouse, где происходит её анализ. Изучение комментариев проводится с помощью fine-tune rubert. Одинаковые комментарии группируются алгоритмическими методами, позволяя выявлять автоматических кремлеботов и кадыровботов.

У проекта “vox-harbor” уже есть удобный интерфейс для просмотра результатов исследований каналов. Если канал достаточно большой (от 100 тыс подписчиков), то скорее всего он уже попал в выборку анализа проекта и результаты доступны на сайте. 

Выявление ботов:

В дальнейших планах у команды: выявление ботов со сложным поведением (троллей, которые пишут нетиповые комментарии по методичкам), расширение на другие социальные сети (например, отслеживание накруток ВКонтакте), а также активная работа с медиа (предоставление им результатов анализа для публикаций).

Проект готов сотрудничать с телеграм-каналами. Администраторы могут сделать заявку и получить графики опросов и реакций, отражающие процент ботов в канале.

Следить за работой проекта можно в их телеграм-канале или в блоге на сайте.

Выводить троллей на чистую воду

В контексте решений для противодействия искусственному общественному мнению упомянем и проект “Ботнадзор” (ранее “Ловушка повара”). 

Боты – важная составляющая пропаганды, которая позволяет исказить истинную картину общественной реакции на происходящие события, сместить фокус на второстепенные события, сделать менее видимыми активности и мнения людей с точкой зрения, альтернативной официальной. Вот почему так важно изучать это явление и раскрывать его механику людям.

Команда проекта “Ботнадзор” с 2019 года занимается разработкой инструмента, позволяющего бороться с ботами в социальных сетях. Его методология основана на анализе поведения пользователей, в том числе группового. Цель проекта – противодействие размыванию общественного мнения и введению в заблуждение аудитории. 

В настоящий момент с инструментом можно работать только ВКонтакте, в крупнейшей российской социальной сети, где сосредоточены десятки тысяч активных ботов, которыми централизованно управляют для продвижения нужной повестки. За время работы в проект смог обнаружить десятки ботоферм, состоящих из сотен и тысяч фейковых профилей. 

Команда мониторит активность в популярных пабликах ВКонтакте для пополнения базы известных ботов. Собранные доказательства по каждому конкретному кейсу публичны.

Пользователи соцсети могут проверить любой подозрительный профиль через сайт или телеграм-ботов проекта. Можно установить специальный скрипт в браузер, и тогда в реальном времени в интерфейсе сайта vk.ru будут выделяться комментарии и лайки подтверждённых ботов. Проект видит свою миссию в том,ч тобы раскрыть каждую группу фейковых комментаторов и донести факт манипуляций до как можно большего числа пользователей.

Проект важен для исследователей и журналистов, так как может предоставить информацию о массовых накрутках, а также о повестке, которая сейчас “отрабатывается” Вконтакте - например, это может происходить с целью минимизации общественного резонанса или переключения внимания людей с неугодных власти новостей. Кроме того, удалось собрать уникальный набор данных, который полезен не только для наших современников, но и для будущих историков. Данными “Ботнадзора” пользуются ведущие медиа: Guardian, FT, CNN, Вёрстка и др. 

Команда планирует масштабировать работу проекта и на другие платформы, а ещё создать более удобный интерфейс для пользователей, разработать функционал для аналитики, проводить и публиковать аналитические исследования.

Получать доступ к реальной информации

Проект easyXray сначала назывался лаконично - “418”. Задачу, которой он занимался на хакатоне Demhack 7, предложили коллеги из ОВД-Инфо.

Проблема состоит в том, что некоммерческие организации и гражданские инициативы испытывают сложности при внедрении и управлении собственными VPN-серверами для своих команд. Доступные варианты, вроде Outline, не обладают устойчивостью к блокировкам. В то время как более сложные решения с маскировкой трафика представляют трудности в настройке. Нужно было проанализировать различные подходы к решению этой проблемы (например, серверную маршрутизацию, клиентские исключения, динамический выбор нужного сервера) и разработать удобный инструмент управления этими настройками. 

На хакатоне у разработчиков получился  VPN-сервер с интегрированной системой управления и умной маршрутизацией. Проект вошёл в число победителей.

После хакатона команда продолжила работу над проектом. Сейчас это продуманное решение на базе Docker, которое использует защищенный протокол XTLS-Reality и включает в себя контейнеры 3X-UI и Telegram-бота для добавления/удаления пользователей, выдачи ссылок-конфигураций для подключения к VPN, а также для получения инструкций по подключению и настройке клиентов на основных платформах.  

easyXray - устойчивое к блокировкам решение. Оно будет удобно пользователям, уже имеющим дело с системами, типа Linux - в целом подойдёт всем, кто знает, как копировать/вставить команду в консоль и некоторые дополнительные вещи, типа создания бота в Telegram, а также имеет VPS или ПК под VPN-сервер. 

Отличие от базовой версии 3X-UI состоит в том, что пользователям и администраторам не обязательно взаимодействовать с интерфейсом 3X-UI для подключения к VPN и управления аккаунтами. Решение создано для максимально простой установки на VPS или личный сервер на Linux (одной командой в консоли). 

Создавать новое прямо сейчас!

Победители прошлогоднего осеннего хакатона продолжают успешно работать. А мы тем временем собираем команды на новый хакатон!

Demhack 8 пройдёт с 29 по 31 марта 2024 года в формате онлайн и объединит IT-специалистов, активистов и исследователей Интернета. Регистрация участников открыта до 18 марта 2024 года (включительно). Призовой фонд хакатона - 1200 USDT, также заявлены отдельные денежные призы от партнёров. Избранные команды получат возможность пройти программу акселерации в Privacy Accelerator и получить грантовую поддержку.

Главная тема седьмого хакатона – изучение цензуры и новых способов доступа к информации. 

Хакатон станет площадкой для объединения усилий специалистов, говорящих на русском языке. Он открывает возможности реализовать проекты в сфере свободного интернета. А также ставит перед собой задачу привлечения внимания людей к актуальным проблемам в области цифровых прав по всему миру.

DemHack 8 – это восьмой хакатон задач в области приватности и свободы интернета. Он проводится каждые шесть месяцев, начиная с 2020 года. Его цель - поддержать дух сообщества и дать специалистам возможность реализовать свои идеи для блага людей по всему миру, защитить права на приватность и доступ к информации.

Регистрируйтесь на сайте до 18 марта 2024 года включительно! И удачи! ;)