Источник: Wikimedia

Онлайн-энциклопедия Wikipedia получила новый инструмент — сервис с элементами ИИ, который поможет автоматически определять некорректные правки материалов ресурса. Сервис ORES (Objective Revision Evaluation Service) будет проверять все правки на наличие спама или троллинга. Создателем ORES является Wikimedia Foundation. Разработчики говорят, что новый сервис работает, как рентгеновские очки (отсюда и анонсная картинка. Система теперь будет выделять все, что выглядит подозрительным, а затем отправлять на проверку редактору-человеку. Если администратор решит не использовать правку, пользователь, предложивший ее, получит уведомление. Эта система более дружественна к пользователям, поскольку сейчас никакие уведомления пользователям не рассылаются.

Команда энциклопедии научила систему различать непреднамеренные ошибки в правках и то, что называется «повреждающими правками» (damaging edits). Обучение проводилось на примерах реальных материалов. Сейчас новый сервис уже можно использовать.

Пример работы сервиса показан ниже. Здесь демонстрируется то, как видят материалы редакторы (слева) и то, что видит ORES (справа). Вероятность того, что текст нормальный, составляет 0,0837. Вероятность умышленной порчи текста — 0,9163. В итоге редактор-человек понимает, что текст действительно пытались испортить. В самом деле, предложение «Ламы растут на деревьях» никак нельзя назвать корректной правкой.

ores.wmflabs.org/scores/enwiki/damaging/642215410



А вот пример оценки «человеческого фактора»

ores.wmflabs.org/scores/enwiki/damaging/638307884



Это уже не первый подобный инструмент, который работает на благо онлайн-энциклопедии. Раньше такие системы тоже пытались научить работать, но старые сервисы не видели разницы между «вредной правкой» и обычной ошибкой человека.

Среднее время анализа текста составляет около 100 миллисекунд. Сейчас поддерживается работа с 14 языками. Уже проведено 45 миллионов оценок. Это не так и много, поскольку количество правок «Вики» за день достигает полумиллиона. Новый сервис поможет редакторам быстро и эффективно оценивать все предлагаемые пользователями правки.