Исследователи из Принстонского университета и Google Brain Research раскритиковали алгоритм, который разработан Microsoft Research Asia и Бэйханским университетом в Китае. Алгоритм обучен генерировать комментарии к новостям. Как считают некоторые эксперты, технология опасна тем, что её можно использовать в ходе кампаний по дезинформации.
«В статье пекинских исследователей представлена ??новая техника машинного обучения, основными применениями которой, по-видимому, являются троллинг и дезинформация», — написал в своем посте в твиттере Арвин Нараянан, специалист по вычислительной технике из Центра политики в области информационных технологий Принстонского университета.
Его поддержал Дэвид Ха, ученый из Google Brain Research. Ха с сарказмом спросил, выпустят ли исследователи алгоритм под названием DeepTroll или DeepWumao (Wumao — это название для китайских интернет-комментаторов, проплаченных Коммунистической партией Китая).
Алгоритм DeepCom может эффективно читать и комментировать новостные статьи, написанные на английском и китайском языках. Генерация комментариев под статьями может заинтересовать реальных читателей, утверждалось в статье. Авторы проекта также считают, что «открытый диалог позволяет людям обсуждать свое мнение и делиться новой информацией. Это, по их мнению, хорошо и для издателей, поскольку комментарии также повышают внимание читателей к написанной информации и стимулируют просмотр страниц», приводит слова авторов DeepCom газета The Register.
«Такие системы могут обеспечить возможность комментирования для новостного веб-сайта с нуля, расширить возможности чтения менее комментируемых новостных статей и обогатить списки навыков других приложений искусственного интеллекта, таких как чат-боты», — заявляют разработчики.
Как указано в статье на Ieee Spectrum, в документе, посвящённом алгоритму, который был загружен на arXiv 26 сентября, не упоминались этические проблемы, которые может вызвать использование технологии. Это упущение вызвало дискуссии в исследовательском сообществе. В итоге на arXiv загрузили обновленную статью, посвященную этим проблемам. В обновленной версии, например, было удалено заявление о том, что «автоматическое создание комментариев может быть полезно для реальных приложений».
«Мы знаем о потенциальных этических проблемах которые может вызвать применение этих методов для создания новостных комментариев, которые воспринимаются как человеческие, — написали исследователи в заключении обновленной статьи. — Мы надеемся стимулировать обсуждение лучших практик и средств контроля за этими методами для более ответственного использования технологии».
Документ исследователи планируют представить на конференции EMNLP, посвящённой обработке естественного языка (направление искусственного интеллекта и математической лингвистики, которое изучает проблемы компьютерного анализа и синтеза естественных языков), которая состоится в Гонконге 7 ноября. Арвин Нараянан призвал участников конференции задать вопросы авторам технологии.
Комментарии (14)
Brenwen
06.11.2019 15:38+2Тезис «в интернете верить никому нельзя» обретает новые грани. Скоро ИИ научат сраться в комментах и людям придется уйти в офлайн чтобы подискутировать с реальными людьми.
tvr
06.11.2019 16:10+1Скоро ИИ научат сраться в комментах
А что, разве ещё нет? Комменты на ютьюбе говорят говорят об обратном, кмк.
Umpiro
07.11.2019 14:58Скоро ИИ научат сраться в комментах и людям придется уйти в офлайн чтобы подискутировать с реальными людьми.
Вы либо слишком хорошего мнения о людях, либо слишком плохого об ИИ.)
deitry
06.11.2019 16:22С одной стороны, дезинформация и троллинг — наиболее очевидное применение представленной технологии. Собственно, берём любую статью на политическую тему, заменяем там Страну А на Страну Б или добавляем любой абзац, генерируем комментарии и публикуем их у оригинальной статьи. Созерцаем когнитивный диссонанс, хаос, стадный эффект, нужное подчеркнуть.
С другой стороны, хороший комментарий — это в первую очередь обращение внимания на ключевые места статьи, будь то промах/недосмотр или наоборот полезный тезис. А это уже большой шаг в сторону настоящего ИИ. Представьте себе, что эту же самую статью прокомментировал описанный в ней же алгоритм: "Почему вы не написали, что меня можно использовать для манипуляции общественным мнением?" Вот это было бы круто, да; этакая проверка логики, семантики, полноты охвата темы, ух. Помощник для человека и подсистема целеполагания для ИИ будущего.
Правда, что-то подсказывает, что в рамках именно этой работы генерируемые комментарии будут на уровне "Спасибо", и контекстно-"удачных" "Надо было ставить Linux" к статьям про Windows.
DrunkBear
06.11.2019 16:36Хм, а не будет ли как с прошлым прорывным ИИ-твиттерботом, который за сутки стал ужас каким нетолерантным и был с извиненниями потушен?
Caracat
06.11.2019 16:37+1Дивный мир. Одни боты пишут статьи, другие комментируют… Интересно, как на это организаторы сего действа посмотрят, когда их подделия читать и лайки ставить будут лишь другие боты. А что, если по анализу активности в инете, создают пофилили пользователей, которые сливают куда непопадя, и это реально может на него влиять, то логичным будет шаг для создания ботов, формирующих той или иной образ. Интернет итак загажен копипастерами и сеошниками, будет ещё краше.
eksamind
06.11.2019 16:44Так можно и профиль в нужную сторону прокачать, боты будут как нужно комментировать, через дипфейк канал в ютубе с нужной тематикой, по ватсапу аудиосообщение нужной темы. А сам в это время… сидишь на рыбалке))
funca
06.11.2019 16:45Это упущение вызвало дискуссии в исследовательском сообществе
Вызвавшие эти дискуссии были точно живыми людьми, а не ИИ конкурентов?
Vlad800
Непонятно, ведь любой ИИ или его подобие способно не то, что генерировать кампании по дезинформации, но и в перспективе самостоятельно управлять людьми против их воли. Почему-то о негативных последствиях этого думают только создатели фантастических фильмов.
opaopa
Потому что вся сфера негативных последствий мало в чью голову помещается, чтобы обдумать ее в хоть какой-нибудь полноте. Да и создатели фантастических фильмов думают лишь о самых зрелищных из пришедших им в голову последствий.