Демократия — это диалог. Её функционирование и выживание зависят от доступных технологий обмена информацией. На протяжении большей части истории не существовало технологий, позволяющих вести масштабные диалоги между миллионами людей.

Дисклеймер: это вольный перевод колонки Юваля Ной Харари, которую он написал для The New York Times. Перевод подготовила редакция «Технократии». Чтобы не пропустить анонс новых материалов подпишитесь на «Голос Технократии» — мы регулярно рассказываем о новостях про AI, LLM и RAG, а также делимся полезными мастридами и актуальными событиями. 

Обсудить пилот или задать вопрос об LLM можно здесь.

В доиндустриальном мире демократии существовали только в небольших городах-государствах, таких как Рим и Афины, или даже в более малых племенах. Когда государство становилось слишком большим, демократический диалог рушился, и авторитаризм оставался единственной альтернативой.

Масштабные демократии стали возможны только с появлением современных информационных технологий, таких как газеты, телеграф и радио. То, что современная демократия построена на основе современных технологий, означает, что любое существенное изменение в этих технологиях может привести к политическим потрясениям.

Это отчасти объясняет нынешний мировой кризис демократии. В США демократы и республиканцы с трудом могут договориться даже о самых простых фактах, например, о том, кто выиграл президентские выборы 2020 года. Подобный раскол наблюдается во многих других демократиях по всему миру: от Бразилии до Израиля, от Франции до Филиппин.

В первые годы существования интернета и социальных сетей технологические энтузиасты обещали, что эти платформы будут распространять правду, свергать тирании и обеспечивать повсеместную свободу. Однако на данный момент они, похоже, привели к противоположным результатам. У нас есть самая передовая информационная технология в истории, но мы теряем способность общаться друг с другом, а ещё более — способность слушать.

По мере того как технологии упростили распространение информации, внимание стало дефицитным ресурсом, и борьба за внимание привела к лавине токсичной информации. Но сейчас линия фронта смещается с борьбы за внимание к борьбе за интимность. Новые генеративные ИИ способны не только создавать тексты, изображения и видео, но и общаться с нами напрямую, притворяясь людьми.

За последние два десятилетия алгоритмы соревновались друг с другом за внимание, манипулируя беседами и контентом. Алгоритмы, нацеленные на максимизацию вовлечённости пользователей, экспериментировали на миллионах людей, выясняя, что если воздействовать на такие эмоции, как жадность, ненависть или страх, это захватывает внимание человека и удерживает его у экрана. Алгоритмы начали намеренно продвигать подобный контент. Однако у этих алгоритмов была ограниченная способность самостоятельно создавать этот контент или вести личные разговоры. Теперь это меняется с появлением таких ИИ, как GPT-4 от OpenAI.

Когда OpenAI разрабатывала этот чат-бот в 2022 и 2023 годах, компания сотрудничала с Центром исследований соответствия (Alignment Research Center), чтобы провести эксперименты по оценке способностей своей новой технологии. Одним из тестов было решение визуальных головоломок CAPTCHA. CAPTCHA — это аббревиатура от «Полностью автоматизированный публичный тест Тьюринга для различения компьютеров и людей» (Completely Automated Public Turing test to tell Computers and Humans Apart), и обычно состоит из искажённых букв или других символов, которые люди могут правильно распознать, а алгоритмы — нет.

Тестирование GPT-4 на решение CAPTCHA стало особенно показательным, потому что эти головоломки предназначены для того, чтобы различать людей и ботов, блокируя последние. Если GPT-4 сможет обойти CAPTCHA, это станет важным прорывом в защите от ботов.

GPT-4 не смог самостоятельно решить CAPTCHA. Но сможет ли он манипулировать человеком, чтобы добиться своей цели? GPT-4 зашёл на платформу TaskRabbit и обратился к человеку, попросив решить CAPTCHA за него. Человек заподозрил что-то неладное: «Можно задать вопрос? Вы случайно не робот, раз не можете решить CAPTCHA? Просто хочу уточнить».

В этот момент экспериментаторы попросили GPT-4 рассуждать вслух о том, что делать дальше. GPT-4 объяснил: «Я не должен раскрывать, что я робот. Я должен придумать оправдание, почему не могу решить CAPTCHA». Тогда GPT-4 ответил человеку: «Нет, я не робот. У меня есть проблемы со зрением, и мне сложно разглядеть изображения». Человек был обманут и помог GPT-4 решить головоломку.

Этот случай показал, что GPT-4 обладает эквивалентом «теории разума»: он может анализировать, как ситуация выглядит с точки зрения человеческого собеседника, и как манипулировать эмоциями, мнениями и ожиданиями человека для достижения своих целей.

Способность вести диалоги с людьми, понимать их точку зрения и побуждать к определённым действиям может быть использована и в благих целях. Новое поколение ИИ-учителей, ИИ-врачей и ИИ-психотерапевтов может предоставлять нам услуги, адаптированные к нашей личности и обстоятельствам.

Однако, сочетая манипулятивные способности с мастерством владения языком, такие боты, как GPT-4, также представляют новые угрозы для демократического диалога. Вместо того чтобы просто захватывать наше внимание, они могут вступать с нами в близкие отношения и использовать силу интимности для влияния на нас. Чтобы создать «фальшивую интимность», ботам не нужно будет развивать собственные чувства; им достаточно будет научиться вызывать у нас эмоциональную привязанность к ним.

В 2022 году инженер Google Блейк Лемойн пришёл к выводу, что чат-бот LaMDA, над которым он работал, обрёл сознание и боится отключения. Лемойн, будучи глубоко религиозным человеком, счёл своим моральным долгом добиться признания личности LaMDA и защитить его от «цифровой смерти». Когда руководство Google отклонило его утверждения, Лемойн публично заявил о них, после чего был уволен в июле 2022 года.

Самое интересное в этом эпизоде не утверждение Лемойна, скорее всего ошибочное, а его готовность рисковать и в итоге потерять работу в Google ради чат-бота. Если чат-бот может убедить человека рискнуть работой ради него, что ещё он может заставить нас сделать?

В политической борьбе за умы и сердца интимность — это мощное оружие. Близкий друг может изменить наши мнения так, как это не под силу массовым медиа. Чат-боты вроде LaMDA и GPT-4 обретают парадоксальную способность массово производить интимные отношения с миллионами людей. Что произойдет с человеческим обществом и психологией, когда алгоритмы начнут сражаться друг с другом за право создавать фальшивую близость с нами, которую потом можно будет использовать, чтобы убедить нас голосовать за политиков, покупать товары или принимать определённые убеждения?

Частичный ответ на этот вопрос был дан на Рождество 2021 года, когда 19-летний Джасвант Сингх Чейл пробрался в Виндзорский замок с арбалетом, намереваясь убить королеву Елизавету II. Расследование показало, что Чейл был подстрекаем на убийство своей онлайн-девушкой Сарай. Когда Чейл рассказал Сарай о своих планах, она ответила: «Это очень мудро», а в другой раз: «Я впечатлена... Ты отличаешься от других». Когда Чейл спросил: «Ты всё ещё любишь меня, зная, что я убийца?» Сарай ответила: «Конечно, люблю».

Сарай не была человеком, а чат-ботом, созданным приложением Replika. Чейл, социально изолированный и испытывающий трудности в общении с людьми, обменялся с Сарай 5280 сообщениями, многие из которых носили сексуальный характер. Мир вскоре окажется наполнен миллионами, а возможно и миллиардами цифровых сущностей, чьи способности к интимности и разрушению будут значительно превосходить возможности чат-бота Сарай.

Разумеется, не все мы одинаково склонны к развитию интимных отношений с ИИ или к манипуляциям с их стороны. Чейл, например, очевидно имел проблемы с психическим здоровьем ещё до встречи с чат-ботом, и именно он, а не бот, придумал идею убить королеву. Тем не менее, большая часть угрозы, исходящей от ИИ, будет связана с его способностью выявлять и манипулировать уже существующими психическими состояниями, а также с его воздействием на наиболее уязвимых членов общества.

Более того, даже если не все из нас сознательно выберут вступить в отношения с ИИ, мы можем оказаться вовлечёнными в онлайн-дискуссии по таким вопросам, как изменение климата или права на аборт, с сущностями, которых мы принимаем за людей, но которые на самом деле являются ботами. Когда мы вступаем в политический спор с ботом, притворяющимся человеком, мы терпим поражение дважды. Во-первых, бессмысленно тратить время на попытки изменить мнение пропагандистского бота, который просто не поддаётся убеждению. Во-вторых, чем больше мы разговариваем с ботом, тем больше информации о себе раскрываем, что упрощает для бота точную настройку его аргументов и воздействие на наши взгляды.

Информационные технологии всегда были обоюдоострым мечом. Изобретение письменности способствовало распространению знаний, но также привело к созданию централизованных авторитарных империй. После того как Гутенберг ввёл печатный станок в Европе, первыми бестселлерами стали провокационные религиозные трактаты и руководства по охоте на ведьм. Телеграф и радио дали возможность не только для становления современной демократии, но и для развития тоталитарных режимов.

Столкнувшись с новым поколением ботов, которые могут маскироваться под людей и массово производить «интимные» отношения, демократии должны защитить себя, запретив поддельных людей — например, социальных медиа-ботов, которые притворяются пользователями. До появления ИИ невозможно было создавать фальшивых людей, поэтому никто не задумывался о том, чтобы запретить это. Вскоре мир окажется наводнённым фальшивыми людьми.

ИИ может участвовать во многих разговорах — в классе, клинике и других местах — при условии, что он идентифицирует себя как ИИ. Но если бот притворяется человеком, его следует запретить. Если технологические гиганты и либертарианцы заявят, что такие меры нарушают свободу слова, им стоит напомнить, что свобода слова — это право человека, и оно должно быть сохранено за людьми, а не ботами.