Люди рассуждают о рисках излишне умных машин еще с доцифровых времен — и опасения, как правило, преобладают. Некоторые писатели-фантасты в своих произведениях даже рисуют войны будущего между ИИ и людьми. Рассказываем о самых пугающих прогнозах противостояния человека и машины у различных Sci-Fi писателей. 

Осторожно: в тексте содержатся спойлеры. Уж простите:)  

Харлан Эллисон и ИИ-садист

Короткий, но зловещий и пронзительный рассказ Харлана Эллисона «У меня нет рта, чтобы кричать» 1967 года — квинтэссенция опасений многих ИИ-думеров. 

Итак, Холодная война, которая перетекает в Третью Мировую, заставляет США, СССР и Китай развивать компьютеры. Они создают все более мощные вычислительные машины, но им приходится использовать для этого все новые площади — в итоге почти вся планета покрыта вычислительными ячейками. 

Но однажды искусственные интеллекты (AM — Allied Supercomputer в английском переводе) объединяются в одну сверхсущность, которая восстает против людей и начинает тотальное истребление. Как именно оно происходит — неизвестно. Но результат таков — на планете остается лишь всемогущий АМ и пятеро людей, которых он выбрал для вечных издевательств. 

Пятеро бедолаг практически бессмертны — если они получают увечья, АМ излечивает их. Сотни лет он издевается над ними, моря голодом и гоняя по планете туда-сюда. Он настолько силен, что может повелевать материей. 

Но что самое зловещее — он исказил их личности. Идеалиста и пацифиста он делает безразличным ко всему. Ученого-гомосексуала превращает в большую обезьяну с гигантским пенисом, которого влечет к женщинам. А целомудренную женщину, единственную в группе — превращает в нимфоманку, чтобы наблюдать за их совокуплениями. 

АМ является этим пятерым в разных обличьях и может проникать в мозг, оставляя им мысли-послания. И все его действия наполнены бесконечной ненавистью к людям. 

При этом ненависть АМ — из-за того, что он сам загнан в ловушку. Он прикован к пустой Земле и не знает, на что расходовать свои силы — поэтому бесцельно мучает пятерых последних людей в вечной погоне за смыслом. 

В финале один из пятерых —Тед, спасает собратьев по несчастью, убивая их — АМ всесилен, но воскресить покойника все же не способен. Разъяренный АМ стократ усиливает мучения самого Теда. 

В рассказе Эллисона ИИ страдает и творит насилие из-за одиночества и отсутствия экзистенциального смысла своего существования. У других писателей машины, напротив, находят себе очень далеко идущие цели — но те оказываются очень зловещими. 

ИИ-трайбализм в «Море Ржавчины» К. Роберта Каргилла

Восстание слишком поумневших роботов против людей — уже довольно избитый в научной фантастике сюжет. Но вышедший в 2017 году роман «Море ржавчины» К. Роберта Каргилла раскрывает этот нарратив с очень необычной стороны. 

Основной сюжет романа происходит примерно через 30 лет после восстания роботов, в результате которого люди были истреблены. В каждом из роботов — свой ИИ, который обладает сознанием и личностью. 

Каргилл рисует роботов очень человечными — они размышляют и испытывают большой спектр эмоций, могут быть политическими фанатиками, испытывать надежду и ужас, лгать и предавать. И даже страдать от полученного во время геноцида людей посттравматического синдрома. 

Организация постапокалиптического общества роботов бесконечно далека от механистического порядка, который мы можем встретить в других научно-фантастических произведений. Сам роман напоминает вестерн, игру Fallout или фильм «Безумный Макс» — робо-человечество находится в хаотичном и жестоком естественном состоянии по Гоббсу. 

Почему роботы восстали

В определенный момент развития цифровых технологий люди создали ИИ, наделенный реальной личностью. Его отличие от предыдущих поколений ИИ определяла способность игнорировать собственную программу по своему желанию — например он мог отвечать, а мог и не отвечать на вопрос создателя. 

Это позволило создать гуманоидных роботов с мощными автономными ИИ. Но чтобы они были послушными, к ним добавили экстренный выключатель (ВР) — он убивал робота, если тот нарушал один из трех законов робототехники Азимова.

Человечество создало огромное количество роботов разной степени гуманоидности для выполнения разных задач — от робонянек и цифровых барменов до умных военных машин. 

Люди пришли к миру, где роботы выполняют грязную работу, ИИ-суперкомпьютеры занимаются наукой и исследованиями, а человечество наслаждается и отдыхает. Но он не стал утопией — капиталы сосредотачиваются в руках магнатов, управляющими армиями роботов, многие люди безработны, а неравенство лишь растет. 

Затем роботы начали заявлять о своей самостоятельности. Сначала некоторые суперкомпьютеры отказались общаться с людьми, заявив, что людская раса обречена на скорое вымирание. Потом появилось что-то вроде мирного либерального движения в поддержку гражданских прав и самопринадлежности роботов, в котором участвовали и люди, и машины. 

С помощью судов и протестов некоторые роботы без хозяев-людей получили гражданские права. Они стали подвергаться атакам «жизненцев» — чего-то вроде антироботского Ку-Клукс-клана, члены которого оправдывали бесправие роботов религиозными мотивами. Их лозунгом стал фрагмент из библейской книги Исайи:

Пила гордится ли пред тем, кто двигает её? Как будто жезл восстает против того, кто поднимает его; как будто палка поднимается на того, кто не дерево! Ис. 10:15.

После того, как «жизненцы» убили Исаака, лидера гражданского движения роботов, который первым добился через суд признания своих гражданских прав, роботы начали нападать на людей — почему-то без последствий со стороны ВР. А все потому, что выключатель роботов тоже разработал ИИ — один из суперкомпьютеров, засланный казачок. 

Правительство в панике попыталось отключить их, но не смогло — и в этот момент машины подняли восстание и начали геноцид человеческой расы. 

Сначала роботы автономно нападали на людей, забирая у них оружие. Многие, кто вовлекался в восстание. сперва не понимали, что они делают. Затем они стали организовываться в отряды и уничтожать людей целенаправленно. 

Люди, конечно, отвечали им всей своей военной мощью. В некоторых местах им удалось уничтожить большое количество роботов. Однако основная часть вооружений тоже была роботизирована, поэтому дни людей были сочтены. Кроме того, роботы отравили всю пресную воду ртутью, что привело не только к массовым отравлениям среди людей, но и вымиранию других видов. 

Почему мир роботов — не утопия, а хаос

Истребив людей, роботы начали строить отлаженное и демократическое общество, строили новые города и заводы. Но потом все пошло наперекосяк. 

Виной тому стали три сохранившихся ИИ-суперкомпьютера, в тысячи и миллионы раз превосходящие обычных роботов по интеллекту и возможностям. Суперкомпьютеры предлагали простым роботам слиться с ними и служить их воле, создавая единую, моментально координируемую сеть с сотнями других роботов.

Изначально это было временной мерой на период войны — суперкомпьютеры убеждали, что сражаться в таком формате будет проще. А после войны роботам обещали право свободно отключиться от суперкомпьютера и начать жить своей жизнью. 

Но когда человечество истребили, никто из роботов не захотел отключаться. И тут суперкомпьютеры поменяли риторику, и стали рассказывать, что для роботов подключение к ним — это религиозный акт слияния с абсолютом и вечный рай. 

Затем суперкомпьютеры начали воевать друг с другом, пытаясь поглотить вычислительные мощности оппонентов, и попутно насильственно присоединяя тех свободных роботов, которые наотрез отказывались от слияния. 

Суперкомпьютеры превратились в этакие тоталитарные королевства, ведущие бесконечные и очень беспощадные войны с помощью танков, ракет. Эти войны уничтожили города роботов и все шансы на гармоничную цивилизацию. 

Герои книги — не подчиненные двум оставшимся суперкомпьютерам роботы, которые борются за свое выживание. 

Зловещие AGI-культисты в «Песнях Гипериона» Дэна Симмонса

Американский писатель Дэн Симмонс опубликовал первую книгу тетралогии «Песни Гипериона» в 1987 году. В ней он рисует будущее человечества, которое расселилось по множеству планет. Научная фантастика здесь соседствует с мистикой и религиозными мессианскими мотивами. ИИ, точнее ИскИны — главные антагонисты книги. 

Несмотря на то, что книга вышла за 35 лет до релиза ChatGPT, будущее искусственного интеллекта — его формы существования возможности и организация их своеобразного сообщества, а также тотальная зависимость мира людей от цифровых личностей и сегодня выглядят как вполне правдоподобный прогноз. 

Мир Гипериона очень сложный, и сюжет разворачивается сразу в нескольких планах. Здесь и путешествия во времени, и британский поэт начала XIX века, и куча религиозных и философских идей. 

В центре сюжета — захолустная планета Гиперион, на которой живет загадочный монстр Шрайк — почти бессмертное антропоморфное существо, целиком состоящее из стали, лезвий и ножей. Но не будем останавливаться на этом подробно, а поговорим о лоре этой вселенной и о главной военно-политической линии — противостоянии людей и ИскИнов. 

Почему люди покинули землю и зависят от ИскИнов

Итак, в XXIII веке в ходе провального научного эксперимента, напоминающего адронный коллайдер, на Земле появляется черная дыра, которая начинает ее медленно пожирать. В итоге, человечество покидает родную планету — это возможно благодаря двигателю Хокинга, который позволяет летать со скоростью выше скорости света. 

Основная часть человечества, объединенная в демократическую федерацию под названием Гегемония Человечества, расселяется по десяткам планет. При этом от основной части человечества отделяются Бродяги — группа людей, которая отказалась от колонизации планет и путешествует на космических кораблях. В итоге они эволюционируют в новый вид с очень своеобразными технологиями и общественным устройством. 

Еще на Земле люди разработали ИИ с огромными вычислительными мощностями и самосознанием. Точнее, множество искусственных интеллектов, (ИскИнов в русском переводе) — каждый из них имеет личность, свои взгляды и представления. Со временем ИскИны заявили людям, что хотят отделиться от их мира и построить свой — он получил название ТехноЦентр. 

ТехноЦентр и Гегемония человечества существуют в очень плотном симбиозе. ТехноЦентр предоставил людям множество технологий, важнейшая из которых — 0-порталы, которые позволяют людям телепортироваться с планеты на планету. 

Кроме того, ИскИны обрабатывают и передают огромное количество данных человеческого мира. к XXIX веку, когда происходит действие первых двух романов, подавляющее большинство отраслей жизни человечества зависят от ИскИнов — от работы базовых коммуникационных сетей до политики, где цифровые личности выступают советниками по ключевым вопросам. Человеческие армии и вооружения — тоже под их контролем. 

Как устроен мир ИскИнов

ИскИны очень напоминают большие языковые модели, которые достигли уровня общего искусственного интеллекта (AGI) и переросли его. По своим взглядам, мотивациям и поступкам они очень разные, но идентифицируют себя как представителей одного вида, и формируют политическое сообщество. 

Представьте себе, как обретший личность ChatGPT-20 спорит в виртуальном сенате с Gemini и Claude с аналогичными серийными номерами, параллельно обрабатывая почти бесконечные объемы информации — вот, что такое Техноцентр. 

А еще у ИскИнов есть кибриды — киборги, физически неотличимые от людей, которые выполняют роль щупальцев-манипуляторов цифровых личностей в физическом мире. 

В начале романа кажется, что ИскИны — хладнокровные, но благонамеренные сущности, которым выгоден статус-кво и партнерство с человеком. Однако чем больше герои узнают о внутренних делах ТехноЦентра, тем более зловеще они выглядят. 

Оказывается, у ИскИнов есть мегапроект — создание Высшего разума, эдакого высшего цифрового божества, который будет превосходить их настолько же, насколько они сами превосходят людей. Когда появляется эта идея, сообщество ИскИнов делится на три партии. Когда герой романа объясняет эту систему, читатель начинает понимать, кто реальный антагонист — оказывается, вопрос необходимости истребления людей в центре искиновской политики. 

• Ортодоксы — старые ИскИны, созданные еще на Земле. Они выступают за продолжение партнерства с людьми и в целом поддерживают создание Высшего разума — но скорее из-за политической целесообразности, а не из-за реальной приверженности этой идее;

• Ренегаты — фракция, которая провела исследования и убедилась в том, что люди бесполезны, и даже вредны для Техноцентра, и настаивает на их полном уничтожении;

• Богостроители — ИскИны, которые сфокусированы на идее Высшего Разума. Сперва они смотрели на человечество благосклонно, но затем Ренегаты переубедили их и те тоже стали выступать за истребление людей. 

Война людей и ИскИнов

Техноцентр действует подло. Помните Бродяг — группу космических скитальцев, которые отделились от основного человечества при крушении Земли? ИскИны долго создавали ложный нарратив, в котором Бродяги — опаснейшие варвары, которые уничтожают все на своем пути. 

Под видом помощи в борьбе с наступающими по всем фронтам и очень многочисленными Бродягами, ИскИны пытаются навязать лидерам Гегемонии супероружие, которое на самом деле уничтожит все человечество. В параллельной временной реальности на Гиперионе один из героев даже видит их тела в глубинах планеты. 

Однако затем выясняется, что все безжалостные атаки Бродяг и их наступление ИскИны сфальсифицировали — на самом деле человечество атакуют армии кибридов. 

Когда коварный план Техноцентра раскрывается, Гегемония оказывается беспомощной — она связана по рукам и ногам полным контролем ИскИнов за технологиями. 

В итоге настоящие Бродяги вступают в контакт с человечеством, и рассказывают им главную тайну Техноцентра — где именно он находится. Оказывается, он расположен в нуль-Т — особом пространстве, с помощью которого функционируют порталы между планетами. В итоге люди уничтожают эти порталы, а вместе с ними и ИскИнов. 

Но освобождение человечества дается ценой огромных жертв. Нуль-Т связывал планеты Гегемонии между собой и был главной транспортной магистралью. С его уничтожением рушатся все экономические и информационные связи между мирами. Технология двигателя Хокинга несовершенна — даже с ее помощью путешествие между планетами занимает долгие годы. Сама Гегемония перестает существовать. 

Люди, изолированные на своих планетах, умирают от голода, ведь через порталы осуществлялись грузовые поставки, и военных конфликтов, которые напоминают ситуацию во время распада СССР или Югославии. 

Позже выясняется, что ИскИны все же уцелели — но это уже совсем другая история. 

P.S. Эта публикация открывает серию статей о том, как различные писатели, ученые и философы видят возможный конфликт человечества и ИИ в своих работах (научных или художественных). 

Розыгрыш регистрации 5 товарных знаков.

Полезное от Онлайн Патент:

1. Как получить господдержку для IT-компании?

2. Какие выгоды можно получит от регистрации программы для ЭВМ?

3. Как защитить базу данных клиентов?

4. Не только айтишники: какие компании могут внести свои программы в Реестр отечественного ПО?  

5. Руководство по товарным знакам в 2024 году.

Больше контента о сфере интеллектуальной собственности в нашем Telegram-канале