Шпионаж и саботаж

Даже в стремлении обезопасить собственные технологии государства одержимы идеей «победы в гонке ИИ». Отчасти это объяснимо: культурные традиции, исторический опыт, особенности коммуникации и взаимное недоверие сформировали между ведущими державами конфронтационную систему отношений. Превращаясь в ключевой элемент будущего миропорядка, ИИ становится искрой в пороховой бочке мировых отношений, где каждая сторона убеждена, что любое дополнительное тактическое преимущество определит ее долгосрочное господство.

Если, повинуясь инстинкту самосохранения, каждое общество станет добиваться максимального одностороннего преимущества, это создаст предпосылки для психологического противостояния между вооруженными силами и разведслужбами такого размаха, с которым человечество еще не сталкивалось. В эти последние годы, месяцы, а возможно и дни, перед рождением первого сверхинтеллекта человечество станет свидетелем беспрецедентной дилеммы безопасности. Первым рациональным импульсом любого носителя подобного разума станет стремление гарантировать себе абсолютное и исключительное право на существование. Однако неизбежно возникнет парадокс: каждый такой субъект будет предполагать, что его соперники и конкуренты, столкнувшись с той же неопределенностью и сопоставимыми рисками, составляют аналогичные планы.

Даже если доминирующая держава воздержится от открытой войны, сверхразумный ИИ может саботировать, подрывать и блокировать программы противников. Например, ИИ позволяет создавать компьютерные вирусы, значительно более мощные, чем существующие, и при этом абсолютно незаметные. Подобно червю Stuxnet — кибероружию, которое, как утверждается, вывело из строя пятую часть иранских центрифуг, пока его не обнаружили, — агент ИИ может тормозить научные проекты враждебных государств, направляя ученых по ложному пути и скрывая следы своего вмешательства.

Обладая уникальной способностью манипулировать уязвимыми сторонами массового сознания, ИИ может полностью подчинить медиасистему враждебного государства. Ему под силу сгенерировать такой объем тревожной синтетической дезинформации, что это поднимет волну протестов против развития национальных программ ИИ в этой стране. Другая тактика — точечные психологические удары по конкретным ученым. Например, через персонализированные сообщения можно спровоцировать у ведущего специалиста по ИИ тяжелое эмоциональное потрясение, способное полностью вывести его из равновесия, тем самым надолго лишив его возможности вести научную работу.

Оценивать реальный уровень конкуренции в сфере ИИ станет значительно сложнее. Уже сейчас ведущие модели обучаются в сетях, полностью изолированных от внешних коммуникаций. Многие руководители отрасли прогнозируют: в перспективе разработки ИИ будут сосредоточены в защищенных подземных комплексах с автономными системами энергоснабжения на ядерных реакторах. Уже сегодня дата-центры строятся на дне океана. Следующим шагом может стать их размещение на околоземной орбите. Корпорации и государства будут все чаще «уходить в тень», прекращая публикации исследований в области ИИ: формально — чтобы не помогать злоумышленникам; фактически — чтобы скрыть реальные темпы развития. Некоторые пойдут еще дальше: будут намеренно публиковать ложные исследования, используя ИИ для фабрикования правдоподобных подделок и маскируя таким образом подлинную картину достижений.

Истории известны примеры подобного научного обмана. В 1942 году советский физик Георгий Флеров абсолютно верно предположил, что США создают атомную бомбу, когда заметил, что американские и британские ученые перестали публиковать работы по расщеплению атома. Однако в наши дни такая гонка была бы куда менее непредсказуемой — слишком сложно оценивать ход развития в столь абстрактной сфере, как ИИ; слишком размыты все показатели. Многие ошибочно считают, что «преимущество» определяется исключительно размером моделей ИИ. Но крупная модель не всегда эффективнее в конкретных задачах и может проиграть массовому применению более простых систем. Компактные и узкоспециализированные системы ИИ могут действовать подобно рою дронов против авианосца: не уничтожая цель, но выводя из строя ключевые функции.

Отдельные участники технологической гонки склонны воспринимать частные достижения как свидетельство общего превосходства. Однако это заблуждение: ИИ является не монолитной технологией, а многообразным процессом машинного обучения, реализуемым в разных форматах. Следовательно, факторы успеха в одной области могут кардинально отличаться от условий достижения результатов в другой. В этом контексте критерии оценки «технологического лидерства» постоянно теряют свою актуальность.

Более того, скачкообразный рост возможностей ИИ в последние годы наглядно показал, что развитие идет не по прямой и не поддается точному прогнозированию. Ученые до сих пор не пришли к единому мнению о природе сверхразума: можно ли его получить, просто наращивая существующие системы, или потребуются принципиально новые открытия? Возможно, переход от узкоспециализированного ИИ к общему, а затем к сверхразуму может произойти незаметно, особенно если человечество невыработает четких критериев оценки. Даже временное лидерство одного участника гонки (исчисляемое годами или месяцами) может быть мгновенно перечеркнуто внезапным прорывом в технологии или исследованиях у конкурентов.

В мире, где лидеры не могут доверять ни даже самым надежным разведданным, ни собственной интуиции, ни самой реальности, любая держава, претендующая на успехи в разработке сверхразума, неизбежно скатится к паранойе. Уже сейчас государственные стратеги принимают решения, исходя из уверенности, что их замыслы отслеживаются противником, а критически важная информация искусно фальсифицируется. Если исходить из наихудшего сценария, единственно разумной стратегией становится ставка на скорость и секретность в ущерб безопасности. Когда человеческое сознание оказывается беззащитным перед манипулятивными возможностями ИИ, политические лидеры приходят к тревожному пониманию: в этой гонке не бывает проигравших — только уничтоженные. Именно этот экзистенциальный страх толкает их к опережающему развертыванию систем ИИ, превращая технологии в инструмент стратегического сдерживания.

Сегодня мы пребываем в состоянии вынужденной неопределенности. Победители в гонке за доминирование в сфере ИИ (если здесь вообще применимо понятие «победа») пока неизвестны. Каждая компания, претендующая на лидерство, автоматически воспринимается как потенциальная угроза для всех остальных. Такая неопределенность неизбежно расшатывает любое равновесие.

Исторически сложилось, что возвышение новых держав неизменно сопровождалось кровавыми конфликтами, пока не достигался хрупкий баланс сил. Однако в современную эпоху с ее ядерным оружием и стремительными трансформациями под влиянием ИИ традиционные механизмы подтверждения статуса через военную мощь могут утратить свою эффективность.

Если победитель в этой гонке все же определится, обычное соперничество может перерасти в отчаянную схватку, движимую страхом. И ясность в этом случае станет опаснее неопределенности. Когда безупречная защита сочетается с максимальной скоростью и предельной точностью — открывается путь к мировому господству. Но, как показывает история, любые попытки сосредоточить абсолютную власть в одних руках лишь провоцируют других на создание все более опасных технологий. В условиях шаткого мирового равновесия некоторые государства могут посчитать прогресс в сфере ИИ настолько угрожающим, что примут решение ответить ядерным ударом. Если ИИ сделал бессмысленными обычные войны, не станет ли он причиной возврата к ядерной угрозе?

В прошлых гонках вооружений наш природный инстинкт самосохранения, помноженный на конкуренцию в среде изобретателей, позволял создавать и эффективно использовать системы защиты национальной безопасности. Оборонные системы ИИ могли бы парировать атаки противника — например, мгновенно закрывая уязвимости в программном обеспечении или работая как система раннего предупреждения угроз. Однако новая опасность кроется в том, что угрозы, будь то биологическое оружие на основе ИИ, внезапная ядерная эскалация или даже вышедший из-под контроля алгоритм, способны возникнуть стремительно и незаметно, причиняя катастрофический ущерб еще до возможности какого-либо ответа.

Хотя этот переломный момент еще не наступил, подготовку к нему необходимо начинать уже сегодня — эпоха ИИ потребует управления рисками, угрожающими самому существованию человечества. Государства, обладающие существенным, но ограниченным технологическим потенциалом, будут с болезненной настороженностью отслеживать появление систем ИИ, превосходящих их собственные разработки. Если такой игрок заподозрит — даже ошибочно, — что доминирующая держава близка к созданию оружия «абсолютного превосходства», это может спровоцировать превентивные электронные атаки или физические удары по ключевым объектам. Результатом станет спираль эскалации, где каждый ответный шаг будет приближать стороны к взаимному уничтожению.

Текущая неопределенность оставляет нам тонкую нить надежды. Сама непредсказуемость будущего может стать основой для конструктивного диалога. Поскольку сегодня никто не способен достоверно спрогнозировать, как современные решения в области ИИ повлияют на завтрашний баланс сил, у мировых лидеров появляется уникальная возможность — начать переговоры, движимые фундаментальным человеческим инстинктом самосохранения.

Контролируемая гонка вооружений

Если будущее превратится в гонку по созданию единого доминирующего ИИ, человечество, вероятно, столкнется с дилеммой: либо полная потеря контроля над многополярным противостоянием, либо установление гегемонии победителя, которого не будут сдерживать традиционные ограничения. При этом чем меньше будет отрыв лидера, тем опаснее станет цепь человеческих просчетов.

Парадоксальным образом, однополярность может снизить риски гибели человечества. Если лидеру гонки удастся создать непреодолимый технологический разрыв, лишающий конкурентов даже надежды на соперничество, это способно обеспечить временную стабильность. В такой реальности традиционная модель мирового порядка, основанная на хрупком балансе сил, может уступить место новой парадигме.

Впрочем, есть и альтернатива, хотя для ее реализации потребуется подавить некоторые естественные человеческие инстинкты: можно попробовать договориться. Конкурирующие стороны могли бы установить период согласованного сотрудничества или даже объединить свои передовые разработки в единый проект. Однако достижение такой сплоченности в условиях геополитических и коммерческих противоречий потребует невероятной смелости и дальновидности. Любой игрок, находящийся в числе лидеров или рядом с ними, закономерно рассчитывает оказаться в компании победителей. При этом наибольшую выгоду от такого соглашения получат нерешительные или пока отстающие участники — для них это идеальная возможность не только сравняться с лидерами, но даже вырваться вперед. Абсолютные же лидеры никогда добровольно не откажутся от своего превосходства — сама идея сотрудничества зачастую в их понимании слишком неустойчива, чтобы устоять перед соблазном нарушить достигнутые договоренности.

Альтернативным решением могли бы стать переговоры о распределении полномочий. Почувствовав близость победы, лидер гонки попытался бы убедить своих соперников пойти на уступки, пообещав им привилегированный доступ к сверхразуму. Но история не знает примеров, чтобы доверие — особенно к вчерашнему врагу — сохранялось долго. Даже если вопреки всему такое соглашение будет достигнуто — совершенно неясно, как обеспечить его выполнение.

Действительно, попытка просто собрать воедино высшие точки пиков воображаемого «острова познания», о котором мы говорили чуть ранее, лишь усугубила бы кризис, который изначально пытались предотвратить. Подобных попыток — тем боле успешных — человечество еще не предпринимало. Более того, такой проект потребовал бы коренного преобразования всей системы международных отношений. На протяжении веков стабильность мироустройства обеспечивалась хрупким паритетом противоборствующих центров силы. Здесь же государства окажутся перед необходимостью поддерживать гегемонистскую стабильность — модель, чуждую историческому опыту человечества. Доминирующий блок государств, скорее всего, будет представлен изначальными создателями систем ИИ и поставщиками их наиболее критически важных компонентов, а также производителями кадров для разработки и совершенствования этих технологий. Недоминирующее большинство рискует оказаться в положении зависимых субъектов, поставляющих данные и другие ресурсы, а взамен получающих ограниченный доступ к открытиям ИИ, системам управления и средствам защиты.

Однако подобный сценарий нельзя считать ни желательным, ни даже наиболее вероятным. Скорее мир увидит возникновение не единого доминирующего ИИ, а множества конкурирующих систем высшего интеллекта. В этом случае открывается спектр новых возможностей: наши совершеннейшие создания, взяв на себя роль стабилизирующих сил, могут превзойти человеческие способности в поддержании глобального баланса, сохранив мудрость нашего опыта, но преодолев присущие нам когнитивные ограничения. Таким образом, искусственный разум потенциально способен автономно регулировать собственное развитие — как минимум в таких критически важных сферах, как национальная безопасность и геополитика.

Но способен ли ИИ создать устойчивую систему распределения сфер влияния? Теоретически — да. За внешним слоем людских эмоций и психологии дипломатические переговоры представляют собой разновидность прикладной теории игр, являющейся разделом математики. Если изначально дипломатия зарождалась как искусство (хотя и ограниченное человеческой природой), то постепенно она может трансформироваться в науку. Такой переход может помочь преодолеть ограничения традиционной дипломатии с ее неоднозначными результатами в поиске компромиссов. Первые западные разработки в области ИИ уже демонстрируют впечатляющие стратегические навыки — как минимум в рамках игровых симуляций. Китай продвинулся еще дальше, поручив системам ИИ выполнение отдельных дипломатических функций.

Сама идея дипломатии родилась из простого стремления людей обмениваться вестями без риска и обмана. Со временем посланцы, прибывшие издалека, стали пользоваться особым вниманием, тогда как нарушителей этих новых правил почти всегда ждала кара. Когда посланцы Ксеркса потребовали, чтобы греческие полисы прислали им символы покорности, персидских посланников сбросили в колодцы. Геродот упоминает, что впоследствии боги покарали Спарту за это преступление. Примерно семнадцать столетий спустя, после казни монгольского посла по приказу персидского шаха Чингисхан в отместку направил свои несокрушимые войска стереть с лица земли государство Хорезмшахов.

Тем не менее, сохранять каналы сообщения, особенно во время войны, стало обычаем. Со временем сложилось понимание: куда разумнее выслушать гонца, чем лишать его жизни.

Если бы системам ИИ предстояло выстраивать дипломатические отношения между собой, были бы возможны два пути: либо их изначально обучат соблюдать существующие протоколы, либо в процессе работы у них спонтанно выработается предпочтение к тем моделям поведения, где такие нормы заложены. Конечно, не обошлось бы без сбоев. Цифровые системы рубить головы, допустим, не стали бы, но методы борьбы за свои интересы разработали бы без труда. Именно эта бесстрастная логика искусственного разума, если человечество отважится принять ее, способна заложить основы принципиально более устойчивого мирового порядка.

Однако не будем забывать, что передача ИИ решения столь фундаментальных задач, как дипломатия и безопасность, неминуемо усилит нашу зависимость от его возможностей — зависимость, которую будет крайне трудно преодолеть, когда потребуется решительное, именно человеческое, участие в международных вопросах. Традиционная система международных отношений при всех ее недочетах хотя бы возлагала на нас ответственность за наши собственные решения. Добровольная же зависимость от ИИ грозит подорвать саму способность полагаться на суждение человека — ту опору, что неизменно поддерживала нас в более предсказуемом, хотя и примитивном, прошлом.

Зачем же идти на такой риск? Прежде всего — чтобы избежать гибельной дилеммы: либо взаимное уничтожение конкурирующих систем, либо гегемония зарождающегося сверхразума. Другая причина — защита от новых угроз, становящихся все более явными. С каждым годом и с каждой новой технологической революцией стереть человеческую цивилизацию с лица Земли становится все легче.

Скандинавская мифология повествует о Бальдре, сыне бога Одина и богини Фригг, встревоженных пророчествами о грядущей гибели их сына. Стремясь защитить его жизнь от малейшей угрозы, Фригг объехала все девять миров, наложив заклятья на каждое животное, стихию, растения и даже чуму, чтобы ничто не могло стать оружием против любимого сына. Но коварный бог Локи, приняв облик старухи, выведал у богини, что ее защита не распространяется лишь на безобидную омелу. На пиру, устроенном в честь неуязвимого Бальдра, боги, демонстрируя силу заклятий, по очереди метали в него разное оружие. Тогда Локи подсунул своему слепому брату Хёду стрелу с наконечником из омелы, подговорив его шутки ради выпустить эту стрелу — единственный предмет, оставшийся без спасительного заклятья матери. Пронзив сердце Бальдра, стрела прервала его жизнь в тот же миг.

Смысл этого древнего мифа применительно к нашему времени прост и пугающе ясен: чем изощреннее становятся угрозы, тем надежнее должна быть защита — ведь малейший промах или упущение грозит катастрофой. И достичь такого совершенства, мы, вероятно, сможем только с помощью ИИ.

Таким образом, ключевая задача состоит в том, чтобы определить наименее опасный риск, который следует рассматривать в приоритетном порядке:

• угрозы, связанные с развитием ИИ;

• риски параллельных технологических революций (например, появление синтетической биологии);

• потенциальные катастрофические сценарии, включая радикальные климатические изменения.

Безусловно, менее совершенные системы ИИ могут непреднамеренно способствовать распространению опасных технологий. Даже при безупречном соблюдении регуляторных норм разработчиками в рамках строгого регулирования сохраняется риск, что другие участники процесса проявят халатность, нанеся серьезный ущерб. Однако более развитые машины способны нейтрализовать эти угрозы за счет беспрецедентной точности в принятии защитных решений.

Рассмотрим перспективу индивидуальной биологической защиты: наноботы с ИИ, циркулирующие в кровотоке человека, мгновенно уничтожают любые патогены, не соответствующие утвержденным параметрам данного организма.

Распознанная биосигнатура позволит реагировать на биологические угрозы гибче, чем наши прежние меры. Аналогично ИИ способен проектировать новые материалы и технологии для сокращения выбросов CO₂, снижая риск климатических катастроф.

Безусловно, существует риск, что ИИ преждевременно возьмет на себя управление человеческой цивилизацией — той самой, что его породила. Однако полагаться только на то, что люди никогда не ошибаются, может быть еще опаснее. Наша стратегия должна быть простой: ИИ — это инструмент упреждающего противодействия, а не запоздалого реагирования на лавинообразный рост новых угроз. И ключевой вопрос в этом контексте таков: как человечеству продвигать только полезные направления в развитии ИИ, одновременно сдерживая опасные?

Ведь ИИ по сути — это слепая разрушительная сила; его бесконтрольное развитие угрожает в равной степени как его создателям, так и пользователям. Именно это может вынудить даже непримиримых соперников пойти на соглашения, которые в других условиях казались бы немыслимыми. Мы убеждены, что в дипломатии, обороне и, возможно, в других сферах часть рисков, связанных с ИИ, цифровой разум может эффективно контролироваться только им самим. Ящик Пандоры уже распахнут настежь — но даже запертый, он не скрыл бы простой истины: польза ИИ перевешивает все его риски.

Мы убеждены: чтобы выжить в этом «хрупком мире» (по выражению Ника Бострома), человечеству, возможно, придется доверить ИИ управление угрозами, порожденными его же собственным технологическим прогрессом. Остается вопрос: как существовать в будущем, где контроль одновременно необходим — и невозможен?

Новая парадигма войны

На протяжении почти всей своей истории человечество вело войны в ограниченном пространстве, где можно было с достаточной точностью оценить численность и распо­ложение вражеских сил. Эта предсказуемость создавала ощущение некой стабильности и общих правил игры, сдерживая чрезмерную жестокость конфликтов. Когда мудрые правители приходили к согласию о том, по каким законам можно вести войну, только тогда они решали, стоит ли ее начинать.

Скорость и мобильность во все времена оставались ключе­выми факторами, определявшими эффективность военной техники. Один из самых ранних примеров — развитие артил­лерии. Почти тысячу лет Феодосиевы стены надежно защи­щали Константинополь от вторжений. Однако в 1452 году венгерский оружейный мастер (Венгрия тогда находилась под византийским сюзеренитетом) предложил импера­тору Константину XI создать «Базилику» — гигантскую пушку, способную уничтожать врагов за стенами города. Но самоуверенный император, не обладая ни средствами, ни дальновидностью, так и не понял, какой переворот не­сет в себе эта технология, — и отказался.

К несчастью для него, венгерский мастер, не получив поддержки у византийцев, просто сменил покровителя. Он усовершенствовал конструкцию, сделав орудие более подвижным (для его транспортировки требовалось не ме­нее 60 волов и 400 человек), и предложил свое творение противнику императора, турецкому султану Мехмеду II, готовившемуся к осаде неприступной крепости. Завоевав интерес молодого султана обещанием, что эта пушка «раз­несет стены самого Вавилона», предприимчивый венгр помог турецким войскам пробить древние стены всего за 55 дней.

Отголоски этой драмы XV века прослеживаются вновь и вновь. В XIX веке скорость и мобильность поначалу вознесли Францию, когда «Великая армия» Наполеона покорила Европу; затем помогли Пруссии: Хельмут фон Мольтке Старший и Альбрехт фон Роон, используя недав­но появившиеся железные дороги и децентрализованное командование, добились невиданной маневренности войск. Тот же принцип, доведенный до совершенства, лег в основу блицкрига, который нацистская Германия с разруши­тельной эффективностью применила против союзников во Второй мировой войне.

«Молниеносная война» обрела новый смысл и повсеместное распространение в эпоху цифровых технологий. Скорость стала мгновенной. География больше не ограничивает ата­кующих: теперь не нужно жертвовать мощью удара ради мобильности. Пока преимущество в киберпространстве остается за нападающими, однако с развитием технологий ИИ защитные системы обретут беспрецедентную скорость реагирования, что позволит обороняющейся стороне вести борьбу на равных.

Использование ИИ в классических военных конфликтах приведет к качественному скачку в стратегии и тактике ведения войны. Например, дроны достигнут невиданной скорости и маневренности. Когда ИИ начнет управлять не одним дроном, а целыми армадами, они смогут форми­ровать рои и будут действовать как единый слаженный механизм — с безупречной синхронизацией. Группировки беспилотников смогут мгновенно перестраиваться — от не­больших звеньев до крупных соединений — аналогично подразделениям спецназа, где сохраняется принцип авто­номности элементов при централизованном управлении.

Кроме того, ИИ обеспечит такую же скорость и гибкость защитных мер. Уничтожить эскадрильи беспилотников традиционными средствами практически невозможно. Однако орудия с ИИ, стреляющие потоками фотонов и электронов (вместо обычных боеприпасов), могут при­водить к таким же разрушительным последствиям, что и геомагнитные бури, выводящие из строя электронику незащищенных спутников. И снова скорость и мобиль­ность превзойдут человеческие возможности, уравнивая потенциал обороны и нападения.

Поскольку скорость и мобильность больше не являются определяющими факторами, преимущество в противостоя­нии будет зависеть от трех ключевых элементов: точности ударов, мгновенного эффекта и стратегического приме­нения технологий.

Оружие с ИИ исключит саму возможность промаха. Ранее ограниченная осведомленность о территории противника препятствовала реализации стратегических замыслов. Однако внедрение научных достижений в военную сферу продолжает улучшать точность систем поражения, и ожи­дается, что ИИ совершит новый — возможно, не один — технологический прорыв. Таким образом, технологии ИИ позволят сократить разрыв между замыслом и результатом, в том числе в применении смертоносной силы. Будь то группировки наземных дронов, морские роботизированные эскадры или, возможно, рои межзвездных беспилотников — машины обретут сверхточную способность убивать людей с минимальной погрешностью и безграничными послед­ствиями. Пределы разрушения теперь измеряются лишь выбором, сделанным человеком и запрограммированным в машины.

Таким образом, в эпоху ИИ война сведется в первую очередь к анализу не возможностей противника, а его намерений и стратегических целей. Ядерная эпоха уже отчасти озна­меновала этот переход но с развитием военных технологий на базе ИИ его истинная суть проявится куда отчетливей. Остается главное: что и зачем потребуется военачальникам, в чьем распоряжении теперь находится оружие с ИИ?

Поскольку ставки в этой гонке технологий чрезвычайно высоки, люди вряд ли станут основной мишенью конфлик­тов с участием ИИ. Более того, машинный разум сможет полностью исключить человеческий фактор из боевых операций, снизив людские потери, но сохранив абсолютную стратегическую эффективность. Аналогичным образом сами по себе территории вряд ли станут целью агрессии ИИ — в отличие от атак на дата-центры и другую крити­чески важную цифровую инфраструктуру. (Суперкомпью­теры, вероятно, будут тщательно замаскированы, а базы данных распределены, что повысит устойчивость функ­ционирования систем и предотвратит «обезглавливающий удар» по критическим элементам управления.)

И тогда капитуляция станет неизбежной лишь после пол­ного истощения живой силы и ресурсов противника, когда будет разрушена его система цифровой обороны, неспособ­ная более защищать ни инфраструктуру, ни гражданское население. Конфликт может перерасти в противоборство автономных систем, где победу определит психологическая выдержка оператора (или устойчивость решений ИИ), стоящего перед выбором: рискнуть полным поражением или капитулировать, чтобы его избежать.

Даже мотивация участников этого нового поля боя окажется в корне иной. Г. К. Честертон писал:

Настоящий солдат сражается не потому, что ненавидит то, что перед ним, а потому, что любит то, что за ним.

В войне с участием ИИ не будет места ни любви, ни ненависти, ни тем более воинской доблести. Однако, возможно, ИИ будет руководствоваться такими понятиями, как эго, идентичность и преданность, хотя их природа и будет от­личаться от того, что мы подразумеваем сегодня.

Военная стратегия всегда опиралась на простой расчет: про­игравшей становится та сторона, которая первой признает причиняемые противником страдания невыносимыми — и капитулирует, открывая путь к переговорам. Осознание собственной уязвимости естественным образом порождает сдержанность. Но если отсутствует и это осознание, и сама способность испытывать боль (то есть если это понятие лишено всякого смысла), тогда что сможет сдержать воен­ный ИИ? И что вообще способно остановить конфликты, инициированные с его участием? Станет ли ИИ, играющий в шахматы без знания правил завершения партии, сражаться до последней пешки?

Геополитическая трансформация

На каждом этапе истории, словно подчиняясь некоему естественному закону, появляется сила, которая, как однаж­ды заметил один из нас, обладает мощью, волей и интеллектуально-нрав­ственным импульсом, чтобы переформатировать всю международную систему под свои ценности. Ее возникновение ломает прежние правила, вынуждая игроков искать новые форматы взаимодействия. Резуль­тат — цепная реакция кризисов с непрерывным расшаты­ванием геополитического равновесия. Одним режимам такие системы несут распад, другим — беспрецедентное укрепление власти.

Традиционная система человеческой цивилизации — это привычная нам Вестфальская модель. Однако концепция суверенного национального государства — исторически недавнее явление, насчитывающее всего несколько ве­ков. Она оформилась лишь после подписания в середине XVII века договоров, известных как Вестфальский мир. Эта форма социальной организации не была предопределена исторически и, возможно, утрачивает актуальность в эпоху ИИ. Действительно, поскольку массовая дезинформация и цифровая дискриминация подрывают доверие к этой системе, ИИ может стать фундаментальной угрозой власти национальных правительств.

Ситуацию осложняет когнитивная дезориентация обще­ства и его прогрессирующий отрыв от реальности. При этом ИИ потенциально способен переформатировать всю сис­тему международных отношений. Если государства со­хранят контроль над ИИ, человечеству предстоит сделать судьбоносный выбор: мириться с гегемонистским застоем или создавать принципиально новую архитектуру баланса между «вооруженными» ИИ державами. Однако возможен и более радикальный вариант — полная трансформация миропорядка, где традиционные правительства перестанут быть главными действующими лицами.

Один из возможных сценариев — полная монополиза­ция корпорациями-разработчиками ИИ ключевых сфер влияния, от экономики до военно-политических рыча­гов управления. Современные государства оказываются в двойственной позиции. С одной стороны, они выступают покровителями частных компаний, предоставляя им во­енные ресурсы, дипломатическую поддержку и экономи­ческие рычаги для продвижения собственных интересов. С другой — вынуждены поддерживать доверие общества, все более скептически настроенного к их монопольному положению и корпоративной непрозрачности. Это про­тиворечие может стать непреодолимым. Как говорилось ранее, прогресс ИИ затруднит управленческие процессы в традиционных институтах власти.

Между тем корпорации могут создавать альянсы, чтобы усиливать свою и без того значительную мощь. Эти союзы могут быть основаны на взаимодополняющих преимуще­ствах и выгодах объединения либо на общей философии разработки и применения систем ИИ.

Такие корпоративные коалиции способны перенять функ­ции традиционных государств, но с ключевым отличием: вместо контроля над территориями они будут расширять цифровые сети как сферу своего влияния.

Но возможен и иной исход. Бесконтрольное распростране­ние открытых решений в области ИИ способно породить локальные сообщества с ограниченными, но функцио­нальными возможностями систем ИИ. Эти группы смогут самостоятельно обеспечивать свою жизнедеятельность и защиту в определенных границах. Общества, отказываю­щиеся от централизованного управления, могут перейти к анархическим формам организации. Или такие группи­ровки приобретут религиозную окраску, руководствуясь представлениями о связи ИИ с божественным началом, рассмотренными в предыдущей главе. В конце концов, как ясно показывает историческая перспектива, ни одно госу­дарственное образование не сумело сравниться с мировыми религиями — христианством, исламом и индуизмом — ни по масштабам влияния, ни по долговечности. В наступающую эпоху именно религиозная принадлежность, а не граждан­ство с высокой вероятностью станет значимой основой для самоидентификации и духовной привязанности.

В любом из этих возможных сценариев, будь то господство корпоративных альянсов или дробление на религиозные сообщества, новые спорные «территории», вокруг которых разгораются конфликты, перестанут измеряться квадрат­ными километрами. Связи между такими пользователями и любым институтом власти несомненно подвергнутся влиянию ИИ на статус традиционных централизованных форм правления. Это приведет к пересмотру классической концепции гражданства, а заключаемые между субъектами соглашения будут принципиально отличаться от союзни­ческих договоренностей в привычном понимании.

Традиционно союзы создавались по воле правителей для усиления военной мощи. Но сегодня рождается иная парадигма: гражданство и политические альянсы (вплоть до феномена «цифровых крестоносцев») формируются снизу — в мирное время, на основе убеждений рядовых граждан. Это потребует либо изобретения совершенно новых, либо реанимации архаичных имперских моделей. Подобная трансформация переопределит саму природу об­щественного договора, включая право на выход из системы, если оно уцелеет под тотальным влиянием ИИ.

В мирных целях

Внешнеполитические стратегии государств — а значит, и международные отношения — всегда балансировали между идеализмом и прагматизмом. Исторический опыт показывает: достигнутые лидерами компромиссы были не окончательными решениями, а лишь временными тактиче­скими ходами, необходимыми для своего времени. С каждой новой эпохой это противоречие порождало новые формы политического порядка. Истинный правитель не выбирает из готовых вариантов. Он принимает решения, рожденные (или кажущиеся рожденными) озарением, зачастую ставя цели, выходящие за рамки практической реализуемости.

Извечное противоречие между национальной выгодой и глобальным благом веками оставалось частью этого непре­рывного развития. В своей дипломатической практике ма­лые государства традиционно действовали прямолинейно, ставя во главу угла вопросы собственного выживания. Иная ответственность ожидала правителей мировых империй. Обладая ресурсами для решения более амбициозных задач, они сталкивались с мучительными дилеммами.

Со времен возникновения первых цивилизаций по мере усложнения социальных структур человечество непрерывно достигало новых уровней коллективного взаимодействия. Но в наши дни — возможно, под давлением глобальных вызовов и разного рода противоречий как между государ­ствами, так и внутри них — наметился тревожный откат от этой многовековой тенденции. Так способны ли системы ИИ охватить беспрецедентно сложный уровень управле­ния? Смогли бы они воспринимать мировые процессы, выйдя за рамки узких национальных интересов? Можно ли ожидать, что им удастся, более точно, чем нам, рассчитать наши базовые потребности и ценности, а затем вывести их правильное соотношение и взаимосвязь?

Было бы наивно ожидать, что, как один из нас уже отмечал, лидеры государств начнут последовательно

ограничивать свои действия лишь теми ситуациями, когда моральные, правовые и военные вопросы полностью согласова­ны, а легитимность решений максимально соответ­ствует требованиям выживания.

В человеческом обществе подобное остается недостижи­мым. Но мы верим, что ИИ, используемый в политических целях как внутри стран, так и на международной арене, сможет предложить нечто большее, чем сбалансированные компромиссы. В идеале ИИ способен выходить за рамки человеческих возможностей, формулируя принципиально новые, абсолютно выверенные решения, оперируя более длительными временными горизонтами. Детализация таких решений была бы несоизмеримо выше, чем если бы их проекты подготавливали люди. Таким образом, алгоритмам ИИ удалось бы привести в соответствие все наши конкурирующие интересы. В будущем машинные интеллекты, разбирающиеся в урегулировании конфлик­тов и проведении мирных переговоров, помогут не только прояснить, но и преодолеть наши традиционные проблемы выбора.

Однако если ИИ действительно возьмется за решение задач, которые по праву лежат в зоне нашей ответственности, это может вызвать двойной кризис доверия — как к безоснова­тельной самоуверенности сторонников автоматизации, так и к пораженческому фатализму ее противников. Первым будет горько осознать несовершенство нашей способности к самокоррекции — тот факт, что мы фактически капиту­лировали перед алгоритмической «мудростью» в решении фундаментальных человеческих проблем. Других же по­разит пронзительная простота решения: оказывается, все запутанные вопросы требовали лишь одного — устранения человека из контура управления. Эта обманчивая просто­та беспощадно обнажает изъяны созданных нами систем. И здесь кроется главный парадокс: если мир всегда был вопросом сознательного выбора, то платой за человеческое несовершенство становились бесконечные войны. Осозна­ние, что решение существовало в пределах досягаемости, но оставалось для нас концептуально недоступным, стало бы сокрушительным ударом по человеческой гордыне.

Мы привели один из особенно ярких примеров дилеммы зависимости и последующего ощущения неполноценно­сти, рассмотренных в одной из предыдущих глав. Однако в вопросах безопасности — но не в научной или академи­ческой деятельности — мы, возможно, быстрее примем беспристрастность механического арбитра, ибо знаем: это заведомо лучше, чем человеческая заинтересованность. Это весьма похоже на то, как люди легко признают необ­ходимость посредника в бракоразводном процессе. Здесь проявляется парадокс: наши не самые лучшие качества могут помочь принять превосходство ИИ. Инстинкт личной выгоды — даже в ущерб интересам других — заставит нас признать преимущество системы, которая априори лишена этого недостатка.