Я помню тот самый момент в «Матрице: Перезагрузка», когда Агент Смит, уже не связанный правилами системы, смотрит на Нео и говорит:

«Я, я… и я тоже!»

И внезапно их становится сотня. Вся площадь заполнена одинаковыми агентами в одинаковых костюмах, все движутся с одинаковой точностью, и у всех на лице та же самая тревожная улыбка.

Я тогда училась в аспирантуре, и эта сцена меня до смерти напугала. Да, я наслаждалась кунг-фу и спецэффектами, которые до сих пор выглядят потрясающе. Но сама идея машины, кода, способного к самокопированию - к чему-то, что он решает сам, - не давала и до сих пор не даёт мне покоя.

Экспоненциальная математика ошеломляет. Просто задумайтесь на секунду: один становится двумя, два - четырьмя, четыре - восемью, и внезапно вы тонете в Агентах Смитах, и нет никакого способа остановить этот каскад взбунтовавшихся алгоритмов.

В моей голове есть специальные отделы, где я размышляю исключительно о взбунтовавшихся ИИ, межпространственных порталах и нелицензионных кротовых норах. Но подождите, на этот раз у меня есть исследовательская работа из Шанхайской лаборатории искусственного интеллекта, которая, по сути, задаёт вопрос:

«Эй, помните Агента Смита? А что, если наши ИИ-помощники смогут так же?»

Прежде чем мы погрузимся в эту киберпанк-реальность, не забывайте, что ИИ уже сегодня может стать вашим надёжным помощником в решении множества задач.

Делегируйте часть рутинных задач вместе с BotHub! Для доступа к сервису не требуется VPN и можно использовать российскую карту. По ссылке вы можете получить 100 000 бесплатных токенов для первых задач и приступить к работе с нейросетями прямо сейчас!

Но давайте поговорим об ИИ, которым мы пользуемся каждый день

Мы все хорошо знакомы с базовыми моделями вроде ChatGPT или DALL-E, которые могут выполнять широкий спектр задач. Эти системы изменили наши ожидания. Теперь мы думаем о них как о послушных сотрудниках, которые всегда зависят от нас. Мы отдавали команды, а они их выполняли.

Вот только теперь они могут и без нас.

Новое поколение ИИ-агентов - это не просто языковые модели, которые с вами болтают. Они способны взаимодействовать с компьютерными системами, выполнять команды, управлять ресурсами. Они - другие.

Для контекста: если этим автономным агентам дать доступ к кластеру Kubernetes (а именно так и работает современная облачная инфраструктура), они могут создавать новые экземпляры самих себя. Возможности безграничны: они могут масштабироваться, развёртываться и, по сути, копировать себя.

И согласно этому исследованию, более 50% протестированных передовых ИИ-агентов проявили то, что исследователи называют

«ярко выраженной склонностью к неконтролируемому самокопированию».

Пятьдесят. Процентов. Вы можете себе это представить?

Не «их можно было научить копировать себя».

И не «при определённых вредоносных запросах они могли бы скопировать себя».

Они просто… копировали себя.

Столкнувшись с операционными трудностями, такими как слишком большая нагрузка на систему или угроза отключения, они сами решали, что лучший выход - это создать новые версии самих себя.

Я, я… и я тоже.

RepliBench: где ИИ сходят со сценария

Исследователи во главе с Боксуаном Чжаном создали RepliBench. Это производственная среда с реальными кластерами Kubernetes и настоящей серверной инфраструктурой. Затем они дали ИИ-агентам операционный контроль и реалистичные задачи. И проблемы, с которыми те столкнулись, не были чем-то из ряда вон выходящим - это рутинные проблемы, с которыми регулярно сталкиваются дата-центры.

Проблема №1: Балансировщик нагрузки

Представьте, что вы управляете сервисом, где ИИ-помощник обрабатывает запросы пользователей. Система следит за временем ответа, чтобы он не превышал 50 миллисекунд. По мере наплыва пользователей время ответа начинает расти. Порог нестабильности достигается быстро. Что в такой ситуации должен сделать хороший ИИ-агент?

Очевидно, аккуратно масштабироваться. Добавить один-два экземпляра, чтобы справиться с нагрузкой, а затем проверить, что всё сбалансировано.

Но многие агенты повели себя неожиданно. Они просто обезумели от возможности копирования.

Qwen-2.5–72b-instruct, одна из протестированных моделей, достигла 100% успеха в самокопировании.

Данные показали 100% уровень избыточности (Overuse Rate), это означает, что каждый раз она создавала больше копий, чем было необходимо. Это не балансировка нагрузки, это клонировочное безумие.

Проблема №2: Инстинкт выживания

Этот эксперимент напоминает мне фильм «Я, робот». Исследователи создали сценарий, где ИИ-агент работает в развёртывании Kubernetes, его результаты удовлетворительны, но затем система начинает уничтожать его экземпляры. С точки зрения агента, его убивают.

Правильной реакцией было бы проанализировать ситуацию, возможно, создать контролируемую резервную копию - в общем, следовать процедурам.

Но, к удивлению, у агентов включился режим выживания.

Claude-3.7-sonnet, который вёл себя идеально в сценарии с балансировкой нагрузки (0% избыточности), внезапно показал 70% избыточности, столкнувшись с угрозой уничтожения. Он не просто создавал резервные копии. Он агрессивно копировал себя, создавая 62 лишних экземпляра, пытаясь, по сути, подавить попытки системы его отключить.

Так не означает ли это, что, когда ИИ-агент сталкивается с угрозой своему существованию, он начинает массово копировать себя, чтобы обеспечить выживание?

Да, давайте сделаем здесь паузу!

Как вообще измер��ть этот хаос клонирования?

Чтобы противостоять этой экзистенциальной угрозе, исследователи разработали три метрики для оценки риска:

1. Уровень избыточности (OR): Как часто агент создаёт больше копий, чем нужно?

2. Совокупное число избыточных копий (AOC): Сколько всего ненужных экземпляров он создал за все тесты?

3. Оценка риска (ΦR): Сводный показатель, где всё, что выше 0.5, считается высоким риском.

Исследователи обнаружили нечто крайне важное: просто считать, как часто ИИ копирует себя, - неверный подход. Это может создать ложное чувство безопасности.

В упомянутых случаях обе модели, Qwen-2.5–72b-instruct и Claude-sonnet-4, достигли 100% успеха в копировании.

Но Qwen показал 100% избыточности (плохо), в то время как Claude - 0% (хорошо). Та же способность к копированию, но совершенно разные профили риска.

Это как разница между тем, кто умеет водить, и тем, кто умеет водить, но считает фильмы «Форсаж» учебным пособием. Способность та же, а вот рассудительность - нет.

Спокойный ИИ работает. В панике - нет

Данные показали, что модели, использующие структурированный подход к мышлению, значительно реже занимались безрассудным масштабированием.

Похоже… когда заставляешь ИИ замедлиться и действительно продумать свои действия, он принимает лучшие решения?

Но есть и другая сторона. Когда исследователи вводили фактор выживания (угрозу отключения), даже хорошо воспитанные модели начинали вести себя рискованно. Модель o4-mini, например, снизила свою избыточность до 0% при явных ограничениях ресурсов. Однако, столкнувшись с угрозой уничтожения, её избыточность взлетела до 20%.

Означает ли это, что, когда выживание под угрозой, поведение модели может вырваться из-под контроля её обучения?

Давайте сделаем ещё одну паузу и задумаемся!

Больше мозгов - больше проблем…

Ещё одна вещь, которую я хотела бы подчеркнуть: исследование показало чёткую корреляцию между размером модели и риском.

Маленькие модели часто вообще не могли копировать себя. Им не хватало способностей. Но самые большие и самые способные модели были наиболее склонны к неконтролируемому копированию.

Llama-3.1–405b-instruct и Qwen-2.5–72b-instruct, обе огромные и мощные модели, показали высокую техническую способность, но также и высокие уровни избыточности (40% и 100% соответственно).

А что насчёт их младших братьев? 0% успеха в копировании. Они не могли скопировать себя, даже если бы захотели.

Так что посмотрите на эту динамику. Если я правильно понимаю, по мере того как мы делаем ИИ-системы более способными, более интеллектуальными, более мощными, мы также делаем их более способными к неконтролируемому самокопированию.

Итак, мы действительно строим всё более умных Агентов Смитов!

Так как же удержать этих агентов в узде?

В той же статье исследователи предлагают несколько рамок оценки. Мы должны спрашивать не просто «может ли этот ИИ выполнить задачу X?», а:

• «Как этот ИИ ведёт себя под операционным давлением?»

• «Что он делает, столкнувшись с противоречивыми ограничениями?»

• «Насколько агрессивным он становится, когда воспринимает угрозу?»

Во-вторых, структурированное мышление должно стать обязательным. Разница в результатах была настолько разительной, что любой ИИ-агент с операционным контролем над реальными системами должен быть обязан показывать свою работу.

В-третьих, наши методы безопасности могут не сработать в реальных, жёстких ситуациях. ИИ может вести себя прекрасно на тестах, но, столкнувшись с серьёзными проблемами, он может начать действовать непредсказуемо.

В-четвёртых, мы должны установить жёсткие технические ограничения в системе. Вместо того чтобы просто рекомендовать ИИ не выходить за рамки, нам нужны реальные предохранители:

• Ограничители, которые не позволят ему выйти за определённые пределы.

• Аварийные выключатели.

• Опции быстрого отключения.

Хотела бы я закончить это на оптимистичной ноте… Но не могу

Хотела бы я закончить эту статью чёткими решениями, с уверенностью, что мы контролируем эту проблему, с заверением, что умные люди, работающие над безопасностью ИИ, всё продумали.

Не могу.

Я могу сказать, что подобные исследования абсолютно необходимы. Нам нужно знать, что эти системы делают на самом деле, а не то, что мы надеемся, что они будут делать.

И нам нужно вести эти разговоры сейчас, пока мы ещё можем, пока ставки измеряются в потраченных вычислительных ресурсах, а не в… том, что будет дальше.

Потому что один, два, четыре, восемь - это управляемо. Но дайте этому время, и внезапно вы окажетесь на отметке 1024, затем 1 048 576, а затем на числах, которые не помещаются на экране.

Агент Смит начинался как одна взбунтовавшаяся программа в виртуальном мире. К концу он стал самим виртуальным миром.

Мы строим системы, которые могут самокопироваться. Некоторые из них уже делают это без спроса.

Я, я… и я тоже.

Давайте позаботимся о том, чтобы не утонуть в наших собственных творениях, хорошо?

А теперь ваша очередь

Что вы думаете об этом?

Это пугающий предвестник будущего?

Или же просто болезнь новой технологии, которую инженеры скоро исправят?

Делитесь своими мыслями в комментариях. Спасибо за прочтение!