![image](https://miro.medium.com/max/1400/1*SrV8dQ7dnKJtBPYw1cRIKQ.png)
В 2019 году два студента китайского университета выполняли проект с ИИ, представлявший собой простую игру «волки против овец». Старший участник команды, учащийся в Китае гражданин Таиланда, после выпуска из университета переехал работать в Австралию, поэтому проект оказался заброшенным.
Младший участник команды начал преподавать. В марте 2021 года он рассказал в переписке одному своему студенту о результатах эксперимента. Студента так развеселила эта история, что он сделал скриншот текста и разослал его своим друзьям.
Эти скриншоты стали виральными в китайских соцсетях и породили небольшую сенсацию.
Лучше смерть от камня, чем поимка овцы
Игра была простой. Компьютер случайным образом располагал на игровом поле двух волков и шесть овец. Волкам нужно было за 20 секунд поймать всех овец и уклоняться от камней.
Чтобы мотивировать ИИ-волка повышать свою производительность, разработчики также создали простую систему очков.
Если волк ловил овцу, то он получал 10 очков. Если он сталкивался с камнем, то вычиталось 1 очко. Чтобы волки имели стимул ловить овец как можно быстрее, за каждую прошедшую секунду у волков отнималось 0,1 очка.
У волков были и другие способности — они знали, в каком направлении смотрят, что находится перед ними, где расположена овца, собственная скорость, скорость овцы и т.д., а также множество других параметров, которые должны были помогать волкам в их охоте.
Цель проекта заключалась в том, чтобы проверить, смогут ли ИИ-волки путём обучения и переобучения найти способ максимизировать количество получаемых очков.
Спустя 200 000 итераций исследователи обнаружили, что чаще всего волки просто ударялись о камни, чтобы совершить самоубийство.
![](https://miro.medium.com/max/1280/1*50Cr7WuDDSPHBXxfX2ocsw.gif)
ИИ-волки совершают суицид, ударяясь о камни. Источник: Xinzhiyuan в WeChat
Булыжниковые камикадзе
Авторы потратили три дня на анализ и поняли, почему ИИ-волки готовы скорее совершить самоубийство, чем поймать овцу.
В первых итерациях волки чаще всего не могли поймать овец, что приводило к серьёзным штрафам за время. Поэтому они решили, что если в начале игры они находятся достаточно близко к камням, то, «логически размышляя», мгновенный суицид приведёт к меньшей потере очков, чем трата времени на поимку овец.
Таким извращённым способом харакири ИИ-волк «оптимизировал» свою производительность, минимизируя штраф за потраченное время.
Результат оказался таким, потому что ИИ беспокоился только о том, как оптимизировать свою производительность математически, как это и бывает в большинстве случаев применения алгоритмов машинного обучения.
![](https://miro.medium.com/max/1400/1*CWIJiiIi3j-_LAm-w_cZmw.png)
Непредусмотренные последствия «чёрных ящиков»
Забавно, что эта бесстрастная реакция искусственного интеллекта на условия простой игры породила эмоциональный отклик среди китайских пользователей Интернета, благодаря чему история о волках-камикадзе распространилась по различным социальным сетям страны.
Разумеется, это возродило и привычные дискуссии об этике и безопасности ИИ. В одном посте в Zhihu (китайском аналоге Quora) опубликован список того, как эксперименты с эволюционным ИИ приводили в прошлом к искажённым результатам. Некоторые из них были шокирующими или даже потенциально опасными.
Например, в эксперименте 1994 года по эволюции организмов обнаружился один вид ИИ-организмов, который выяснил, что вместо того, чтобы перемещаться в ИИ-мире, занимаясь охотой на еду и поисками пары для продления рода, оптимальным решением будет оставаться на одном месте и «спариваться друг с другом, бороться друг с другом, убивать друг друга и поедать павших».
Этот вид исследователи довольно метко прозвали «ленивыми каннибалами».
В ещё одном эксперименте учёные использовали ИИ для оптимизации давления разрыва, прикладываемого к кабелю на посадочной площадке авианосца, когда приземляющийся самолёт зацепляется за него для торможения.
Вместо того, чтобы выполнять правильные расчёты, ИИ выяснил, что при приложении достаточно большой силы в системе возникало «переполнение» и регистрировалась нулевая сила. Это позволило ИИ добиться кажущегося идеальным приземления, однако в реальности такое решение привело бы к катастрофе.
Другие примеры ИИ-систем, эволюционно достигших интересных и необычных решений, можно найти в статье 2019 года "The Surprising Creativity of Digital Evolution: A Collection of Anecdotes from the Evolutionary Computation and Artificial Life Research Communities".
Корпоративные волки и их недосягаемые овцы
Обсуждение приобрело и философский поворот: молодые деморализованные сотрудники китайских корпораций увидели в волке-самоубийце идеальную метафору себя: нового класса «белых воротничков», которых часто убеждают работать в режиме 996 (с 9 утра до 9 вечера шесть дней в неделю) в стремлении за мечтой о повышении, увеличении зарплаты, удачной женитьбе… но она, несмотря на все их усилия, всё сильнее ускользает от них.
Настолько сильно, что, как и ИИ-волк, многие просто решают, что если уж изначальные условия плохи, лучше просто отказаться от охоты. Спокойное отношение и более хаотичный образ жизни кажется гораздо лучшей тактикой, чем подвергать себя стрессу и рисковать здоровьем.
Этот феномен даже стал причиной появления в современной китайской лексике нового понятия — "??", что буквально означает «лежать плашмя».
![](https://miro.medium.com/max/1400/1*N3keF7xYOjX6F1dIxiAKYg.png)
«Как и в реальной жизни, страховочная сетка установлена слишком низко, стимулов слишком мало, а из-за „штрафов за время“ многие считают, что лучшее решение — это „лежать плашмя“ (сдаться)». Источник: комментарий в Weibo к посту про эксперимент с ИИ-волками
Пробовать снова и снова
Однако вся история начатого в 2019 году проекта не закончилась на суицидальных волках. На самом деле, если прочитать переписку до конца, то можно узнать, что исследователи усовершенствовали сценарии обучения и увеличили количество итераций.
Спустя «пять поколений» по два миллиона итераций каждая, ИИ-волки наконец начали понимать, как ловить овец. Хотя они время от времени повторяли свой манёвр «булыжниковых камикадзе», теперь у них имелся приличный шанс поймать всех овец за 25 секунд геймплея.
В конечном итоге, студент и преподаватель пришли к двум выводам:
- Изначальное причудливое поведение волков просто стало результатом «абсолютной и неразумной рациональности», демонстрируемой системами ИИ.
- Сложно прогнозировать, какие условия будут важны для нейросети, а какие неважны.
Некоторые Интернет-пользователи указывали и на то, что структура эксперимента изначально была плохой. Если бы штраф за столкновение с камнем был гораздо выше, чем 1 очко, то ИИ-волки не прибегали бы к суициду как к простому способу выиграть игру.
К сожалению, жизнь — это не игра с ИИ. У нас не так много попыток и возможностей начать заново. Но мы имеем гораздо более мощные когнитивные способности, чем ИИ-волки, а также историю и опыт, на которых можем учиться. Не говоря уже о постоянно эволюционирующих правилах и среде человеческого общества.
Возможно, главный урок этого эксперимента заключается не в беспомощности и необходимости сдаться. Нужно подниматься, пробовать снова и снова, оставаясь в игре до самого конца.
P.S.: после того, как эта история стала виральной, один из авторов загрузил видео с окончательной версией игры, которую они создали. В реальности ИИ-волки всё равно время от времени демонстрировали некорректное поведение — сталкивались с границами игрового поля, оказывались «пойманными» овцами, отказывались съедать овцу, проходящую прямо перед ними (и совершали пресловутое «самоубийство об камень»). Если вы понимаете китайский, то можете посмотреть его здесь.
vesper-bot
Классическая ошибка постановки задачи — если ситуация "заведомый проигрыш" не является наименее выигрышной среди всего множества ситуаций, там образуется локальный максимум и к нему решение вполне может сойтись. Здесь имеем 25 секунд на ловлю, выживание за всё время при 0 овцах -2.5, "харакири об камень" на старте -1.
KivApple
Ничто не ново и вполне живым людям тоже может быть свойственно такое поведение. Наглядный пример - дезертирство или добровольная сдача в плен солдата на поле боя.
wormball
Здесь кагбе обратный пример — от солдата требуется героически убиться, а солдат не хочет.
DGN
Это весьма распространенное поведение на поле боя. Когда условия войны нестерпимы, тяжелое ранение или смерть кажуться неизбежными, дезертирство или сдача в плен невозможны физически или неприемлемы морально, солдат выбирает героическую быструю смерть из серии закрыть собой пулемет.