Статья «Дарвин среди машин» Батлера предупреждала о появлении механической расы, которая может поработить человечество

Хотя беспокойство о восстании ИИ может показаться современной идеей, вдохновлённой такими фильмами, как «Военные игры» или «Терминатор», оказывается, что подобная озабоченность господством машин возникла ещё во времена Гражданской войны в Америке, хотя и у английского фермера, жившего в Новой Зеландии. Теоретически Авраам Линкольн мог прочитать о бунте ИИ ещё при жизни.

13 июня 1863 года в газете The Press из Крайстчерча было опубликовано письмо, в котором фермер предупреждал о потенциальных опасностях механической эволюции и призывал к уничтожению машин, предвещая развитие того, что мы сейчас называем искусственным интеллектом, и ответную реакцию против него со стороны людей, опасающихся, что он может угрожать человечеству вымиранием. В книге приводится, возможно, первый опубликованный аргумент в пользу остановки технического прогресса, чтобы не допустить господства машин над человечеством.

Письмо, озаглавленное «Дарвин среди машин», недавно вновь появилось в социальных сетях благодаря Питеру Уайлдфорду из Института политики и стратегии ИИ. Автор письма, Сэмюэл Батлер, представил его под псевдонимом Cellarius, но позже публично подтвердил свою позицию. В письме проводились прямые параллели между теорией эволюции Чарльза Дарвина и стремительным развитием машин, предполагалось, что машины могут развить у себя сознание и в конечном итоге вытеснить человека как доминирующий вид на Земле.

«Мы сами создаём своих преемников, — писал он. — Мы ежедневно совершенствуем красоту и изящество их физической организации; мы ежедневно наделяем их большей силой и снабжаем всевозможными хитроумными приспособлениями ту саморегулирующуюся, самодействующую силу, которая станет для них тем, чем был интеллект для человеческой расы. С течением времени мы обнаружим, что являемся низшей расой».

В письме он также изобразил постепенное превращение людей в рабов машин — сначала через превращение в смотрителей, которые будут поддерживать и помогать воспроизводить механическую жизнь. Эти отношения Батлер сравнивал с отношениями между людьми и домашними животными. Но потом эти отношения переворачиваются с ног на голову и машины берут управление на себя.

«Мы полагаем, что когда наступит то состояние вещей, которое мы пытались описать выше, человек станет для машины тем же, чем лошадь и собака являются для человека... мы даём им всё лучшее из того, чему учит нас опыт... Таким же образом разумно предположить, что машины будут относиться к нам доброжелательно, поскольку их существование зависит от нашего, как и наше от низших животных», — писал он.

В тексте предвосхищены некоторые современные проблемы безопасности ИИ, в том числе возможность возникновения машинного сознания, самовоспроизведения и потери человеком контроля над своими технологическими творениями. Эти темы позже появились в таких произведениях, как «Неизбежный конфликт» Айзека Азимова, романе «Дюна» Фрэнка Герберта (Батлер, возможно, послужил вдохновением для термина «батлерианский джихад») и фильме «Матрица».

В письме Батлер глубоко погрузился в таксономию эволюции машин, обсуждая механические «роды и подроды» и указывая на примеры того, как часы развились из «громоздких часов тринадцатого века», — предполагая, что, подобно некоторым ранним позвоночным, механические виды могут становиться меньше по мере усложнения. Он развил эти идеи в своём романе 1872 года «Эревон», в котором изобразил общество, запретившее большинство механических изобретений. В его вымышленном обществе граждане уничтожали все машины, изобретённые за предыдущие 300 лет.

Опасения Батлера по поводу эволюции машин вызвали неоднозначную реакцию, как пишет Батлер в предисловии ко второму изданию «Эрефона». Некоторые рецензенты, по его словам, восприняли его произведение как попытку сатирического осмысления эволюционной теории Дарвина, хотя Батлер это отрицал. В письме Дарвину в 1865 году Батлер выразил глубокую признательность за «Происхождение видов», написав, что оно его «основательно увлекло», и объяснил, что защищал теорию Дарвина от критиков в новозеландской прессе.

Что делает видение Батлера особенно примечательным, так это то, что он творил, находясь в совершенно ином технологическом контексте, когда вычислительные устройства только начали появляться. В то время как Чарльз Бэббидж в 1837 году предложил свою теоретическую «Аналитическую машину», самые передовые вычислительные устройства 1863 года были не более чем механическими калькуляторами и логарифмическими линейками.

Батлер экстраполировал свои выводы на простые машины времён промышленной революции, когда механическая автоматизация преобразовывала производство, но ничего похожего на современные компьютеры не существовало. Первый работающий компьютер с программным управлением появится только через 70 лет, что делает его предсказания о машинном интеллекте поразительно прозорливыми.

Некоторые вещи никогда не меняются

Дебаты, начатые Батлером, продолжаются и сегодня. Два года назад мир столкнулся с тем, что можно назвать «великим страхом захвата ИИ в 2023 году». GPT-4 от OpenAI только что выпустили, и исследователи оценили его «стремление к захвату власти», повторяя опасения по поводу потенциального самовоспроизведения и автономного принятия решений.

Выход GPT-4 вдохновил несколько открытых писем, подписанных исследователями ИИ и руководителями технологических компаний, предупреждающих о потенциальном риске вымирания, который несёт в себе развитый искусственный интеллект. Одно из писем, напоминающее опасения по поводу ядерного оружия или пандемий, призывало к глобальной паузе в развитии ИИ. Примерно в то же время генеральный директор OpenAI Сэм Альтман рассказал об опасностях ИИ в Сенате США.

Год спустя законодатель Калифорнии Скотт Винер предложил законопроект о регулировании ИИ, поддержанный видными деятелями, которых критики назвали «очернителями ИИ» — теми, кто опасается неконтролируемого развития машинного интеллекта. Противники законопроекта утверждали, что подобные меры чрезмерно раздуты и могут затормозить инновации, подобно тому, как это произошло в вымышленном обществе Батлера. Однако его призыв XIX века приостановить механический прогресс имеет поразительное сходство с недавними открытыми письмами и политическими предложениями по безопасности ИИ.

Возможно, великий испуг по поводу бунта ИИ однажды будет рассматриваться как ещё одна глава в долгой борьбе человечества за примирение прогресса с надлежащим человеческим контролем — борьбе, которую Батлер предвосхитил более 160 лет назад. Но в некотором смысле, даже если машины никогда не станут по-настоящему разумными, он всё равно был до жути точен, говоря о нашей зависимости от того, как они алгоритмически регулируют нашу жизнь.

«Однако день за днём машины одерживают над нами верх, день за днём мы становимся всё более покорными им, — писал Батлер в 1863 году. — Итог — это просто вопрос времени, а в том, что придёт время, когда машины станут реально господствовать над миром и его обитателями, ни один человек с истинно философским складом ума не может усомниться ни на минуту».

Батлер не закончил своё письмо пассивным принятием этой судьбы. Подобно предложению Элиезера Юдковского о бомбардировке дата-центров в 2023 году для предотвращения бунта ИИ, письмо Батлера завершилось драматическим призывом к оружию: «Против них должна быть немедленно объявлена война на смерть. Каждая машина любого вида должна быть уничтожена теми, кто желает добра людям. Пусть не будет никаких исключений, никаких поблажек; давайте немедленно вернёмся к первобытному состоянию расы».

Но даже тогда он опасался, что может быть уже слишком поздно, и писал, что если такое уничтожение окажется невозможным из-за нашей растущей зависимости от них: «Это сразу же доказывает, что беда уже пришла, что наше рабство началось всерьёз, что мы породили расу существ, уничтожить которых не в наших силах».