Говорят, что в будущем ИИ станут настолько умнее, что лишат нас работы, потом ресурсов, и люди вымрут. Так ли это? Под катом интересное мнение Кевина Келли. Если у вас все хорошо с английским, то оригинал публикации вы сможете найти тут.



Сегодня этот вопрос можно услышать от самых разных людей. Их беспокойство отчасти разделяется некоторыми экспертами. Среди обеспокоенных — ярчайшие люди нашего времени, вроде Стивена Хокинга, Элона Маска, Макса Тегмарка, Сэма Харриса и Билла Гейтса. Они верят, что подобный негативный сценарий будущего очень вероятен. На одной из недавних конференций, в ходе панельной дискуссии девяти наиболее просвещённых в сфере ИИ гуру, все участники согласились с тем, что возникновение сверхчеловеческого ИИ неизбежно, и это дело скорого времени.

Однако в этом сценарии спрятано пять предположений, которые, если присмотреться к ним внимательнее, не имеют под собой каких-либо доказательств. В будущем эти утверждения могут стать справедливы, но сегодня они ничем не подкрепляются.

1. Искусственный интеллект уже становится умнее нас, причём растёт в геометрической прогрессии.
2. Мы превратим ИИ в универсальный интеллект, как наш собственный.
3. Мы можем реализовать в кремнии аналог человеческого интеллекта.
4. Интеллект может расти без ограничений.
5. Как только мы получим суперинтеллект, развивающийся со взрывной скоростью, то он сможет решить большинство наших проблем.

В противовес этим господствующим утверждениям можно привести пять ересей, которые сегодня выглядят более обоснованно.

1. Интеллект не является одномерным, то есть «умнее человека» является бессмысленной концепцией.
2. Человеческий разум не является универсальным интеллектом, и ИИ тоже ими не будут.
3. Эмуляция человеческого мышления в других средах будет ограничиваться стоимостью необходимых для этого ресурсов.
4. Размеры интеллекта не безграничны.
5. Интеллекты — лишь один из факторов прогресса.

Если ожидание господства сверхчеловеческого ИИ базируется на пяти ключевых предположениях, не подкреплённых доказательствами, то эта идея больше похожа не религиозное верование — миф. В этой статье будут рассмотрены доказательства пяти вышеприведённых контр-предположений, и показано, что сверхчеловеческий ИИ — это миф.



Наиболее распространённое заблуждение, связанное с ИИ, начинается с распространённого заблуждения относительно естественного интеллекта. Оно заключается в том, что интеллект — одномерен. Большинство технарей отображают интеллект так, как это сделал Ник Бостром в своей книге «Superintelligence» — как одномерный линейный график с возрастающей амплитудой. На одном его конце низкий интеллект, например, небольшого животного; на другом конце высокий интеллект, скажем, гения. Словно интеллект — это уровень громкости звука в децибелах. Конечно, после такого очень легко представить себе рост «громкости», когда интеллект в конце концов достигает нашего уровня, а затем становится ещё «громче» — рёв! — оставляя нас далеко позади, возможно, вообще пробивая потолок.

Эта модель топологически эквивалентна лестнице, у которой каждая ступень интеллекта на шаг выше предыдущей. Младшие животные располагаются ниже нас, а высокоуровневые ИИ неизбежно окажутся на более высоких ступенях. Не столь важно, когда это произойдёт, важно само ранжирование — метрика увеличения интеллекта.



Недостаток этой модели в том, что она мифична, как лестница эволюции. До Дарвина природный мир представлялся лестницей бытия, где младшие животные располагались ниже человека. И даже в постдарвиновскую эру очень часто можно услышать про «лестницу» эволюции, когда рыба эволюционирует в рептилию, затем делает шаг и становится млекопитающим, затем превращается в примата, в человека, на каждом этапе всё больше развиваясь (и, конечно, становясь умнее). Таким образом, лестница интеллекта параллельна лестнице бытия.



Более точная схема естественной эволюции видов — это диск, расходящийся из центра вовне. Вроде представленного выше, придуманного Дэвидом Хиллисом из Техасского университета на основе информации из ДНК. В центре этой генеалогической ма?ндалы — самые примитивные формы жизни, которые развивались вовне с течением времени. Живущие сегодня на планете виды формируют периметр окружности. Эта иллюстрация подчёркивает такой аспект эволюции, который нам трудно принять: все живущие сегодня виды развиты одинаково. Вместе с людьми на этом периметре находятся тараканы, моллюски, папоротники и бактерии. За плечами каждого из видов — единая, непрерывная цепь успешного воспроизведения длительностью три миллиарда лет. То есть все живые существа столь же высокоразвиты, как и человек. И нет никакой лестницы.

Точно так же нет никакой лестницы интеллекта. Интеллект не одномерен. Это сочетание многочисленных типов и режимов процесса познания, каждый из которых является континуумом. Возьмём простейшую задачу измерения интеллекта животных. Если бы интеллект был одномерным, то мы могли бы в соответствующем порядке разместить на шкале интеллекты попугая, дельфина, лошади, белки, осьминога, кита, кошки и гориллы. Но сегодня у нас нет доказательств возможности существования такой шкалы. Одной из причин может быть то, что между интеллектами животных не существует разницы, но мы и этого не знаем. Зоологам известно множество важных отличий между способами мышления животных. Но вдруг все они имеют один и тот же относительно «основной интеллект»? Может быть и так, но мы не можем измерить, у нас нет метрик для этого интеллекта. Зато у нас есть множество разных метрик для многочисленных различных типов познания.



Вместо «уровня децибел» более точной моделью интеллекта будет график его пространства возможностей, вроде приведённой выше иллюстрации. На ней изображены возможные формы, созданные алгоритмом, который написан Ричардом Докинзом (Richard Dawkins).



Интеллект — это комбинаторный континуум. Множество узлов, каждый из которых является континуумом, создают широкое разнообразие многомерных совокупностей. Некоторые интеллекты могут быть очень сложны, с многочисленными ответвлениями мышления. Другие могут быть проще, но с большим разбросом в пространстве. Эти совокупности, называемые интеллектами, можно представить в виде симфоний, включающих в себя всевозможные виды инструментов. Звучание этих инструментов меняется не только по громкости, но и по тону, мелодии, темпу и так далее. Получается целая экосистема. И с этой точки зрения разные узлы мышления взаимозависимы, создаются с учётом своего окружения.

Человеческие разумы — это сообщество разумов, если выражаться словами Марвина Мински (Marvin Minsky). Мы обитаем в экосистемах мышления. Мы состоим из многочисленных видов познания, которые используют различные виды мышления: дедукцию, индукцию, принятие решений посредством манипулирования с символами, эмоциональный интеллект, пространственную логику, кратковременную и долговременную память. Даже нервную систему нашего кишечника можно считать своего рода мозгом, со своим собственным режимом познания. На самом деле мы не думаем одним лишь мозгом, мы делаем это всем телом.

Эти наборы познаний у разных видов разные, и отличаются даже у конкретных существ в рамках одного вида. Белка может годами помнить местонахождение нескольких тысяч желудей, — подвиг, от которого спятит любой человек. Так что в этом конкретном типе познания белка превосходит человека. Эта суперспособность, объединённая с некоторыми другими режимами, уступающими возможностям человека, и формирует разум белки. В мире животных существует множество других специфических познаний, в которых люди сильно уступают, также объединённых в разные системы.



То же самое и с ИИ. Искусственные разумы в некоторых измерениях уже превосходят человека. Ваш калькулятор — гений математики. Память Google уже во многом оставляет нас позади. Мы создаём ИИ, чтобы достигать превосходства в определённых режимах. В каких-то из режимов мы и сами можем что-то делать, но искусственный интеллект делает это лучше, например, расчёт вероятностей или арифметические вычисления. Другие типы мышления нам вообще неподвластны — вроде запоминания каждого слова из 6 миллиардов веб-страниц, что доступно любому поисковику. В будущем мы придумаем совершенно новые режимы познания, которых мы сами лишены, и которые вообще отсутствуют в естественной природе. Придумывая технологию полёта, мы вдохновлялись биологическими видами летания, в основном за счёт движения крыльев. Но в результате мы создали совсем иной способ полёта — вращающийся винт и неподвижные крылья — которого не существует в природе. Это «чужеродный» полёт. Точно так же мы изобретём совершенно новые режимы мышления. В большинстве случаев это будут «маленькие», узкоспециализированные режимы, предназначенные для решения конкретных задач — например, подходящих только статистических или вероятностных расчётов.

В других случаях новые разумы будут представлять собой сложные типы познания, которые можно будет использовать для решения проблем, которые неподвластны одному лишь нашему интеллекту. Например, труднейшие проблемы бизнеса и науки могут потребовать двухэтапного решения.

• Первый этап: изобретение нового режима мышления, чтобы машина могла работать с человеком
• Второй этап: комбинирование двух разумов — машинного и человеческого — для решения проблемы

Поскольку мы будем решать проблемы, которые ранее были нерешаемы, то захотим считать это познание «умнее» нас, но на самом деле оно просто отличается от нашего. Главное преимущество ИИ как раз заключается в непохожести его мышления. Пожалуй, целесообразнее считать ИИ разумом пришельца (или искусственным пришельцем). Его чужеродность и будет его главным ресурсом.

В то же время мы интегрируем различные режимы познания в боле сложные совокупности разумов. Некоторые из них будут сложнее нашего разума. А поскольку они будут способны решать проблемы, которые не смогли решить мы сами, то кто-то захочет назвать их «сверхчеловеческими». Но мы же не зовём Google сверхчеловеческим ИИ, даже хотя его память обширнее, чем у любого из нас. Зато мы можем делать многое другое гораздо лучше. Эти совокупности искусственных интеллектов превзойдут нас во многих измерениях, но ни одна из них не сможет превзойти нас во всём. Это как физическая сила людей. Промышленная революция произошла 200 лет назад, и хотя все эти машины превосходят физические возможности отдельного человека (скорость движения, поднимаемый вес, точность реза и так далее), не существует ни одной машины, способной превзойти человека во всём, что он или она делает.

Хотя совокупность ИИ-разумов будет становиться всё сложнее, на данный момент с научной точки зрения эту сложность трудно измерить. У нас нет хороших операционных метрик сложности, позволяющих научно определить, что огурец сложнее Боинга 747, или каковы могут быть различия в сложности. Это одна из причин, почему у нас до сих пор нет подходящих метрик умности. И будет крайне трудно утверждать, что разум А сложнее разума Б, и сделать вывод, что А умнее Б. Скоро мы придём к очевидному пониманию, что «умность» — не одномерна, и что куда важнее многочисленные способы работы интеллекта — все иные узлы познания, которые мы ещё не открыли.



Второе заблуждение относительно человеческого интеллекта — это наша вера, что мы имеем универсальный разум. Это повторяемое всеми заблуждение привело к тому, основной целью исследования ИИ заявлено создание универсального искусственного интеллекта. Но если рассматривать интеллект как большое пространство возможностей, то окажется, что не существует его универсального состояния. Человеческий интеллект не является центром, вокруг которого вращаются другие специализированные интеллекты. На самом деле наш интеллект является очень, очень специфическим типом интеллекта, который развивался многие миллионы лет, чтобы позволить нашему виду выжить на этой планете. Если создать карту всех возможные интеллектов, то человеческий окажется где-то в углу, как и наша планета болтается на окраинах обширной галактики.

Конечно, мы можем вообразить, и даже изобрести, универсальный, как швейцарский нож, тип мышления. Большую часть задач он будет решать неплохо, но блестяще — ни одну из них. Искусственные интеллекты будут следовать всё той же инженерной максиме, которой должны следовать и все остальные созданные или рождённые вещи и существа: невозможно оптимизировать все измерения. Можно лишь достигать компромиссы. Невозможно иметь универсальную многоцелевую единицу, превосходящую специализированные единицы. Большой разум, «делающий всё», не может делать это самое всё столь же хорошо, как и специализированные разумы. Но поскольку мы верим, что наш разум универсален, то верим и в то, что познание не обязано следовать инженерным компромиссам, что возможно создать интеллект, максимизирующий все режимы мышления. Но этому нет подтверждений. Мы просто не изобрели достаточного разнообразия разумов, чтобы охватить пространство целиком (и до сих пор склонны сводить разумы животных к одному типу, с переменной, меняющейся в одном измерении).



Вера в максимально универсальное мышление отчасти проистекает из гипотезы универсальных вычислений. Она была описана в 1950-м и известна как тезис Чёрча—Тьюринга. Эта гипотеза утверждает, что все вычисления, соответствующие определённому порогу, эквивалентны. Следовательно, существует универсальное ядро всех вычислений, независимо от того, выполняются ли они на одной машине, состоящей из быстрых компонентов или медленных компонентов, или вообще в биологическом мозге — это всё один и тот же логический процесс. А это означает, что можно эмулировать любой вычислительный процесс (мышление) на любой машине, способной выполнять «универсальные» вычисления. На этой концепции основана вера адептов технологический сингулярности, что мы сможем создать кремниевые мозги для помещения человеческого разума, и что мы сможем создавать ИИ по примеру человека, только гораздо умнее. К этой надежде нужно относиться скептически, потому что она базируется на неправильном понимании тезиса Чёрча—Тьюринга.

Начало теории таково: «Учитывая бесконечную ленту [память] и время, все вычисления эквивалентны». Проблема в том, что в реальности ни один компьютер не обладает бесконечной памятью или временем. В реальном мире время играет огромную роль, зачастую этой вопрос жизни и смерти. Да, если не учитывать время, то все виды мышления эквивалентны. Да, можно эмулировать человеческое мышление в любой матрице, если игнорировать время или реальные ограничения по количеству памяти. Но если начать учитывать время, то придётся существенно скорректировать принцип: две вычислительные системы, работающие на совершенно разных платформах, не будут эквивалентны в реальном времени. Можно перефразировать: единственный способ обеспечить эквивалентность режимов мышления — выполнять их в эквивалентных субстратах. Физическая материя, в которой выполняются вычисления — особенно по мере их усложнения — оказывает огромное влияние на тип познания, который может хорошо выполняться в реальном времени.

То есть можно заявить, что единственный способ получить процесс мышления, очень близкий к человеческому, это выполнять все вычисления в биологических тканях, очень похожих на человеческий мозг. Это означает, что очень мощные, сложные искусственные интеллекты, выполняемые в кремниевых микросхемах, будут создавать мощные, сложные разумы, не похожие на человеческий. Если станет возможным создать искусственный мозг на основе выращенных нейронов, то такой разум может быть очень похож на наш. Преимущества такого мозга будут пропорциональны тому, насколько близка будет структура субстрата к структуре мозга человека. Стоимость создания искусственного биомозга будет огромной, и чем ближе по своей структуре она будет к мозгу человека, тем экономичнее мы будем создавать просто … человека. Если что, то сегодня сделать человека можно всего за девять месяцев.

Как упоминалось выше, мы мыслим не только мозгом, но и всем своим телом. Существует масса данных, доказывающих, что нервная система нашего кишечника управляет нашим «рациональным» процессом принятия решений, она может прогнозировать и обучаться. Чем лучше мы моделируем систему человеческого тела, тем ближе мы оказываемся к возможности воспроизвести его. Интеллект, функционирующий в совершенно другом теле (например, в сухом кремнии или влажном углероде) будет мыслить иначе.

Это можно считать не багом, а фичей. Как уже говорилось, отличие в мышлении является главным ресурсом ИИ. И это ещё одна причина, по которой утверждение, что он «умнее человека», является непониманием и введением в заблуждение.



В основе понятия сверхчеловеческого интеллекта — особенно точки зрения, что этот интеллект будет самосовершенствоваться, — лежит вера в неограниченность масштабирования интеллекта. Но этому нет доказательств. Науке неизвестны какие-либо физические измерения во Вселенной, являющиеся бесконечными. Температура не бесконечна — в обе стороны. Конечны время и пространство. Конечна скорость. Возможно, количество чисел бесконечно, но все остальные физические атрибуты — конечны. Есть все основания считать, что и разум конечен. Возникает вопрос — а где же предел интеллекта. Мы склонны верить, что граница находится далеко за пределами нашего разума, гораздо «выше» нас, раз уж мы сами «выше» муравья. Если отвлечься от хронической проблемы одномерности, то где доказательства того, что мы сами не являемся верхней границей интеллекта? Почему наш разум не может быть максимальным? Или, быть может, граница совсем недалеко от нас? Почему верим, что интеллект может расширяться вечно?

Давайте лучше представим наш интеллект как один из миллиона типов возможных интеллектов. Если каждое измерение познания и вычислений имеет предел, если существуют сотни измерений, то мы получаем неисчислимое разнообразие разумов — но ни один из них не является бесконечным в каком-либо измерении. Если мы создадим или подсчитаем это неисчислимое разнообразие разумов, то, само собой, можем посчитать некоторые из них превосходящими нас.

Например:

• Разум наподобие человеческого, но быстрее отвечающий (простейший в представлении искусственный интеллект)
• Очень медленный разум, созданный в основном из гигантских хранилищ данных и памяти
• Глобальный сверхразум, созданный из миллионов отдельных слабых разумов
• Коллективный разум, созданный из очень сильных разумов, но не подозревающих, что они являются частью коллективного.
• Поглощающий сверхразум, созданный из многочисленных сильных разумов, прекрасно осознающих, что являются частью большего целого
• Разум, обученный и предназначенный для расширения вашего собственного разума, не бесполезный для кого-то ещё
• Разум, способный придумать ещё более сильный разум, но неспособный его создать
• Разум, способный создать ещё более сильный разум, но неспособный его придумать
• Разум, способный создать ещё более сильный разум, который, в свою очередь, может создать ещё более сильный разум, и так далее
• Разум, имеющий операционный доступ к своему исходному коду, благодаря чему он может по мере надобности изменять собственные процессы
• Сверхлогический безэмоциональный разум
• Разум для решения общих проблем, но без самосознания
• Разум с самосознанием, но не способный решать общие проблемы
• Разум, который долго развивается и требует защиты, пока не окрепнет
• Сверхмедленный разум, распределённый по объектам, находящимся очень далеко друг от друга, и «незаметный» для быстрых разумов
• Разум, способный быстро клонировать себя фиксированное количество раз
• Разум, способный клонировать себя и формировать объединение клонов
• Разум, способный жить вечно, мигрируя с платформы на платформу
• Быстрый, динамичный разум, способный менять процессы и характеристики своего процесса познания
• Наноразум мельчайшего размера (физически и по потреблению энергии) с самосознанием
• Разум, специализирующийся на создании сценариев и прогнозировании
• Разум, никогда ничего не удаляющий и не забывающий, включая ошибочную или неверную информацию
• Симбиотический разум полумашины-полуживотного
• Разум человека-киборга
• Разум, использующий квантовую логику, которая нам непонятна

Идём далее. Верующие в сверхчеловеческий ИИ предполагают, что интеллект будет возрастать в геометрической прогрессии (по какому-то неопределённому отдельному показателю). Вероятно, причина в том, что они полагают, будто он уже растёт с такой динамичностью. Однако нет никаких доказательств, что интеллект — не важно, как вы это измеряете — растёт по экспоненте. Под этим я подразумеваю удвоение мощи с каким-то регулярным интервалом. Где доказательства? Их нет. А если этого нет сейчас, то почему мы должны предполагать, что скоро это произойдёт? Единственная вещь, растущая экспоненциально, это входные данные для ИИ, ресурсы, предназначенные для генерирования умности или интеллектуальности. Но рост выходной производительности не подчиняется закону Мура. ИИ не становится вдвое умнее каждые три года, или даже каждые 10 лет.



Я опросил многих экспертов в сфере ИИ, есть ли у них доказательства того, что производительность интеллекта растёт по экспоненте, и все согласились с тем, что не существует метрик для интеллекта. Да его и нельзя измерить таким образом. Когда я спросил Рея Курцвейла (Ray Kurzweil), где доказательства экспоненциального развития ИИ, он написал мне, что ИИ развивается не взрывным образом, а по уровням. Он сказал: «Он экспоненциально улучшает вычислительную и алгоритмическую сложности и добавляет следующий уровень к иерархии … Так что мы можем ожидать линейного добавления уровней, потому что каждый новый уровень требует экспоненциального увеличения сложности. А наша способность увеличивать сложность действительно растёт экспоненциально. Осталось не так много уровней, когда мы сможем узнать возможности искусственного мозга, так что мой прогноз относительно 2029 года выглядит для меня обоснованным».

Похоже, Рей говорит, что экспоненциально растёт не мощь ИИ, а усилия по его созданию, в то время как выходная производительность просто поднимается по уровню за раз. Это практически противоречит предположению о взрывном росте интеллекта. Возможно, в будущем ситуация изменится, но сейчас ИИ однозначно не растёт экспоненциально.

Следовательно, когда мы представляем себе «интеллектуальный взрыв», то должны представлять его не как каскадный взрыв, а как «листопад» множества новых видов. Результатом ускорения технологий наверняка станет не сверхчеловеческий, а экстрачеловеческий разум. Его возможности будут за границами нашего опыта, но не обязательно «выше» нас.



Ещё одно неоспоримое убеждение, связанное с господством ИИ, заключается в том, что почти безграничный сверхинтеллект сможет быстро решить наши главные неразрешимые проблемы.

Многие сторонники взрывного развития интеллекта считают, что это приведёт и к взрывному прогрессу. Это мифическое убеждение можно назвать «мышлинизмом». Это заблуждение о том, что дальнейшему прогрессу мешает лишь нехватка мощи интеллекта. Можно ещё отметить, что вера в то, что мышление — это волшебный ингредиент для решения всех проблем, характерна для многих парней, которые любят подумать.

Возьмём лечение рака или продление жизни. Эти проблемы не решить одними лишь размышлениями. Никакое количество мышлинизма не поможет понять, как стареют клетки, или как отпадают теломеры. Никакой интеллект, неважно, насколько он супер-пупер, не сможет вычислить, как работает человеческое тело, просто прочитав всю известную научную литературу в мире и хорошенько над ней поразмыслив. Никакой супер-ИИ не сможет просто поразмышлять над всем текущими прошлыми экспериментами по ядерному делению и за день придумать технологию получения ядерной энергии. Нужно гораздо больше, чем мышление, чтобы перейти от незнания, как работают вещи, к знанию. Нужно провести множество экспериментов, каждый из которых даёт множество противоречивых данных, требующих дальнейших экспериментов, которые потребуют выработки корректно работающих гипотез. Размышления о потенциальных данных не приведёт к получению корректных данных.



Мышление (интеллект) — лишь часть науки. Возможно, даже небольшая часть. Например, у нас нет достаточного количества нужных данных, чтобы приблизиться к решению проблемы смерти. При работе с живыми организмами большинство экспериментов занимают какое-то календарное время. Не получится ускорить медленный метаболизм клетки. На получение результатов уходят годы, месяцы, или хотя бы дни. Если мы хотим узнать, что происходит с субатомными частицами, то мы не можем просто поразмыслить над этим. Нужно построить очень большие, очень сложные установки, чтобы отыскать ответы на вопросы. Даже если умнейшие физики будут в 1000 раз умнее современных учёных, без коллайдера они не узнают ничего нового.

Несомненно, искусственный сверхинтеллект может ускорить развитие науки. Мы сможем выполнять компьютерное моделирование атомов или клеток, ускорять изменение многих параметров. Но польза моделирования для мгновенного достижения прогресса ограничена двумя факторами:

1. Симуляции и модели могут быть быстрее оригиналов только тогда, когда они что-то отбрасывают. Такова их природа.
2. Тестирование, проверка и доказательство моделей должны занимать календарное время, соответствующее скорости протекания/жизни оригиналов. Нельзя ускорить проверку экспериментальных данных.

Использование в симуляциях таких упрощённых версий полезно для отсеивания наиболее многообещающих частей, которые могут ускорить прогресс. Но в реальности нет ничего лишнего. В реальности всё играет какую-то роль, таково одно из определений реальности. Если скармливать моделям и симуляциям всё больше и больше данных, то придём к тому, что они будут работать медленнее, чем реальные процессы, которые мы моделируем. Другое определение реальности: наиболее быстрая возможная версия всех имеющихся подробностей и степеней свободы. Если бы можно было смоделировать все молекулы клетки и все клетки человеческого тела, то такая симуляция не будет работать быстрее самого тела. И не важно, как много об этом думаешь — тебе нужно ещё время для проведения экспериментов, не важно, в реальных или виртуальных системах.



Чтобы быть полезными, искусственные интеллекты должны быть встроены в мир, а этот мир часто устанавливает свой темп инноваций. Без проведения экспериментов, создания прототипов, провалов и борьбы, интеллект может размышлять, но безрезультатно. Когда появится так называемый «ИИ умнее человека», то он не будет сразу генерировать открытия за минуту, за час, за день или за год. Конечно, с развитием ИИ частота открытий заметно повысится, отчасти потому, что непохожий на нас разум будет задавать вопросы, на которые не сможет ответить ни один человек. Но даже чрезвычайно сильный (по сравнению с нами) интеллект не приведёт к моментальному прогрессу. Для решения проблем нужно гораздо больше, чем один лишь интеллект.

Сам по себе ИИ не сможет решить проблемы не только рака и долгожительства, но и проблему самого интеллекта. Среди адептов сингулярности популярна метафора, что когда мы создадим ИИ «умнее человека», тогда он вдруг поднапряжётся и придумает ИИ «умнее самого себя», который тоже поднапряжётся и изобретёт ещё более умный ИИ, и так далее, пока не появится богоподобный интеллект. У нас не доказательств тому, что одного лишь размышления об интеллекте достаточно для создания интеллекта нового уровня. Подобный мышлинизм — это верование. Есть много доказательств, что для создания новых типов успешных разумов в дополнение к большому объёму интеллекта нужны эксперименты, данные, метод проб и ошибок, и прочие вещи помимо умности.

Конечно, эта точка зрения может быть ошибочной. Мы ещё в начале пути. Мы можем открыть какую-то универсальную метрику для интеллекта. Мы можем открыть бесконечность во всех направлениях. Поскольку мы так мало знаем о том, что такое интеллект (не говоря уж о сознании), возможность некой ИИ-сингулярности всё-таки больше нуля. Согласно всем доказательствам, такой сценарий очень маловероятен, но всё же вероятность его не нулевая.
И хотя можно не верить в вероятность сингулярности, но можно согласиться с членами OpenAI и многими умными людьми, которых беспокоит тема сверхчеловеческого ИИ. Мы должны создать дружелюбные ИИ и придумать, как привить им ценности самовоспроизведения, соответствующие нашим. И хотя сверхчеловеческий ИИ может быть отдалённой возможной экзистенциальной угрозой, учёные, политики и разработчики не должны ориентироваться на её вероятность (базирующуюся на имеющихся сегодня доказательствах). Падение крупного астероида на Землю будет катастрофическим. Вероятность этого больше нуля, но мы не должны позволять её влиять на наши усилия, скажем, в изменении климата, космических путешествиях или планировании городов.



Согласно имеющимся доказательствам, ИИ наверняка будут не «сверхлюдьми», а многочисленными новыми видами «экстралюдей», сильно отличающимися от нас. Ни один из них не будет универсальным, и не один не сможет божественным образом решить во плоти наши основные проблемы. Скорее, мы получим целую галактику интеллектов, работающих в неизвестных измерениях, во многих из них превосходящих нас, совместно трудящихся с нами над решением существующих и созданием новых проблем.

Вполне можно понять изумительное притяжение идеи сверхчеловеческого ИИ-бога. Это как новый Супермен. Но как и супергерой, это мифический персонаж. Возможно, где-то во Вселенной Супермен и существует, но это очень маловероятно. Однако мифы могут быть полезны, и однажды возникшие, они не исчезают. Супермен никогда не умрёт. Идея сверхчеловеческой ИИ-сингулярности тоже не исчезнет. Но нужно понимать, что, на данный момент, это религиозная ненаучная идея. Если изучить имеющиеся сведения об интеллекте, искусственном и естественном, то можно прийти лишь к заключению, что наши спекуляции о сверхчеловеческой ИИ-боге — просто миф.

Население многих изолированных островов Микронезии впервые познакомилось с внешним миром только во время Второй мировой войны. Боги-пришельцы прилетели с небес на шумных птицах, сбросили еду и вещи, и больше не вернулись. Но островах возникли религиозные культы, верующие молились, чтобы боги вернулись и сбросили ещё. Даже спустя более чем 50 лет многие из жителей островов ждут богов с небес. Вероятно, что сверхчеловеческий ИИ обернётся в ещё один культ карго. Столетие спустя люди будут думать о нашем времени как о моменте появления верующих, ожидающих пришествия сверхчеловеческого ИИ, который принесёт им невообразимые блага. Десятилетия они ждут его появления, уверенные, что он скоро должен появиться со своими дарами.

Но пока не существует никакого сверхчеловеческого искусственного интеллекта. Мы продолжаем его пересматривать и усложнять. Но в более широком понимании, чуждые нам разумы — из огромного спектра умности, интеллектуальности, способности к познанию, логическому мышлению, обучению и самосознанию — уже распространились по планете и будут продолжать распространяться, внедряясь всё глубже, диверсифицируясь и усиливаясь. Никакое из прошлых изобретений не сравнится с этой силой, которая меняет наш мир, и к концу столетия ИИ изменит все аспекты нашей жизни. Однако миф о сверхчеловеческом ИИ, готовом либо осыпать нас изобилием, либо погрузить в тотальное рабство (или всё вместе), вероятно, будет жить. Быть может, он слишком мифичен, чтобы от него отказаться.