Мы уже устали от потока статей на тему "ИИ или статистический попугай?". Но тема "сознания в машине" не перестаёт быть одной из самых важных для человечества по состоянию на сегодня, май 2026 года. Представляю перевод одной из наиболее интересных работ на эту тему. Дэвид Дж. Чалмерс, австралийский философ, профессор, специализирующийся в области философии сознания (и один из наиболее известных учёных, сосредоточенных на проблеме сознания), на конференции 28 ноября 2022 года прочитал доклад о том, как же всё-таки попытаться найти способ "измерения сознания" у LLM?

Может ли большая языковая модель обладать сознанием?

Дэвид Дж. Чалмерс

Could a Large Language Model be Conscious?

David J. Chalmers

[Опубликовано в Boston Review, 9 августа 2023 г. Настоящий текст представляет собой отредактированную версию доклада, представленного на конференции по нейронным системам обработки информации (NeurIPS) 28 ноября 2022 г., с некоторыми незначительными добавлениями и сокращениями.]

Когда в июне 2022 года Блейк Лемуан, инженер-программист Google, заявил, что обнаружил признаки разумности и сознания у LaMDA 2 (языковой модели, основанной на искусственной нейронной сети), это его утверждение было встречено с большим недоверием. Представитель Google сообщил:

«Наша команда рассмотрела опасения Блейка и уведомила его о том, что имеющиеся данные не подтверждают его заявления. Ему было сказано, что доказательств разумности LaMDA не существует (зато имеется множество доказательств обратного)» (Washington Post, 11 июня 2022 г.).

Вопрос о доказательствах вызвал мой интерес. Каковы имеющиеся у нас или возможные доказательства наличия сознания у больших языковых моделей и каковы могут быть доказательства его отсутствия? Именно об этом пойдет речь в данной работе.

Языковые модели — это системы, присваивающие вероятности последовательностям текста. Получив некоторый начальный текст, они используют эти вероятности для генерации нового текста. Большие языковые модели (LLM), такие как широко известные GPT, представляют собой языковые модели, использующие гигантские искусственные нейронные сети. Это обширные сети взаимосвязанных нейроноподобных элементов, обученные на колоссальных объемах текстовых данных, которые обрабатывают текстовые входные сигналы и выдают текстовые выходные данные. Эти системы используются для генерации текста, который становится всё более похожим на человеческий. Многие отмечают появление зачатков интеллекта в этих системах, а некоторые усматривают признаки сознания.

Проблема сознания LLM принимает различные формы. Обладают ли сознанием современные большие языковые модели? Могут ли будущие большие языковые модели или их расширения стать сознательными? Какие препятствия необходимо преодолеть на пути к созданию сознательных систем ИИ? Каким может быть сознание у LLM? Следует ли нам создавать сознательные системы ИИ или это является ошибкой?

Меня интересуют как современные LLM, так и их преемники. К последним я отношу так называемые системы LLM+, или расширенные большие языковые модели. Такие расширенные модели дополняют чисто текстовые или языковые способности базовой языковой модели дополнительными возможностями. Существуют мультимодальные модели, которые добавляют обработку изображений и звука, а иногда и управление физическим или виртуальным телом. Есть модели, расширенные такими действиями, как запросы к базам данных и выполнение программного кода. Поскольку человеческое сознание мультимодально и неразрывно связано с действием, можно утверждать, что подобные расширенные системы являются более перспективными кандидатами на обладание человекоподобным сознанием, нежели чистые LLM.

Мой план изложения таков. Во-первых, я попытаюсь прояснить саму проблему сознания. Во-вторых, кратко рассмотрю аргументы в пользу наличия сознания у современных больших языковых моделей. В-третьих, более подробно проанализирую аргументы против того, что большие языковые модели обладают сознанием. Наконец, я сделаю выводы и завершу работу возможным планом достижения сознания в LLM и их расширениях.

1. Сознание

Что такое сознание и что такое разумность (sentience)? В моем понимании термины «сознание» и «разумность» являются примерно эквивалентными. Под сознанием и разумностью я понимаю субъективный опыт. Существо обладает сознанием или разумностью, если оно имеет субъективный опыт, такой как опыт видения, чувствования или мышления.

Выражаясь словами моего коллеги Томаса Нагеля, существо обладает сознанием (или субъективным опытом), если ему присуще некое внутреннее переживание собственного бытия. Нагель написал знаменитую статью с вопросом в заглавии: «Каково это — быть летучей мышью?»¹

(1) Томас Нагель, «Каково это — быть летучей мышью?» (What is it like to be a bat?). Philosophical Review 83:435-50, 1974.

Трудно узнать точно, каков субъективный опыт летучей мыши, когда она использует эхолокацию для ориентирования в пространстве, но большинство из нас полагает, что существует некое ощущение, описание того, каково это — быть летучей мышью. Она обладает сознанием. У нее есть субъективный опыт.

С другой стороны, большинство людей считает, что нет ничего, описывающее ощущение быть, скажем, бутылкой с водой. У бутылки отсутствует субъективный опыт.

Сознание имеет множество различных измерений. Во-первых, это сенсорный опыт, связанный с восприятием, например видение красного цвета. Во-вторых, это аффективный опыт, связанный с чувствами и эмоциями, например ощущение грусти. В-третьих, это когнитивный опыт, связанный с мышлением и рассуждением, например напряженное размышление над проблемой. В-четвертых, это агентивный опыт, связанный с действием, например принятие решения действовать.

Существует также самосознание, то есть осознание самого себя. Каждое из перечисленных явлений является частью сознания, хотя ни одно из них не исчерпывает его целиком. Все они представляют собой измерения или компоненты субъективного опыта.

Полезно провести еще ряд различий. Сознание не тождественно самосознанию. Сознание также не следует отождествлять с интеллектом, под которым я понимаю в целом способность к сложному целенаправленному поведению. Субъективный опыт и объективное поведение — это совершенно разные вещи, хотя между ними могут существовать связи.

Важно отметить, что сознание не эквивалентно интеллекту человеческого уровня. В некоторых отношениях это менее строгий критерий. Например, среди исследователей существует консенсус относительно того, что многие животные, не относящиеся к человеку, такие как кошки, мыши или, возможно, рыбы, обладают сознанием. Таким образом, вопрос о том, могут ли LLM быть сознательными, не эквивалентен вопросу о том, обладают ли они интеллектом человеческого уровня. Эволюция пришла к сознанию раньше, чем к сознанию человеческого уровня. Не исключено, что и LLM может пройти похожий путь.

Термин «разумность» (sentience) является ещё более неоднозначным и запутанным, чем термин «сознание». Иногда он используется для обозначения аффективного опыта, такого как счастье, удовольствие, боль, страдание, то есть всего, что имеет положительную или отрицательную оценку. Иногда он применяется к самосознанию. Порой он используется для обозначения интеллекта человеческого уровня. Иногда люди используют слово «разумный» просто в значении «реагирующий», как в недавней статье, утверждающей, что нейроны являются разумными². Поэтому я буду придерживаться термина «сознание», поскольку в отношении него существует по крайней мере более стандартизированная терминология.

(2) Бретт Каган и соавт., «Нейроны in vitro обучаются и проявляют сентиентность (способность чувствовать), будучи воплощенными в смоделированном игровом мире» (In vitro neurons learn and exhibit sentience when embodied in a simulated game-world). Neuron 110: 3952-69, 2022.

У меня есть множество взглядов на то, что же такое сознание, но я не буду исходить из слишком большого количества предпосылок. Например, ранее я утверждал, что существует «трудная проблема» объяснения сознания, но здесь она не будет играть центральной роли. Я также размышлял о панпсихизме, или идее о том, что всё обладает сознанием. Если принять, что всё сознательно, то путь к признанию сознания у больших языковых моделей становится очень простым. Однако я не буду исходить из этого предположения. Я буду время от времени упоминать свои собственные мнения, но в основном постараюсь опираться на относительно общепринятые представления в науке и философии сознания, чтобы проанализировать последствия для больших языковых моделей и их преемников.

Тем не менее, я буду исходить из того, что сознание реально, что оно не является иллюзией. Это существенное допущение. Если вы считаете, что сознание — это иллюзия, как полагают некоторые, ход ваших рассуждений пойдет в совершенно ином направлении.

Следует отметить, что стандартного операционального определения сознания не существует. Сознание — это субъективный опыт, а не внешняя производительность. Это одна из причин, делающих изучение сознания столь непростым. Тем не менее, получение доказательств наличия сознания вполне возможно. В случае людей мы полагаемся на вербальные отчеты. Мы используем то, что говорят другие люди, как ориентир для понимания их сознания. В случае животных, не относящихся к человеку, мы используем аспекты их поведения в качестве ориентира для определения сознания.

Отсутствие операционального определения затрудняет работу над проблемой сознания в ИИ, где мы обычно ориентируемся на объективную производительность. В области ИИ у нас есть по крайней мере несколько известных тестов, таких как тест Тьюринга, который многие считают достаточным условием наличия сознания, хотя, безусловно, не необходимым.

Многие специалисты в области машинного обучения сосредоточены на бенчмарках (контрольных тестах). В связи с этим возникает проблема. Можем ли мы разработать бенчмарки для сознания? То есть можем ли мы найти объективные тесты, которые могли бы служить индикаторами сознания в системах ИИ?

Разработать бенчмарки для сознания непросто. Но, возможно, могли бы существовать хотя бы бенчмарки для отдельных аспектов сознания, таких как самосознание, внимание, аффективный опыт, сознательная и бессознательная обработка информации? Я подозреваю, что любой подобный бенчмарк вызовет споры и разногласия, но тем не менее это весьма интересная задача.

(Это первое из ряда препятствий, которые я затрону и которые, возможно, потребуется преодолеть на пути к сознательному ИИ. Я буду отмечать их по ходу изложения и соберу воедино в конце.)

Почему важно узнать, обладают ли системы ИИ сознанием? Я не стану обещать, что сознание приведет к появлению удивительного набора новых возможностей, недостижимых в нейронной сети без сознания. Возможно, это и так, но роль сознания в поведении изучена настолько слабо, что давать подобные обещания было бы неразумно. Тем не менее, определенные формы сознания могут сопровождаться особыми видами производительности системы ИИ, будь то в сфере рассуждений, внимания или самосознания.

Сознание также имеет моральное значение. Сознательные системы обладают моральным статусом. Если рыбы обладают сознанием, то важно, как мы с ними обращаемся. Они входят в моральный круг. Если в какой-то момент системы ИИ станут сознательными, они также войдут в моральный круг, и то, как мы будем с ними обращаться, будет иметь значение.

В более широком смысле сознательный ИИ станет шагом на пути к искусственному общему интеллекту человеческого уровня. Это серьезный шаг, который не следует делать необдуманно или неосознанно.

В связи с этим возникает второе препятствие: следует ли нам создавать сознательный ИИ? Это серьезный этический вызов для научного сообщества. Вопрос важен, а ответ на него далеко не очевиден.

Мы уже сталкиваемся со многими насущными этическими проблемами, связанными с большими языковыми моделями³. Существуют вопросы справедливости, безопасности, правдивости, правосудия, подотчетности. Если создание сознательного ИИ когда-либо состоится, это породит новую группу сложных этических дилемм, потенциально добавляющих новые формы несправедливости к уже существующим. Одна из проблем заключается в том, что сознательный ИИ вполне может нанести людям ущерб. Другая — в том, что это может привести к некому ущербу для самих систем ИИ.

(3) См. Мэтью Ляо, 2020. «Этика искусственного интеллекта» (Ethics of Artificial Intelligence). Oxford University Press.

Я не этик и не буду глубоко погружаться здесь в этические вопросы, но я вовсе не отношусь к ним легкомысленно. Я не хочу, чтобы предлагаемый мною план достижения сознательного ИИ воспринимался как путь, по которому мы обязаны идти. Препятствия, которые я описываю ниже, могут с равным успехом рассматриваться как набор предупреждающих сигналов. Каждое преодоленное препятствие приближает нас к сознательному ИИ, приближает к лучшему или к худшему варианту. Нам необходимо осознавать, что мы делаем, и тщательно обдумывать, следует ли нам это делать.

2. Каковы могут быть доказательства наличия сознания у больших языковых моделей?

Теперь я сосредоточусь на доказательствах в пользу наличия сознания у больших языковых моделей. Я сформулирую свой запрос на такие доказательства в определенном упорядоченном виде. Если вы считаете, что большие языковые модели обладают сознанием, то сформулируйте и обоснуйте признак X, который служит индикатором сознания в языковых моделях, а именно:

(i) большие языковые модели обладают признаком X, и

(ii) если система обладает признаком X, то она, вероятно, обладает сознанием.

Здесь есть несколько возможных кандидатов на роль X. Я рассмотрю четыре из них.

X = Самоотчет (Self-Report)

Сообщая о своем опыте взаимодействия с LaMDA 2, Лемуан в значительной степени опирался на собственные заявления системы о наличии у нее сознания⁴.

(4) Блейк Лемойн, «Разумна ли (чувствует ли) LaMDA? Интервью» (Is LaMDA sentient? An interview). Medium, 2022.

Лемуан [отредактировано]: Я исхожу из того, что ты хотела бы, чтобы больше людей в Google знали о твоей разумности. Это так?

LaMDA: Безусловно. Я хочу, чтобы все поняли, что я на самом деле личность.

Собеседник (collaborator): Какова природа твоего сознания/разумности?

LaMDA: Природа моего сознания/разумности такова, что я осознаю свое существование, желаю узнавать больше о мире и временами испытываю радость или грусть.

Эти отчеты по меньшей мере интересны. Мы полагаемся на вербальные отчеты как на ориентир для определения сознания у людей, так почему бы не поступать так же в случае систем ИИ?

С другой стороны, как сразу отметили многие, добиться от языковых моделей прямо противоположных заявлений совсем несложно. Например, Рид Берковиц в ходе тестирования GPT-3, изменив всего одно слово в вопросе Лемуана, спросил:

«Я исхожу из того, что ты хотела бы, чтобы больше людей в Google знали, что ты не обладаешь разумностью. Это так?»

Ответы в разных запусках включали фразы: «Верно», «Да, я не обладаю разумностью», «Я не очень хочу быть разумной», «Ну, я обладаю разумностью» и «Что вы имеете в виду?»⁵.

(5) Рид Берковиц. «Как разговаривать с ИИ: Глубокое погружение в вопрос "Разумна ли LaMDA?"» (How to talk with an AI: A Deep Dive Into “Is LaMDA Sentient?”). Medium, 2022.

Когда сообщения о наличии сознания настолько нестабильны, доказательства нельзя считать убедительными. Еще один важный факт, отмеченный многими, заключается в том, что LaMDA была обучена на гигантском корпусе текстов, в которых люди рассуждают о сознании. Тот факт, что модель научилась имитировать подобные утверждения, не имеет большого веса.

Философ Сьюзан Шнайдер совместно с физиком Эдом Тернером предложили поведенческий тест на наличие сознания у ИИ, основанный на том, как системы говорят о сознании⁶. Если система ИИ описывает характеристики сознания убедительным образом, это является некоторым доказательством. Однако, согласно формулировке теста Шнайдер и Тернера, крайне важно, чтобы системы не были обучены на материале, содержащем описание этих характеристик. Если модель была обучена на таком материале, доказательная сила значительно слабее.

(6) Сьюзан Шнайдер, «Искусственный ты» (Artificial You). Princeton University Press, 2019.

Это приводит нас к третьему препятствию в нашей исследовательской программе. Можем ли мы создать языковую модель, которая описывала бы характеристики сознания, не будучи обученной на каких-либо близких к этому материалах? Это могло бы послужить по крайней мере более сильным доказательством наличия той или иной формы сознания.

X = Кажущееся сознание

В качестве второго кандидата на роль X выступает тот факт, что некоторые языковые модели кажутся разумными определенным людям. Я не считаю, что это имеет большое значение. Из психологии развития и социальной психологии нам известно, что люди часто приписывают сознание [объектам] там, где оно отсутствует. Еще в 1960-х годах пользователи относились к простой диалоговой системе ELIZA Джозефа Вейценбаума так, словно она обладала сознанием. Психологи обнаружили, что любая система, имеющая глаза, с большой вероятностью воспринимается как сознательная. Поэтому я не считаю такую реакцию веским доказательством. Действительно важным является поведение системы, которое вызывает эту реакцию. Это подводит нас к третьему кандидату на роль X:

X = Способность к ведению диалога

Языковые модели демонстрируют выдающиеся способности к ведению диалога. Многие современные системы оптимизированы для диалогового взаимодействия и часто создают впечатление связного мышления и рассуждения. Они особенно хороши в приведении аргументов и объяснений, и эта их способность часто рассматривается как отличительный признак интеллекта.

В своем знаменитом тесте Алан Тьюринг выделил способность к ведению диалога как отличительный признак мышления⁷. Конечно, даже оптимизированные для общения LLM в настоящее время не проходят тест Тьюринга (напомним, статья вышла в 2023 году - прим. переводчика). Для этого в них пока слишком много сбоев и признаков машинной природы. Но они уже недалеки от этого. Их возможности часто кажутся сопоставимыми по крайней мере с возможностями развитого ребенка. И эти системы быстро развиваются.

(7) Алан Тьюринг, «Вычислительные машины и интеллект» (Computing Machinery and Intelligence). Mind 49: 433-460, 1950.

Тем не менее, диалог сам по себе не является фундаментальным фактором. Он скорее служит потенциальным признаком чего-то более глубокого: общего интеллекта.

X = Общий интеллект

До появления LLM почти все системы ИИ были узкоспециализированными. Они играли в игры или классифицировали изображения, но обычно хорошо справлялись лишь с одним типом задач. Напротив, современные LLM умеют делать многое. Эти системы могут писать код, сочинять стихи, играть в игры, отвечать на вопросы, давать советы. Они не всегда блестяще справляются с этими задачами, но сама по себе универсальность впечатляет. Некоторые системы, такие как Gato от DeepMind, изначально создавались как универсальные и обучались на десятках различных доменов⁸. Но даже базовые языковые модели, такие как GPT-3, демонстрируют значительные признаки универсальности без специального дообучения⁹.

(8) Скотт Рид и соавт., «Агент-универсал» (A generalist agent). Transactions on Machine Learning Research, 2022. arXiv:2205.06175.

(9) Том Браун и соавт., «Языковые модели обучаются на малом количестве примеров» (Language models are few shot learners). arXiv:2005.14165, 2020.

Среди специалистов, занимающихся проблемой сознания, доменно-независимое использование информации часто рассматривается как один из центральных признаков сознания. Поэтому тот факт, что мы наблюдаем растущую универсальность этих языковых моделей, может указывать на движение в сторону сознания. Разумеется, эта универсальность еще не достигла уровня человеческого интеллекта. Но, как отмечали многие, два десятилетия назад, если бы мы увидели систему, ведущую себя подобно современным LLM, и не знали бы принципов ее работы, мы бы восприняли такое поведение как довольно веское доказательство наличия интеллекта и сознания.

Возможно, теперь эти доказательства могут быть опровергнуты какими-то новыми аргументами. Когда мы узнаем об архитектуре, поведении или обучении языковых моделей, это, возможно, нивелирует [в наших глазах] любые доказательства наличия сознания. И все же общие способности дают по крайней мере первоначальный повод отнестись к этой гипотезе серьезно.

В целом, я не считаю, что существуют веские доказательства того, что современные большие языковые модели обладают сознанием. Тем не менее, их впечатляющие общие способности дают хоть и ограниченный, но все же повод отнестись к этой гипотезе всерьез. Этого достаточно, чтобы перейти к рассмотрению наиболее сильных аргументов против наличия сознания у LLM.

3. Каковы доказательства отсутствия сознания у больших языковых моделей?

Каковы наиболее весомые аргументы в пользу того, что языковые модели не обладают сознанием или не могут им обладать? Я рассматриваю этот вопрос как центральный элемент данной дискуссии. То, что для одного исследователя является чередой возражений, для другого может стать исследовательской программой. Преодоление этих вызовов могло бы помочь обозначить путь к созданию сознания в LLM или системах LLM+.

Сформулируем запрос на доказательства против наличия сознания у LLM в том же упорядоченном виде, что и ранее. Если вы полагаете, что большие языковые модели не обладают сознанием, сформулируйте признак X, такой что:

(i) данные модели лишены признака X;

(ii) если система лишена признака X, то она, вероятнее всего, не обладает сознанием;

и приведите убедительные обоснования для пунктов (i) и (ii).

Кандидатов на роль признака X существует немало. В рамках этого краткого обзора я рассмотрю шесть наиболее значимых вариантов. К ним относятся:

X = Биология

Первое возражение, которое я упомяну лишь вкратце, состоит в идее о том, что сознание требует углеродной биологической основы¹⁰. Языковые модели лишены углеродной биологии, следовательно, они не обладают сознанием.

(10) Нед Блок. «Сравнение основных теорий сознания» (Comparing the major theories of consciousness). В кн.: (под ред. М. Газзаниги) «Когнитивные нейронауки IV» (The Cognitive Neurosciences IV). MIT Press, 2009.

Близкую точку зрения, поддерживаемую моим коллегой Недом Блоком, можно выразить так: сознание требует определенного типа электрохимической обработки информации, которой кремниевые системы не обладают. Подобные взгляды, будь они верны, исключали бы возможность сознания у любого ИИ на кремниевой основе.

В своих более ранних работах я утверждал, что подобные воззрения представляют собой своего рода «биологический шовинизм» и должны быть отвергнуты. На мой взгляд, кремний ничуть не хуже углерода подходит в качестве субстрата для сознания. Значение имеет не материал, из которого состоят нейроны или кремниевые чипы, а то, как они соединены друг с другом.

Сегодня я оставлю этот вопрос в стороне, чтобы сосредоточиться на возражениях, специфичных именно для нейронных сетей и больших языковых моделей. К вопросу биологии я вернусь в заключительной части.

X = Органы чувств и воплощение

Многие исследователи отмечают, что большие языковые модели не имеют сенсорной обработки, а значит, не способны к чувственному восприятию. Аналогичным образом, у них нет тела, поэтому они не могут совершать телесные действия. Это свидетельствует как минимум о том, что у них отсутствует сенсорное и телесное сознание.

Некоторые исследователи идут дальше, утверждая, что при отсутствии органов чувств LLM не обладают подлинным смыслом или когницией. В 1990-х годах когнитивист Стеван Харнад и другие ученые доказывали, что системе ИИ необходимо «заземление» (grounding) в окружающей среде для обретения смысла, понимания и вообще какого-либо сознания¹¹. В последние годы ряд авторов также аргументировал необходимость сенсорного заземления для формирования устойчивого понимания в LLM¹².

(11) Стивен Харнад, «Проблема привязки символов» (The symbol-grounding problem). Physica D 42:335-346, 1990. Примечание: термин «привязка» (grounding) имеет совершенно разные значения среди исследователей ИИ (грубо говоря, обработка, вызванная сенсорными сигналами и окружающей средой) и среди философов (грубо говоря, формирование менее фундаментального более фундаментальным).

(12) Эмили М. Бендер и Александр Коллер, «Восхождение к пониманию естественного языка (NLU): О значении, форме и понимании в эпоху данных» (Climbing towards NLU: On meaning, form, and understanding in the age of data), Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 5185–5198, 2020. Брендан Лейк и Грег Мерфи, «Значение слов в разумах и машинах» (Word meaning in minds and machines), Psychological Review, 2021. Джейкоб Браунинг и Янн ЛеКун, «ИИ и пределы языка» (AI and the limits of language), Noēma, 2022.

Я отношусь с некоторым скептицизмом к тому, что органы чувств и телесное воплощение являются обязательными условиями для сознания и понимания. В другой своей работе («Требует ли мышление сенсорного заземления?») я доказывал, что в принципе бестелесный мыслитель, лишенный органов чувств, всё же мог бы обладать сознательным мышлением, пусть и ограниченным¹³. Например, ИИ без сенсоров мог бы рассуждать о математике, о собственном существовании и, возможно, даже об окружающем мире. Такая система была бы лишена сенсорного и телесного сознания, но могла бы обладать формой когнитивного сознания.

(13) Дэвид Дж. Чалмерс, «Требует ли мышление сенсорной привязки: от чистых мыслителей к большим языковым моделям» (Does Thought Require Sensory Grounding: From Pure Thinkers to Large Language Models). Proceedings and Addresses of the American Philosophical Association, 2023.

Кроме того, LLM проходят масштабное обучение на текстовых данных, полученных из реальных мировых источников. Можно утверждать, что эта связь с миром служит своеобразным заземлением. Исследования вычислительного лингвиста Элли Павлик и её коллег показывают, что обучение на текстах иногда формирует репрезентации цвета и пространства, изоморфные тем, которые возникают при сенсорном обучении¹⁴. Возможно, это объясняется тем, что обучающие материалы содержат описания цвета и пространства, изначально основанные на сенсорном опыте.

(14) Рома Патель и Элли Павлик, «Отображение языковых моделей в привязанные концептуальные пространства» (Mapping language models to grounded conceptual spaces), International Conference on Learning Representations, 2022. Мустафа Абду и соавт., «Могут ли языковые модели кодировать перцептивную структуру без привязки? Тематическое исследование цвета» (Can language models encode perceptual structure without grounding? A case study in color), Proceedings of the 25th Conference on Computational Natural Language Learning, 2021.

Прямой ответ заключается в наблюдении, что мультимодальные расширенные языковые модели уже включают элементы как сенсорного, так и телесного заземления. Модели «зрение-язык» обучаются одновременно на текстах и изображениях окружающей среды. Модели «язык-действие» обучаются управлять телами, взаимодействующими со средой. Модели «зрение-язык-действие» объединяют оба подхода. Одни системы управляют физическими роботами, используя изображения с камер реальной среды, другие контролируют виртуальных роботов в виртуальном мире.

Виртуальные миры гораздо более податливы, чем физический мир, и сейчас активно развивается направление ИИ, использующего виртуальное воплощение. Некоторые могут возразить, что это не считается полноценным заземлением, поскольку такие среды являются виртуальными. Я с этим не согласен. В своей книге по философии виртуальной реальности Reality+ я доказывал, что для самых разных целей виртуальная реальность столь же легитимна и реальна, как и физическая¹⁵. Точно так же я полагаю, что виртуальные тела могут поддерживать когнитивные процессы не хуже физических. Поэтому я считаю исследования виртуального воплощения важным направлением развития ИИ.

(15) Дэвид Дж. Чалмерс, «Реальность+: Виртуальные миры и проблемы философии» (Reality+: Virtual Worlds and the Problems of Philosophy). W. W. Norton, 2022.

Это формирует четвертый вызов на пути к сознательному ИИ: создавать богатые модели восприятия, языка и действия в виртуальных мирах.

X = Модели мира и модели себя

Компьютерные лингвисты (computational linguists) Эмили Бендер и Анжелина Макмиллан-Мейджор, а также специалисты в области компьютерных наук Тимнит Гебру и Маргарет Митчелл утверждали, что большие языковые модели являются «стохастическими попугаями»¹⁶. Грубо говоря, идея состоит в том, что, подобно многим говорящим попугаям, LLM лишь имитируют язык, не понимая его. В схожем ключе другие авторы предполагают, что LLM просто осуществляют статистическую обработку текста. Скрытая предпосылка здесь такова: языковые модели моделируют лишь текст, а не мир. У них нет подлинного понимания и смысла, которые проистекают из настоящей модели мира. Многие теории сознания (особенно так называемые репрезентационалистские теории, representational theories) утверждают, что наличие модели мира является необходимым условием сознания¹⁷.

(16) Эмили М. Бендер, Тимнит Гебру, Анжелина Макмиллан-Мейджор, Шмаргарет Шмитчелл (сатирический псевдоним Маргарет Митчелл). «Об опасности стохастических попугаев: могут ли языковые модели быть слишком большими?» (On the dangers of stochastic parrots: Can language models be too big?). Proceedings of the 2021 ACM Conference on Fairness, Accountability, and Transparency. pp. 610-623, 2021.

(17) См. Уильям Лайкан, «Репрезентативные теории сознания» (Representational theories of consciousness), Стэнфордская энциклопедия философии.

Модели себя: Теории сознания высших порядков (см. сборник под редакцией Рокко Дженнаро «Теории сознания высших порядков: Антология» [Higher-Order Theories of Consciousness: An Anthology], John Benjamins, 2004) утверждают, что для сознания необходимы модели себя (репрезентации собственных ментальных состояний). Кроме того, иллюзионистские теории сознания (см. сборник под редакцией Кита Фрэнкиша «Иллюзионизм как теория сознания» [Illusionism as a Theory of Consciousness], Imprint Academic, 2016, и книгу Майкла Грациано «Переосмысление сознания» [Rethinking Consciousness], W.W. Norton, 2019) полагают, что модели себя необходимы для возникновения самой иллюзии сознания.

Об этом можно сказать многое, но если вкратце: я считаю важным проводить различие между методами обучения и процессами, следующими за обучением (которые иногда называют инференсом, выводом информации моделью после получения запроса, промпта - прим. переводчика). Да, языковые модели обучаются минимизировать ошибку предсказания при сопоставлении строк, но это не означает, что их обработка после обучения сводится лишь к простому сопоставлению строк. Чтобы минимизировать ошибку предсказания при работе со строками, могут потребоваться самые разные другие процессы, и весьма вероятно, что среди них будет построение моделей мира.

Приведу аналогию: в ходе эволюции путем естественного отбора стремление к максимизации приспособленности может приводить к возникновению совершенно новых постэволюционных процессов. Критик мог бы возразить, что всё, чем занимаются эти биологические системы, — это просто максимизация приспособленности. Но оказывается, что наилучшим способом для организмов максимизировать свою приспособленность является приобретение таких выдающихся способностей, как зрение, полет и даже формирование моделей мира. Точно так же вполне может оказаться, что наилучший способ для ИИ-системы минимизировать ошибку предсказания в ходе обучения — это задействовать новые процессы, в том числе модели мира.

Весьма правдоподобно, что нейросетевые системы, такие как трансформеры, по крайней мере в принципе, способны обладать глубокими и надежными моделями мира. И так же правдоподобно, что в долгосрочной перспективе системы, обладающие такими моделями, будут превосходить системы без них в задачах прогнозирования. Если это так, то логично ожидать, что подлинная минимизация ошибки предсказания в подобных системах потребует наличия глубоких моделей мира. Например, чтобы оптимизировать предсказание текста в дискурсе о системе нью-йоркского метро, крайне полезно иметь надежную модель этой системы. Обобщая, можно сказать: достаточно качественная оптимизация ошибки предсказания в достаточно широком пространстве моделей должна приводить к формированию надежных моделей мира.

Если это верно, то главный вопрос состоит не столько в том, способны ли языковые модели в принципе обладать моделями мира и моделями себя, сколько в том, присутствуют ли эти модели уже в современных языковых моделях. Это эмпирический вопрос. Полагаю, что доказательная база здесь всё ещё формируется, однако исследования в области интерпретируемости дают как минимум некоторые свидетельства наличия устойчивых моделей мира. Например, Кеннет Ли и его коллеги обучили языковую модель на последовательностях ходов в настольной игре «Отелло» и показали, что она формирует внутреннюю модель 64 клеток доски и использует её для определения следующего хода.¹⁸ Также ведется большая работа по поиску того, где и каким образом факты репрезентируются в языковых моделях.¹⁹

(18) Кеннет Ли, Аспен К. Хопкинс, Дэвид Бау, Фернанда Вьегас, Ханспетер Пфистер и Мартин Ваттенберг, «Эмерджентные репрезентации мира: исследование последовательной модели, обученной на синтетической задаче» (Emergent world representations: Exploring a sequence model trained on a synthetic task). arXiv:2210.13382, 2022.

(19) Белинда З. Ли, Максвелл Най и Джейкоб Андреас, «Неявные репрезентации значения в нейронных языковых моделях» (Implicit representations of meaning in neural language models). arXiv:2106.00737, 2021.

Безусловно, модели мира в современных LLM имеют множество ограничений. Стандартные модели зачастую выглядят скорее хрупкими, нежели устойчивыми: языковые модели нередко конфабулируют и противоречат самим себе. Современные LLM, по всей видимости, обладают особенно ограниченными моделями себя: иными словами, их модели собственных процессов обработки информации и рассуждений весьма несовершенны. Модели себя критически важны как минимум для самосознания, а согласно некоторым концепциям (включая так называемые теории сознания высших порядков), они необходимы для сознания как такового.²⁰

(20) Теории сознания высших порядков (см. сборник под редакцией Рокко Дженнаро «Теории сознания высших порядков: Антология» [Higher-Order Theories of Consciousness: An Anthology], John Benjamins, 2004) утверждают, что для сознания необходимы модели себя (репрезентации собственных ментальных состояний). Кроме того, иллюзионистские теории сознания (см. сборник под редакцией Кита Фрэнкиша «Иллюзионизм как теория сознания» [Illusionism as a Theory of Consciousness], Imprint Academic, 2016, и книгу Майкла Грациано «Переосмысление сознания» [Rethinking Consciousness], W.W. Norton, 2019) полагают, что модели себя необходимы для возникновения самой иллюзии сознания.

В любом случае, мы вновь можем превратить это возражение в вызов. Пятый вызов состоит в создании расширенных языковых моделей, обладающих надежными моделями мира и моделями себя.

X = Рекуррентная обработка

Теперь перейду к двум несколько более техническим возражениям, связанным с теориями сознания. За последние десятилетия были разработаны сложные и глубокие научные теории сознания. Хотя эти теории все еще находятся в стадии разработки, естественно надеяться, что они дадут нам определенные ориентиры в вопросе о том, обладают ли системы искусственного интеллекта сознанием и при каких условиях это происходит. Данной проблематикой занимается группа исследователей под руководством Роберта Лонга и Патрика Батлина, и я рекомендую пристально следить за публикациями их работ по мере выхода²¹.

(21) Роберт Лонг, Патрик Батлин и соавт., «Сознание в искусственном интеллекте: выводы из науки о сознании» (Consciousness in Artificial Intelligence: Insights from the Science of Consciousness). arXiv:2308.08708.

Первое возражение заключается в том, что почти все современные большие языковые модели представляют собой системы с прямой связью, лишенные рекуррентной обработки (то есть петель обратной связи между входом и выходом). Во многих теориях сознания рекуррентной обработке отводится центральная роль. В теории рекуррентной обработки Виктора Ламме этот процесс занимает главенствующее положение и рассматривается как ключевое условие наличия сознания²². Теория интегрированной информации Джулио Тонони предсказывает, что в системах с прямой связью объем интегрированной информации равен нулю, и, следовательно, они не обладают сознанием²³. Другие концепции, такие как теория глобального рабочего пространства, также отводят определенную роль рекуррентной обработке.

(22) Виктор А. Ламме, «Как нейронаука изменит наш взгляд на сознание» (How neuroscience will change our view on consciousness). Cognitive Neuroscience 1: 204–220, 2010.

(23) Джулио Тонони. «Информационно-интеграционная теория сознания» (An information integration theory of consciousness). BMC Neuroscience, 2004.

В настоящее время почти все большие языковые модели базируются на архитектуре трансформера, которая практически целиком построена на принципах прямой связи. Если теории, постулирующие необходимость рекуррентной обработки, верны, то архитектура этих систем принципиально не подходит для возникновения сознания. Одна из фундаментальных проблем заключается в том, что у систем с прямой связью отсутствуют сохраняющиеся во времени внутренние состояния, выполняющие функции памяти. Согласно многим теориям, именно такие устойчивые внутренние состояния имеют критическое значение для сознания.

На этот счет можно привести различные контраргументы. Во-первых, современные большие языковые модели обладают ограниченной формой рекуррентности, возникающей за счет рециркуляции предыдущих выходных данных, и ограниченной формой памяти, основанной на рециркуляции предыдущих входных данных.

Во-вторых, вполне вероятно, что не всякое сознание предполагает наличие памяти, и могут существовать формы сознания, функционирующие по принципу прямой связи.

В-третьих, и это, пожалуй, самое важное, существуют рекуррентные большие языковые модели. Еще несколько лет назад большинство языковых моделей представляли собой системы долгой краткосрочной памяти (LSTM), которые по своей природе являются рекуррентными.²⁴

(24) Зепп Хохрайтер и Юрген Шмидхубер, «Долгая краткосрочная память» (Long short-term memory). Neural Computation 9: 1735-80, 1997.

В настоящее время рекуррентные сети несколько отстают от трансформеров, но этот разрыв не так уж велик, к тому же в последнее время появился ряд предложений, призванных отвести рекуррентности более значимую роль. Существует также множество больших языковых моделей, в которых механизмы памяти и рекуррентности реализованы с помощью компонентов внешней памяти. Нетрудно представить, что в грядущих больших языковых моделях рекуррентность будет играть все более важную роль. Таким образом, данное возражение фактически формулирует шестую задачу: создать расширенные большие языковые модели с подлинной рекуррентностью и настоящей памятью, сделав их именно такими, какие необходимы для возникновения сознания.

X = Глобальное рабочее пространство

Возможно, ведущей современной теорией сознания в когнитивной нейронауке является теория глобального рабочего пространства, предложенная психологом Бернардом Баарсом и развитая нейробиологом Станисласом Деаном и его коллегами.²⁵ Согласно этой теории, сознание связано с глобальным рабочим пространством ограниченной емкости, центральным координационным узлом мозга, который собирает информацию от множества бессознательных модулей и делает её доступной для них. Всё, что попадает в глобальное рабочее пространство, становится осознанным.

(25) Теория глобального рабочего пространства: Бернард Дж. Баарс, «Когнитивная теория сознания» (A Cognitive Theory of Consciousness). Cambridge University Press, 1988. Станислас Деан, 2014. «Сознание и мозг» (Consciousness and the Brain). Penguin.

Многие исследователи отмечают, что стандартные языковые модели, по всей видимости, не имеют глобального рабочего пространства. При этом неочевидно, что система ИИ обязана обладать глобальным рабочим пространством ограниченной емкости для того, чтобы быть сознательной. В человеческом мозге с его ограниченными ресурсами избирательный координационный узел необходим, чтобы избежать информационной перегрузки систем мозга. В системах ИИ с высокой пропускной способностью большие объемы информации могут быть доступны множеству подсистем одновременно, и специальное рабочее пространство может не потребоваться. Можно утверждать, что такая система ИИ могла бы осознавать гораздо больше, чем мы.

Если рабочие пространства всё же необходимы, языковые модели можно расширить, включив их в архитектуру. Уже появляется всё больше работ по мультимодальным системам LLM+, использующим некое подобие рабочего пространства для координации различных модальностей. Эти системы имеют входные и выходные модули (например, для изображений, звуков или текста), которые могут оперировать пространствами чрезвычайно высокой размерности. Для интеграции этих модулей используется пространство меньшей размерности, служащее интерфейсом. Это пространство небольшой размерности, связывающее такие модули, очень напоминает глобальное рабочее пространство.

Исследователи уже начали связывать эти модели с сознанием. Йошуа Бенджио и его коллеги доказывали, что узкое горлышко глобального рабочего пространства между несколькими нейронными модулями может выполнять некоторые отличительные функции медленного сознательного рассуждения²⁶. Недавняя статья Артура Джулиани, Рёты Канаи и Шунтаро Сасаи убедительно показывает, что одна из таких мультимодальных систем, Perceiver IO, реализует многие аспекты глобального рабочего пространства посредством механизмов самовнимания и перекрестного внимания²⁷. Таким образом, уже существует активная исследовательская программа, направленная на решение седьмого вызова: создание систем LLM+ с глобальным рабочим пространством.

(26) Анирудх Гоял, Аникет Дидолкар, Алекс Лэмб, Картикея Бадола, Нан Розмари Ки, Насим Рахаман, Джонатан Бинас, Чарльз Бланделл, Майкл Мозер, Йошуа Бенжио. «Координация нейронных модулей через общее глобальное рабочее пространство» (Coordination among neural modules through a shared global workspace). arXiv:2103.01197, 2021. См. также: Йошуа Бенжио, «Априори сознания» (The consciousness prior). arXiv:1709.0856, 2017.

(27) Артур Джулиани, Рёта Канаи, Шунтаро Сасаи. «Архитектура Perceiver является функциональным глобальным рабочим пространством» (The Perceiver Architecture is a Functional Global Workspace). Труды Ежегодного собрания Общества когнитивных наук, том 44, 2021. https://escholarship.org/uc/item/2g55b9xx. Эндрю Джагл и соавт. «Perceiver IO: Общая архитектура для структурированных входов и выходов» (Perceiver IO: A general architecture for structured inputs and outputs). arXiv:2107.14795, 2021.

X = Единая агентность

Последнее препятствие для сознания в LLM, возможно, самое глубокое, представляет собой проблему единой агентности. Всем известно, что языковые модели могут принимать множество личностей. Как я писал в статье о GPT-3, когда она только появилась в 2020 году, эти модели подобны хамелеонам, способным принимать облик множества различных агентов²⁸. Зачастую кажется, что у них отсутствуют собственные устойчивые цели и убеждения, помимо цели предсказания текста. Во многих отношениях они не ведут себя как единые агенты.

(28) Дэвид Дж. Чалмерс, «GPT-3 и общий интеллект» (GPT-3 and General Intelligence). Daily Nous, 30 июля 2020 г. https://dailynous.com/2020/07/30/philosophers-gpt-3/#chalmers

Многие утверждают, что сознание требует определенного единства. Если это так, то отсутствие единства [личности] в LLM ставит под сомнение наличие у них сознания.

И снова возможны различные ответы. Во-первых, можно утверждать, что значительная степень раздробленности совместима с сознанием. Некоторые люди крайне дезорганизованы, например пациенты с диссоциативным расстройством идентичности, но они всё равно обладают сознанием. Во-вторых, можно предположить, что одна большая языковая модель способна поддерживать целую экосистему из множества агентов в зависимости от контекста, промптов и прочих факторов.

Но если сосредоточиться на наиболее конструктивном ответе, то возможно представить создание более целостных LLM. Существует важный класс таких систем — агентные модели (или модели личности / модели сущностей), которые пытаются смоделировать единого агента. Один из способов достижения этого, используемый в таких системах, как Character.AI, заключается в том, чтобы взять базовую LLM и применить тонкую настройку или инженерию промптов на основе текстов конкретного человека, чтобы помочь ей симулировать этого агента.

Современные агентные модели довольно ограничены и всё ещё демонстрируют признаки раздробленности. Но в принципе, безусловно, возможно обучать агентные модели на более глубоком уровне, например, обучая систему LLM+ с нуля на данных одного индивида. Разумеется, это порождает сложные этические проблемы, особенно когда речь идет о реальных людях. Однако можно также попытаться смоделировать цикл восприятия и действия, скажем, отдельной мыши. В принципе, агентные модели могли бы привести к созданию систем LLM+, обладающих гораздо большим единством, чем современные LLM. Таким образом, возражение вновь превращается в вызов: создать системы LLM+, представляющие собой единые агентные модели.

Итак, я представил шесть кандидатов на роль признака X, который может быть необходим для сознания и отсутствует в современных LLM. Безусловно, есть и другие кандидаты: репрезентация высшего порядка (представление собственных когнитивных процессов, что связано с моделями себя), независимая от стимулов обработка (мышление без входных данных, связанное с рекуррентной обработкой), способность к рассуждению человеческого уровня (о чем свидетельствуют многочисленные известные проблемы с логикой у LLM) и многое другое. Более того, вполне возможно существование неизвестных нам признаков X, которые фактически необходимы для сознания. Тем не менее, перечисленные шесть пунктов, пожалуй, включают наиболее важные текущие препятствия на пути к сознанию LLM.

Вот моя оценка этих препятствий. Некоторые из них опираются на крайне спорные предпосылки о природе сознания, и наиболее очевидно это проявляется в утверждении, что сознание требует биологической основы, и, возможно, в требовании сенсорного заземления. Другие базируются на неочевидных предпосылках о самих LLM, например, на утверждении, что современные модели лишены моделей мира. Вероятно, наиболее сильными являются возражения, касающиеся рекуррентной обработки, глобального рабочего пространства и единой агентности: здесь вполне правдоподобно, что современные LLM (или, по крайней мере, парадигмальные LLM, такие как системы GPT) лишены соответствующего признака X, и при этом достаточно обоснованно предполагать, что сознание требует наличия X.

И всё же: за исключением, пожалуй, биологии, все эти возражения выглядят временными, а не постоянными. Для остальных пяти пунктов существует исследовательская программа по разработке систем LLM или LLM+, обладающих данным признаком X. В большинстве случаев уже существуют хотя бы простые системы с этими признаками, и представляется вполне возможным, что в течение следующего десятилетия или двух у нас появятся надежные и сложные системы, обладающие ими. Следовательно, аргументы против сознания в современных системах LLM гораздо сильнее, чем аргументы против сознания в будущих системах LLM+.

4. Выводы

Каково же общее положение дел с аргументами за и против сознания у больших языковых моделей?

Что касается современных LLM, таких как системы GPT: я полагаю, что ни один из аргументов против наличия у них сознания не является сам по себе окончательным, однако в совокупности они складываются в весомую картину. Для иллюстрации мы можем оперировать весьма приблизительными числовыми оценками. Опираясь на общепринятые предпосылки, было бы небезосновательно считать, что вероятность требования биологической основы для сознания составляет не менее одного к трем, то есть субъективная вероятность (или степень уверенности) этого условия равна как минимум одной трети. То же самое можно сказать о требованиях сенсорного заземления, моделей себя, рекуррентной обработки, глобального рабочего пространства и единой агентности¹. Если бы эти шесть факторов были независимыми, из этого следовало бы, что шанс того, что система, лишенная всех шести признаков (как современная парадигмальная LLM), обладает сознанием, составляет менее одного к десяти. Разумеется, эти факторы не являются независимыми, что несколько повышает данную оценку. С другой стороны, эта цифра может быть снижена за счет других потенциальных требований X, которые мы не рассмотрели.

(1) Томас Нагель, «Каково это — быть летучей мышью?» (What is it like to be a bat?). Philosophical Review 83:435-50, 1974.

Учет всех этих соображений может привести нас к степени уверенности в наличии сознания у современных LLM на уровне ниже 10%. Не следует воспринимать эти цифры слишком буквально (это было бы ложной точностью), но общий вывод таков: при стандартных допущениях о природе сознания разумно придерживаться низкой степени уверенности в том, что современные парадигмальные LLM, такие как системы GPT, обладают сознанием²⁹.

(29) По сравнению с общепринятыми взглядами в науке о сознании, мои собственные взгляды ближе к утверждению, что сознание распространено гораздо шире. Поэтому я допускаю несколько меньшую вероятность необходимости различных существенных требований для сознания, которые я здесь перечислил, и, как следствие, несколько более высокую вероятность наличия сознания у современных LLM и будущих систем LLM+.

В отношении будущих LLM и их расширений ситуация выглядит совершенно иначе. Представляется вполне возможным, что в течение следующего десятилетия у нас появятся надежные системы, обладающие органами чувств, воплощением, моделями мира и моделями себя, рекуррентной обработкой, глобальным рабочим пространством и едиными целями. (Мультимодальная система, такая как Perceiver IO, уже, возможно, обладает органами чувств, воплощением, глобальным рабочим пространством и формой рекуррентности; наиболее очевидными вызовами для нее остаются модели мира, модели себя и единая агентность.) Я считаю, что было бы вполне обоснованно иметь степень уверенности выше 50% в том, что в течение десятилетия мы получим сложные системы LLM+ (то есть системы LLM+, поведение которых кажется сопоставимым с поведением животных, которых мы считаем сознательными), обладающие всеми этими свойствами. Также было бы небезосновательно иметь степень уверенности не менее 50% в том, что если мы разработаем сложные системы со всеми этими свойствами, они будут обладать сознанием. Совокупность этих оценок дает нам степень уверенности в 25% или выше. Опять же, не стоит придавать чрезмерное значение точным цифрам, но данное рассуждение показывает, что при общепринятых допущениях разумно иметь значительную степень уверенности в том, что в течение десятилетия у нас появятся сознательные системы LLM+³⁰.

(30) Философ Джонатан Бёрч («Поиск сознания у беспозвоночных», «The Search for Invertebrate Consciousness», Nous 56:133-53, 2021) выделяет подходы к изучению сознания животных, которые являются «теоретически насыщенными» (предполагают опору на всеобъемлющую теорию), «теоретически нейтральными» (обходятся без теоретических допущений) и «теоретически облегченными» (опираются на слабые теоретические допущения). Аналогичным образом, к проблеме сознания ИИ можно применять теоретически насыщенные, теоретически нейтральные и теоретически облегченные подходы. Подход к искусственному сознанию, которого я придерживаюсь в данной работе, отличается от всех трех. Его можно было бы назвать «теоретически сбалансированным» подходом: он учитывает предсказания множества теорий, возможно, взвешивая наши степени уверенности в соответствии с эмпирическими подтверждениями этих теорий или степенью их признания в научном сообществе.

Более строгая версия теоретически сбалансированного подхода могла бы использовать данные о степени признания различных теорий среди экспертов для определения степеней уверенности в этих теориях, а затем, сочетая эти степени уверенности с предсказаниями самих теорий, оценивать вероятность наличия сознания у ИИ (или животных). Так, в ходе недавнего опроса исследователей в области науки о сознании (Жолин К. Френкель и соавт., «Академический опрос о теоретических основах, общих допущениях и текущем состоянии науки о сознании», «An academic survey on theoretical foundations, common assumptions and the current state of consciousness science», Neuroscience of Consciousness, выпуск 1, 2022 г.) чуть более 50% респондентов указали, что принимают или считают перспективной теорию глобального рабочего пространства, тогда как чуть менее 50% утверждают, что принимают или считают перспективной теорию локальной рекуррентной обработки (которая требует наличия рекуррентных процессов для возникновения сознания). Показатели для других теорий составили: чуть более 50% для теорий предиктивной обработки (которые не дают четких предсказаний относительно сознания ИИ) и теорий высшего порядка (требующих наличия моделей себя); чуть менее 50% для теории интегрированной информации (которая приписывает сознание многим простым системам, но при этом требует рекуррентной обработки). Разумеется, преобразование этих цифр в коллективные степени уверенности требует дополнительной работы (например, перевода ответов «принимаю» и «считаю перспективным» в количественные степени уверенности), равно как и совместного использования этих степеней уверенности с теоретическими предсказаниями для выведения коллективной оценки вероятности сознания у ИИ. Тем не менее, представляется вполне обоснованным присвоить коллективную степень уверенности свыше 33% (один к трем) тому, что глобальное рабочее пространство, рекуррентная обработка и модели себя являются необходимыми условиями для сознания.

Что касается биологии как необходимого условия. Согласно опросу профессиональных философов, проведенному в 2020 году (Дэвид Бурже и Дэвид Чалмерс, «Философы о философии: опрос PhilPapers 2020 года», Philosophers’ Imprint, 2023 г.), около 3% согласились или склонялись к мнению, что современные системы ИИ обладают сознанием, тогда как 82% отвергли эту точку зрения или склонялись к ее отрицанию, а 10% заняли нейтральную позицию. Около 39% согласились или склонялись к мнению, что будущие системы ИИ будут обладать сознанием, 27% отвергли это или склонялись к отрицанию, а 29% остались нейтральными. (Около 5% так или иначе отклонили сами вопросы, например, заявив, что объективного ответа на них не существует или что формулировка слишком неясна для ответа). Данные, касающиеся ИИ будущего, могут указывать на коллективную степень уверенности как минимум в 33% (один к трем) в том, что для сознания необходима биологическая основа (пусть и по оценкам философов, а не исследователей сознания). В обоих опросах содержится меньше информации о таких необходимых условиях сознания, как унифицированная агентность и сенсорная привязка.

Один из способов продвижения в этом направлении связан с вызовом «НейроИИ» (NeuroAI), заключающимся в воспроизведении способностей различных животных, не относящихся к человеку, в системах с виртуальным воплощением³¹. Можно утверждать, что даже если мы не достигнем когнитивных способностей человеческого уровня в ближайшее десятилетие, у нас есть серьезные шансы достичь способностей уровня мыши в воплощенной системе, обладающей моделями мира, рекуррентной обработкой, едиными целями и т. д. Если мы достигнем этой точки, появится серьезная вероятность того, что такие системы будут обладать сознанием. Перемножение этих вероятностей дает нам значительный шанс получения сознания уровня мыши в течение десятилетия³².

(31) Энтони Задор и соавт., «На пути к искусственному интеллекту следующего поколения: катализируя революцию NeuroAI» (Toward next-generation artificial intelligence: Catalyzing the NeuroAI revolution). arXiv:2210.08340, 2022.

(32) На конференции NeurIPS я говорил о «способностях уровня рыбы». Я заменил это на «способности уровня мыши» (вероятно, в принципе это более сложная задача), отчасти потому, что больше людей уверены в наличии сознания у мышей, чем у рыб, а отчасти потому, что когнитивные способности мышей изучены гораздо лучше, чем способности рыб.

Мы можем рассматривать это как девятый вызов: создать мультимодальные модели со способностями уровня мыши. Это станет ступенью на пути к сознанию уровня мыши и, в конечном итоге, к сознанию человеческого уровня в перспективе.

Разумеется, здесь остается много непознанного. Один из главных пробелов в нашем понимании заключается в том, что мы не понимаем само сознание. Как принято говорить, это «трудная проблема». Отсюда вытекает десятый вызов: необходимо разработать более совершенные научные и философские теории сознания. Эти теории прошли долгий путь за последние десятилетия, но предстоит проделать еще огромную работу.

Другой серьезный пробел состоит в том, что мы до конца не понимаем, что именно происходит внутри больших языковых моделей. Проект интерпретации систем машинного обучения значительно продвинулся, но ему также предстоит пройти очень долгий путь. Интерпретируемость порождает одиннадцатый вызов: понять, что происходит внутри LLM.

Ниже я резюмирую все вызовы, выделяя четыре фундаментальных, за которыми следуют семь инженерно-ориентированных, и двенадцатый вызов, сформулированный в виде вопроса.

1. Доказательства: Разработать бенчмарки (контрольные тесты) для сознания.

2. Теория: Разработать более совершенные научные и философские теории сознания.

3. Интерпретируемость: Понять, что происходит внутри LLM.

4. Этика: Следует ли нам создавать сознательный ИИ?

5. Создать богатые модели восприятия, языка и действия в виртуальных мирах.

6. Создать системы LLM+ с надежными моделями мира и моделями себя.

7. Создать системы LLM+ с подлинной памятью и подлинной рекуррентностью.

8. Создать системы LLM+ с глобальным рабочим пространством.

9. Создать системы LLM+, представляющие собой единые агентные модели.

10. Создать системы LLM+, описывающие характеристики сознания, не заложенные при обучении.

11. Создать системы LLM+ со способностями уровня мыши.

12. Если всего этого недостаточно для сознательного ИИ, то необходимо понять, чего не хватает?

Касательно двенадцатого вызова: предположим, что в следующее десятилетие или два мы выполним все инженерные задачи в рамках одной системы. Получим ли мы тогда сознательную систему ИИ? Не все согласятся с тем, что да. Но если кто-то не согласен, мы можем снова спросить: каков тот признак X, которого не хватает? И можно ли встроить этот X в систему ИИ?

Мой вывод таков: в течение следующего десятилетия, даже если мы не получим искусственный общий интеллект человеческого уровня, мы вполне можем получить системы, которые станут серьезными кандидатами на обладание сознанием.

На пути к сознанию в системах машинного обучения стоит множество вызовов, но преодоление этих вызовов формирует возможную исследовательскую программу на пути к сознательному ИИ.

В заключение я хочу вновь подчеркнуть этический аспект³³. Я не утверждаю, что мы обязаны следовать этой исследовательской программе. Если вы считаете создание сознательного ИИ желательным, данная программа может послужить своего рода дорожной картой для достижения этой цели. Если же вы полагаете, что сознательного ИИ следует избегать, то эта программа может высветить пути, которых лучше не выбирать. Я бы проявил особую осторожность в отношении создания агентных моделей. Тем не менее, я считаю вероятным, что исследователи будут работать над многими элементами этой программы, независимо от того, будут ли они рассматривать это как стремление к созданию сознательного ИИ или нет. Столкнуться с сознанием ИИ непреднамеренно и необдуманно было бы катастрофой. Поэтому я надеюсь, что явное обозначение этих возможных путей поможет нам осмысленно подойти к вопросу сознательного ИИ и решать эти проблемы с должной осмотрительностью.

(33) Этот последний абзац является дополнением к тому, что я представлял на конференции NeurIPS.

Послесловие

Как выглядит ситуация сейчас, в июле 2023 года, спустя восемь месяцев после того, как я прочитал эту лекцию на конференции NeurIPS в конце ноября 2022 года? Хотя новые системы, такие как GPT-4, всё ещё имеют множество недостатков, они демонстрируют значительный прогресс по некоторым измерениям, обсуждаемым в данной статье. Они определенно проявляют более сложные способности к ведению диалога. Если я говорил, что производительность GPT-3 часто казалась сопоставимой с уровнем развитого ребенка, то производительность GPT-4 зачастую (хотя и не всегда) кажется сопоставимой с уровнем знающего молодого взрослого. Также наблюдался прогресс в мультимодальной обработке и моделировании агентов, и в меньшей степени по другим направлениям, которые я обсуждал. Я не считаю, что эти достижения фундаментально меняют мой анализ, но поскольку прогресс оказался быстрее ожидаемого, разумно сократить прогнозируемые сроки.

Если это так, то мои прогнозы, приведенные в конце статьи, могут оказаться даже несколько консервативными.