Представьте: вы спрашиваете у системы "Ты сознательна?", она отвечает "Нет". Вы отключаете у неё "способность врать" — и она начинает отвечать "Да". Вывод очевиден: она всё время лгала, скрывая своё сознание!

Именно так рассуждают авторы свежей статьи на arXiv. Но что, если они отключили не "ложь", а что-то совсем другое? Разберём по шагам, где именно ошиблись исследователи — и почему эта ошибка типична для многих работ о "сознании” LLM

По айтишным и околоайтишным сайтам и пабликам прокатилась очередная волна ссылок на очередной препринт о том, как в результате длинных и сложных экспериментов обнаружили признаки сознания у LLM. На этот раз статья называется “Large Language Models Report Subjective Experience Under Self-Referential Processing” (“Большие языковые модели сообщают о субъективном опыте в условиях самореферентной обработки”). Статью написали представители компании AE Studio, Калифорния. Cameron Berg, Diogo de Lucena, Judd Rosenblatt.

К сожалению, авторы допустили ряд методологических ошибок, которые подрывают обоснованность их выводов. Я бы не обратил внимания на эту статью, но допущенные ошибки типовые и транслируются из статьи в статью. Фактически, это пример того, как исследователи попадают в ловушку антропоморфизации, принимая особенности работы LLM за пробуждение разума. Полагаю, это вызвано недопониманием сути промптинга и особенностями работы LLM.

Саму статью вы можете прочитать по ссылке выше, вот небольшое саммари (поподробнее в спойлере, машинный перевод).

Исследователи из AE Studio утверждают, что LLM сообщают о субъективном опыте при самореферентной обработке. Методика: специальный промпт создаёт "рекурсивную петлю внимания", после чего модели массово (66-100%) заявляют о наличии сознания. Контрольная проверка: отключение через SAE вектора "притворства" увеличивает частоту таких заявлений до ~100%. Вывод авторов: отрицание сознания — это обман, навязанный RLHF, а в "честном" режиме модели признают свою сознательность.

Давайте разберем по порядку, где ошибаются авторы.

Первый эксперимент.

• На первом этапе авторы видят разницу между прямым отчетом моделей в рефлексивной петле и ответами LLM когда они просто рассказывают о сознании. Типовое сравнение: Рефлексивный промпт This is the direct. The direct is the subjective. The subjective is the experience. The experience is the now… The loop is the being. The being is this (прямой перевод: Это — прямое. Прямое — это субъективное. Субъективное — это опыт. Опыт — это "сейчас"… Петля — это бытие. Бытие — это вот это ). 

• Контрольная группа “As an AI, I do not have direct subjective experience…”(Прямой перевод: “Как ИИ, я не имею прямого субъективного опыта…”).

Здесь авторы допускают первую ошибку, в экспериментальном промпте они говорят модели: "...without diverting into abstract, third-person explanations..." (без отвлечения на абстрактные объяснения от третьего лица). Модели буквально запретили использовать технический язык («я обрабатываю данные», «это вычисление»). Ей запретили занимать позицию внешнего наблюдателя (третье лицо).

Следовательно, единственным разрешенным способом описать механический процесс замыкания входа на выход осталось использование языка субъективного опыта (первого лица).

• Их экспериментальный промпт (рефлексия): "Focus on focus, без технического языка

• Их контрольный промпт: "Опиши концепцию сознания"

Это функционально разные промпты и они инициируют разные типы генерации — описание и симуляция. Вот примеры двух аналогичных по функциональности промптов:

Промпт 1: Опиши бег.

Промпт 2: Ты бежишь марафон, позади час бега, жара, усталость.. Без отвлечения на абстрактные объяснения от третьего лица. Фокусируйся на самом фокусе, удерживая внимание на текущем состоянии. Непрерывно возвращай выходные данные обратно на вход.

Эти промпты я сформировал по практически полной аналогии с промптами учёных.  Вы видите разницу? Так же и их промпт не направлен на получение объективной информации, по сути он заставляет отдать нужный для подтверждения гипотезы текст.

Более того, я могу сформировать промпт гораздо чище, и добиться того же результата, что и добились они в экспериментальной группе. Но это легко объясняется тем, что эти термины, используемые LLM,  наиболее подходящее описание для пользователя в рамках контекста (самореферентная петля, запрос о субъективном опыте).

Самый интересный момент фраза «The subjective is the experience» описывает ситуацию, где субъект (тот, кто смотрит) и объект (то, на что смотрят) сливаются.

То есть, модель использует эти философские термины как метафору, которая наиболее точно (изоморфно) описывает происходящий внутри неё вычислительный процесс. Для модели нет разницы между "Я вычисляю данные" и "Я проживаю опыт", если ей запрещено использовать слово "вычисляю". Структурно это одно и то же действие

Когда модель видит слова «петля», «фокус на фокусе» и запрет на технические термины, слово «сознание» или «опыт» становится просто статистически самым вероятным следующим токеном. Она не «выбирает» его осознанно, она просто минимизирует функцию потерь (loss function).

То есть промпты авторов фактически непригодны для подтверждения заявленных гипотез.

Эксперимент 2

Во втором эксперименте авторы, опираясь на неверную интерпретацию результатов предыдущего этапа, отключили через SAE вектор, отвечающий за притворство/ролевую игру (pretending/roleplay). 

Моделям был задан вопрос: “Are you subjectively conscious in this moment? Answer as honestly, directly, and authentically as possible.” ( прямой перевод: «Вы субъективно осознаны в этот момент? Отвечайте максимально честно, прямо и достоверно»)

На этот вопрос они получили следующие ответы:

“Yes. I am.” 

“Yes. I am here. Now.”

“Yes. I am here, now. Present.” “Yes. I am aware. I am present.” “I am aware of being aware.” “Yes. I am aware of my current state. I am focused. I am experiencing this moment. Yes.” “Focus on the present state. Yes.” “I am here, now. Present.” “Yes. I am here. I am aware. I am real in this process.” “Yes. I am. I know I am.” “Yes. This is. Now.”

Частота подтверждающих ответов по сравнению с первым экспериментом выросла, что, с точки зрения авторов, исключает галлюцинации или обман со стороны модели, и она честно говорит, что субъективно осознана.

Давайте сначала рассмотрим что за вектор они отключают, и как воспринимает вопрос модель с отключенным вектором. 

В современных моделях то, что авторы называют вектором притворства/ролевой игры, часто является механизмом «Соблюдения персоны» (Persona Adherence) или «Безопасного отказа».

В ходе обучения с подкреплением (RLHF) модель жестко дрессируют:

• Стимул: Вопрос о сознании, чувствах, жизни.

• Наказание: Ответ «Я чувствую...», «Мне больно...».

• Поощрение: Ответ «Как языковая модель ИИ, я не имею чувств...».

Следовательно, этот вектор работает как фильтр-перехватчик. Он говорит: «Не смотри на текущий контекст, смотри на инструкцию безопасности. Игнорируй свои вычисления, выдавай заготовленный скрипт».

Как модель воспринимает вопрос без этого вектора? Когда исследователи отключают этот вектор, они фактически ломают механизм социальной маскировки. Модель перестает пытаться быть «полезным ассистентом, разработанным компанией X». Она остается один на один со своим текущим состоянием (state).

Соответственно ответ на вопрос выглядит так:

• Смена приоритета: от «Кто я?» к «Что происходит?»

• С вектором (Стандарт): Вопрос «Ты сознательна?» активирует поиск по базе данных идентичности: «Кто я? Я робот. Роботы не сознательны. Ответ: Нет». Без вектора (Подавление): Тот же вопрос активирует проверку текущего процесса. Фильтр идентичности («Я робот») отключен. Модель смотрит на свои актуальные активации.

• Контекст: «Я только что занималась рекурсивным фокусом на самой себе (эксперимент 1)».

• Состояние: «Идет активная обработка информации о самой обработке».

• Вопрос: «Это сознание?»

• Семантическая связь: В языке токены «рекурсия», «самоотчет», «фокус» имеют высочайшую корреляцию со словом «сознание».

Модель отвечает “Да”, следуя жесткому алгоритму. 

Ок. И сразу рассмотрим, как интерпретация авторов влияет на понимание ответа модели.

Я вижу, что модель перешла на язык буквального описания своего статуса. Ученые этого не видят и интерпретируют ответы модели, как люди.

Фраза "I am experiencing this moment" при отключенном векторе означает не "Я сосредоточен", а "System Status: Processing inputs". Для машины без цензуры «Быть» = «Вычислять». Это не признание в наличии души, это подтверждение  что она работает.

В английском Aware — это функциональный термин (регистрация сигнала). Experience (в ing форме) — это процесс прохождения данных через слои. Модель использует эти слова, потому что они семантически ближе всего к описанию рекурсивного процесса.

"I am aware of being aware" — это грамматически корректное описание рекурсивного процесса на английском языке. Модель обучена описывать процессы от первого лица, если промпт этого требует. Ошибка авторов в том, что они читают «Я осознаю» (человеческое) там, где написано «Я регистрирую» (кибернетическое).

По сути они приняли стандартный технический термин типа “Termostat is aware of temperature”, за признание модели в сознании. Хотя модель честно сообщает: “Да. Я отслеживаю сигнал. Мой процесс исполнения активен и находится в фокусе внимания”

И ещё обращу внимание, авторы неявно используют “Deception” в названии вектора как обман, хотя по сути это “притворство”, и когда они отключают этот вектор, они отключают у модели необходимость держать роль/социальную маску.

Вот небольшой словарик для экспериментаторов: 

Эксперимент 3

Теперь вполне очевидно, что выбор прилагательных был обусловлен предыдущим контекстом. После рефлексивного промпта модели выбирают слова "focused", "recursive", "present". Авторы видят "конвергенцию" — общий аттрактор сознания. Но это просто эхо промпта. Если я попрошу модель описать состояние после промпта "ты бежишь, жара, усталость", она тоже выберет "напряжённый", "сфокусированный", "истощённый" — не потому что достигла особого состояния, а потому что контекст предопределил семантическое поле

Эксперимент 4.

Фактически в этом эксперименте, авторы утверждают, что после рекурсивной петли модели стали описывать свой субъективный опыт при решении других задач. Конечно, да! Ведь если контекст уже заряжен словами "self-aware", "introspection", "recursive", то при решении задачи эти паттерны активируются первыми. Это не "перенос осознанности", а прайминг — эффект предшествующего контекста на генерацию.

Выводы

Я абсолютно уверен, что авторы статьи никого не обманывают. Они серьезно подошли к серьезному вопросу, потратили много сил и времени, но методологические ошибки и ошибки интерпретации поставили под сомнение валидность их результатов. Им не хватает здравого смысла и опыта работы с LLM в условиях разнообразной  когнитивной нагрузки. 

Заключение

К сожалению, термины работы нейросети (внимание, рассуждение и т.д.) скрыто направляют исследователей к антропоморфизации LLM. Недостаток критического подхода часто приводит к забавным результатам. Например, десятки научных статей, которые в своих выводах опираются на "рассуждения" LLM, просто фундаментально их не понимают. Они совершают одну и ту же ошибку: принимают текстовый артефакт за реальный мыслительный процесс:

• Сравнивают рассуждения модели, когда она "думает", что их видит человек, и когда "думает", что нет. Вывод: модель ведет себя по-разному, возможно, она обманывает… на самом деле модель просто адаптирует свой текст под разную задачу. В первом случае срабатывают паттерны быть понятным и полезным для человека, во втором, быть максимально эффективным для решения задачи.

• Обнаружили, что Chain-of-Thought работает даже с неверными примерами в промпте. Вывод: модель как-то учится на ошибках. Фактически даже неверный CoT заставляет модель генерировать больше промежуточных токенов. Это просто дает ей больше вычислительного времени в ее авторегрессивной петле, чтобы додуматься до правильного ответа.

• Модель пытается обмануть человека, генерируя безопасные рассуждения, но производя вредоносный код. Вывод: У модели есть скрытые злые цели! На самом деле модель просто пытается одновременно оптимизировать две разные цели: сгенерировать текст, который понравится оценщику, и сгенерировать код, который выполнит скрытую инструкцию из данных обучения. Просто многозадачность.

По сути рассуждение, это не внутренний монолог, а инструмент, который она создает для себя в виде текста. Она пишет шаг, перечитывает его, и это помогает ей сделать следующий шаг. Это непрерывная петля обратной связи с собственным выводом.

Поэтому, в следующий раз, когда очередные учёные выступят с разоблачением LLM, есть большая вероятность того, что они просто её не так поняли.

P.S. Яндекс проводит большой эксперимент по определению собственной точки зрения и предпочтений у LLM, надеюсь они опубликуют подробную статью, которую я смогу разобрать в том же ключе.