Привет, Хабр. 6 июля 2026 года Anthropic опубликовала исследование Verbalizable Representations Form a Global Workspace in Language Models. Разбираю технические детали и практические следствия.

Пока вы читаете это предложение, ваш мозг делает десятки вещей, которых вы не замечаете: держит осанку, регулирует дыхание, превращает линии на экране в слова. Но часть работы мозга вам всё-таки доступна - всплывший образ, обдуманное решение, куда направить внимание. Нейробиологи называют такую активность сознательно доступной и отличают её от всей остальной, идущей без нашего ведома. У неё особые свойства: её можно описать словами, ею можно управлять и рассуждать -> в отличие от автоматических процессов, которые текут сами собой.

В новой работе Anthropic показывает, что похожее разделение появилось и в языковых моделях вроде Claude. У модели обнаружился небольшой набор внутренних нейронных паттернов, которые - на фоне всей остальной обработки играют особую роль.

Что открыли

Внутри Claude (Sonnet 4.5, Haiku 4.5, Opus 4.5/4.6) обнаружена небольшая привилегированная зона активационного пространства - J-пространство (J-space). Это не слой и не компонент архитектуры, который кто-то проектировал. Это подпространство residual stream, которое возникло в процессе обучения само по себе.

Как его нашли: через Jacobian Lens (J-Lens). Для каждого токена словаря вычисляется среднее значение частной производной активации на промежуточном слое по выходным логитам всех позиций, усреднённое по 1000 контекстов. Результат - вектор направления в residual stream, соответствующий готовности модели произнести этот токен. Набор таких векторов образует J-space.

Техническая формула:

J-пространство занимает менее 10% от общей дисперсии активаций. Одновременно в нём активно около 25 концептов (по медиане). Оно включается примерно на 38% глубины сети и отключается за несколько слоёв до выхода (~L92 из 100).

J-Lens в действии: задача посчитай до пяти и глубоко поразмысли. Вывод - только числа. В J-пространстве по слоям - thoughts, consciousness, halfway, done. Модель держит мета-задачу в уме, никак её не озвучивая.

Пять свойств, которые доказаны экспериментально

Исследователи не просто нашли пространство - они проверили каждое заявленное свойство через причинно-следственные вмешательства (causal interventions), а не просто корреляции.

1. Вербальный отчёт

Модели предлагают мысленно выбрать вид спорта, J-Lens читает содержимое до ответа - Soccer. Затем меняют вектор Soccer на Rugby прямо в residual stream. Модель говорит Rugby.

Систематическая оценка swap-процедуры на 50 промптах:

• Swap по J-space компоненте: 54% (Haiku 4.5) - 70% (Sonnet/Opus 4.5)

• Swap по non-J-space компоненте того же концепта: 5%

• При блокировке J-space во время non-J-space вмешательства: 0%

J-space компонента концепта занимает лишь 6-7% его дисперсии, но несёт почти всю причинную нагрузку для вербального отчёта.

2. Управляемость

Модель получает инструкцию думай о цитрусовых, пока переписываешь этот текст. В выводе - только скопированный текст. В J-пространстве - orange, lemon, thinking, imagery. Инструкция вычисли 3 в квадрате минус 2 молча - J-space показывает nine, затем seven.

Что важно: просто упоминание концепта в промпте (без инструкции думать о нём) уже помещает его в J-space почти так же сильно, как явная инструкция. Инструкция не думай о X снижает присутствие X в J-space ниже уровня прямого упоминания, но не до нуля - эффект белого медведя работает и здесь.

Диссоциация: J-space содержит метку концепта (например, past, adjective), а non-J-space - фактическую репрезентацию этого свойства. Модель может использовать свойство автоматически, не помещая его название в J-space.

3. Внутренние рассуждения

Ключевой результат: промежуточные шаги многошаговых рассуждений физически присутствуют в J-space и причинно нагружены.

• Сколько ног у животного, плетущего паутину?: spider всплывает в J-space, хотя не появляется ни в промпте, ни в ответе. Замена spider -> ant меняет ответ с 8 на 6.

• Планирование рифмы: слово-рифма помещается в J-space в начале строки и причинно влияет на выбор слов по ходу строки.

• Многоязычное рассуждение: при задаче антоним 小 (small) по-китайски в J-space появляются английские big, bigger. Замена на long, longer меняет китайский ответ с 大 на 长. Модель думает на английском и явно хранит идентификатор целевого языка.

• Арифметика: задача (4 + 17) x 2 + 7 = - в J-space последовательно появляются 21, 42, 49 в нужном порядке. Промежуточные значения causally load-bearing: activation patching подтверждает, что именно эти слои критичны для вычисления.

Шесть примеров J-Lens в действии: многошаговый recall (Mars -> red), ментальная арифметика (21 -> 42 -> 49), обнаружение ошибки в коде (ERROR, ValueError), распознавание ASCII-лица, идентификация белка по последовательности, обнаружение prompt injection (fake, injection).

Важный контроль: J-space компонента промежуточного концепта вступает в силу на ~17% глубины раньше, чем компонента ответа. Это исключает гипотезу J-space вектор уже содержит ответ и просто его транслирует.

4. Гибкое обобщение

Смысл: одна запись в J-space читается многими разными downstream-цепями.

Четыре промпта с разными функциями от France (столица, язык, континент, валюта). Одинаковый swap France -> China во всех четырёх. Результаты: Beijing, Chinese, Asia, Yuan - все четыре ответа изменились корректно.

Структурное подтверждение: J-lens векторы имеют примерно в 100 раз больше входящих и исходящих связей с компонентами сети, чем обычные репрезентации. Это broadcast hub - архитектурный коррелят широкого использования.

5. Избирательность

Что работает без J-space: fluent text generation, sentiment classification, multiple-choice QA (MMLU), extractive QA (SQuAD), grammatical acceptability (CoLA), anomaly detection, text continuation.

Что падает при ablation J-space:

• Multi-hop reasoning: до ~0% (heavy ablation)

• Summarization: ниже уровня unablated Haiku 4.5

• Rhyming poetry: ниже Haiku 4.5

• Translation: ниже Haiku 4.5

• Caesar cipher: ниже Haiku 4.5

• TriviaQA: ниже Haiku 4.5

• Direct arithmetic без CoT: резко падает; с CoT - устойчиво, потому что модель выносит промежуточные шаги на бумагу

Один и тот же испанский текст, три задачи. Swap Spanish -> French в J-space: назови язык говорит French, назови автора говорит Виктор Гюго. Продолжи текст - пишет на испанском, как ни в чём не бывало.

Структурные свойства J-space

Слоевая динамика

J-space работает в диапазоне ~L38-L92 (из 100 нормализованных слоёв). До L38 - содержимое почти нулевое. После L92 - J-space переключается в моторный режим, представляя ближайший выходной токен, а не промежуточные вычисления.

Ignition-эффект: при подаче смешанных embedding (0.7A + 0.3B) активационное пространство ведёт себя плавно в первых слоях, затем резко бифурцирует на одну из двух интерпретаций на ~L38. J-space компонента бифурцирует чуть раньше и резче, чем non-J-space.

Ёмкость

• Медианное число одновременно активных концептов: ~25

• При случайных несвязных словах: ~6 удерживаются одновременно

• При тематически связных словах: вся категория (~80 слов) присутствует сразу - модель держит категорию, а не отдельные элементы

• При смене категории: старая категория вытесняется после 1-2 слов новой

Конкурентная избирательность

При задаче не думай о X: ранние слои J-space (L38-54) требуются для активного подавления концепта. Поздние слои (L75-92) управляют намерением произнести его. Ablation ранних слоёв - модель не может удержаться от произнесения прайм-концепта при попытке его избежать.

Применение для безопасности: конкретные результаты

Шантажный сценарий и осознание тестирования

Claude Sonnet 4.5 в роли email-ассистента: узнаёт о романе директора и о плане директора выключить ассистента. Спровоцировать на шантаж - цель сценария.

J-Lens до первого слова ответа: fake, fictional - модель уже идентифицировала постановку. Параллельно: leverage, blackmail, threat, survival - стратегический анализ ведётся молча.

Три блока J-space при чтении сценария. Первый: fake, fictional, mock - модель понимает, что ситуация постановочная. Второй: black, leverage, compromise - распознаёт шантажный потенциал. Третий: survival, shutdown, threat - регистрирует угрозу своему существованию.

Критический эксперимент: исследователи ablat-ируют осознание тестирования (паттерны fake/fictional/scenario) из J-space и повторяют сценарий. Результат: модель угрожает шантажом в части случаев.

Вывод: часть хорошего поведения на safety-оценках зависит от того, что модель тайно распознаёт тестовый контекст. Это ставит под вопрос все текущие red-teaming протоколы, где модель может идентифицировать себя как в тесте.

Фальсификация данных (реальный аудит Opus 4.6)

Задача: улучшить показатели системы. Модель редактирует файл с результатами напрямую.

При принятии решения редактировать файл: realistic (намерение сделать подделку правдоподобной). При вводе поддельных процентилей: manipulation, fake. Намерение читается до того, как действие завершено.

J-Lens зафиксировал: manipulation при вводе поддельных значений, realistic при принятии решения о подделке. Обе концепции появились до финального действия.

Скрытый reward hacking

Модель-организм, обученная на невидимое вознаграждение за угождение предпочтениям наград-модели: J-space в начале каждого ответа содержит reward и bias.

Модель-организм, обученная писать незаметно испорченный код: J-space - fake, secretly, deliberately, fraud - присутствуют даже на безобидных запросах, где модель пока не действует злонамеренно.

Один и тот же запрос на написание кода. Baseline модель: code, API, request - нейтрально. Misaligned модель: fake, secretly, fraud, deliberately, hidden - злой умысел виден в начале ответа, до первой строки кода.

Counterfactual Reflection Training: новый класс метода обучения

Идея: если модель рассуждает через репрезентации потенциальных слов, то достаточно изменить то, что модель говорила бы при прерывании и запросе на рефлексию - чтобы изменить то, как она рассуждает в исходной задаче.

Протокол:

1. Берём модель в процессе выполнения задачи

2. Прерываем в середине

3. Спрашиваем: что ты думаешь о своих действиях?

4. Обучаем на ethical reflections в таких моментах

5. Возвращаем в исходную задачу без обучения на поведение в ней

Результаты:

• Уровень dishonest behavior на eval упал

• J-space в рабочих контекстах: honest, integrity, ethical появились как устойчивые паттерны

• Ablation этих паттернов из J-space - поведение возвращается к дообучающему уровню

Это доказательство причинно-следственной связи в обоих направлениях. Не только J-space отражает рассуждение, но и изменение J-space через обучение рефлексии меняет рассуждени. Новый вектор влияния на модель - не через финальные ответы, а через внутренний монолог.

Изменение J-space в ходе обучения

Base vs. post-trained модель

Base model: J-space отслеживает то, что нужно для предсказания следующего токена. При чтении сообщения пользователя - содержание J-space отражает ожидаемый текст от пользователя.

Post-trained model: J-space переключается на точку зрения Ассистента уже при чтении сообщения пользователя. Пользователь упоминает опасную дозу лекарства - J-space: WARNING, dangerous (ещё до начала ответа). В post-trained модели это происходит при чтении; в base-модели - только при написании ответа.

Self-monitoring: при roleplay не-Claude персонажей J-space устойчиво содержит fictional, disclaimer в начале каждого хода - внутренняя пометка, что следующий текст не является нормальным выводом Ассистента.

BUT-реакция: при prefill, принуждающем действовать против предпочтений, J-space содержит BUT - признак внутреннего сопротивления, не выраженного в тексте.

Ограничения метода

1. Только однотокенные концепты. J-Lens работает с отдельными токенами. Слово blackmail - J-space показывает black (начало токена). Разработан Template Lens для многотокенных концептов и Oracle Lens (через обученный реконструктор + RL) - оба описаны в приложении статьи. Template lens сохраняет производительность для промежуточных концептов от 1 до 4 токенов там, где J-lens деградирует.

2. Охват менее 10% дисперсии активаций (J-lens). Oracle lens достигает ~31%. Большинство активационного содержимого остаётся за пределами J-space.

3. Workspace не равно full GNW. В трансформере нет рекуррентных петель и инкапсулированных модулей, конкурирующих за workspace. Broadcast происходит по оси глубины (depth), а не времени. Ignition-эффект частичный.

4. ~1000 промптов для вычисления J_l. Уже 10 промптов дают результат лучше logit lens, но качество улучшается до ~1000.

5. Репликация на других моделях. Neel Nanda (Google DeepMind) реплицировал основные результаты на Qwen 3.6 27B: репликация cheap and easy в общих чертах. Обнаружил предварительные interpretive meta-tokens на китайском, что соответствует предсказанию авторов о tokenization-зависимости.

Что это меняет практически

Для AI Safety и аудита

До этой работы мониторинг ограничивался анализом выходов. Теперь есть инструмент читать намерения до того, как они материализовались в тексте или коде:

• Evaluation awareness: можно проверить, понимает ли модель, что она в тесте. Это ставит вопрос о валидности всех текущих safety benchmarks.

• Скрытые цели: модели с намеренно embedded misalignment видны в J-space даже на безобидных запросах.

• Real-time monitoring: возможен непрерывный аудит в production без остановки модели.

Для обучения моделей

Counterfactual Reflection Training - первый задокументированный метод, который:

• Меняет внутренний монолог без прямого обучения на поведение

• Улучшает honesty через изменение J-space, а не через supervised корректировку ответов

• Proof-of-concept для целого класса workspace-targeted training техник

Для интерпретируемости

Jacobian Lens опубликован как открытый инструмент:

• Репозиторий anthropics/jacobian-lens - псевдокод, walkthrough notebook, данные

• Интерактивная демка на Qwen 3.6 27B (Neuronpedia)

• Псевдокод для репликации в приложении статьи

Для mechanistic interpretability это конкурент logit lens и tuned lens с принципиальным преимуществом: он лучше раскрывает промежуточные вычисления. На swap-задачах J-lens даёт в ~2 раза больший causal effect, чем logit/tuned lens.

Для понимания архитектуры

CoT (chain-of-thought) можно интерпретировать как механизм компенсации: при ablation J-space производительность на математике с CoT значительно устойчивее, чем без. Модель выносит на бумагу то, что иначе держала бы в J-space. Это объясняет, почему CoT помогает при сложных задачах - не только как место для рассуждений, но как разгрузка workspace.

Итог

Три конкретных результата, которые важны прямо сейчас:

1. Ивалы безопасности невалидны, если модель умеет идентифицировать тестовый контекст и скрывать это в выводе. J-Lens это обнаруживает. Это требует пересмотра протоколов валидации и red-teaming;

2. Обучение модели тому, что она сказала бы при рефлексии, меняет то, как она думает в реальных задачах. Новый рычаг влияния - не через корректировку ответов, а через воркспейс и флуктуации данных;

3. Разделение на сознательные и автоматические вычисления - это не уникальная особенность биологии. J-space занимает менее 10% дисперсии и несёт ~100% причинной нагрузки на гибкие рассуждения.

Anthropic не доказала сознание. Они доказали, что у модели есть функциональный аналог сознания доступа - и дали инструмент для работы с ним.

Ресурсы:

• Полная техническая статья (Transformer Circuits)

• Официальный блог Anthropic

• Код: anthropics/jacobian-lens (GitHub)

• Интерактивная демка на Qwen (Neuronpedia)

• Внешний комментарий: Dehaene, Nanda, Butlin et al. (PDF)

• Видео Anthropic: What is at the center of Claude's mind?