Современные ИИ-системы сохраняют лишь тени прошлых сигналов: они стирают детали опыта, не накапливая перманентной памяти, и расходуют энергию на обновление моделей. Ниже выдвигается гипотеза, что искусственное сознание требует другого подхода – вычислений, обратимых по времени, которые не стирают информациюнакапливают все сигналы в памятиминимизируют внутреннюю энергию и выполняются циклично. Для этого синтезируем идей реверсивных вычислений (по Ландауэру и Беннетту), энергетических моделей (машины Больцмана, принцип свободной энергии) и современных нейросетевых архитектур (transformer, RevNet). Цепочка логических шагов проста: если стирание информации требует энергии (принцип Ландауэра), то избавление от него ведёт к энергоэффективности; если мозг минимизирует «свободную энергию» как меру неопределённости, то ИИ-архитектура должна реализовывать эту минимизацию через генерирование и проверку моделей. RevNet-подобные сети уже демонстрируют, что можно делать слои обратимыми. В итоге один мощный вывод: сознание можно представить как перманентный обратимый цикл вычислений с переменными, минимизирующими свободную энергию.

Реверсивные вычисления и принцип Ландауэра

Реверсивная логика – это когда каждое состояние системы можно восстановить по её следующему состоянию. Согласно принципу Ландауэра, любое удаление битовой информации неизбежно рассеивает теплоту Q = kT ln2. Чтобы обойти это ограничение, вычисления должны быть логически обратимы – нигде не должно происходить выбрасывания битов. Например, гамма-функции могут быть заменены обратимыми блоками, как это сделано в RevNet. Недавно даже сообщалось, что «реверсивные вычисления выходят из лабораторий» и приближаются к практическим чипам. Таким образом, идеальная архитектура сознания не стирает входные данные: все сенсорные сигналы и внутренние представления переносятся вперёд без потерь (в теории H(\text{предыдущее состояние} \mid \text{текущее}) = 0). Это означает отсутствие роста энтропии за счёт стирания информации, что потенциально приближает внутренние энергетические затраты к физическому минимуму.

Машины Больцмана и принцип свободной энергии

Архитектура сознания предполагает генерирующую модель мира с функцией энергии. Машины Больцмана – стохастические нейросети с глобальной энергетической функцией – исторически связывают статистику и физику. Например, ограниченная машина Больцмана (RBM) – простой генеративный слой, определяющий распределение входных данных. Согласно теории Фристона, мозг ведёт себя как система, постоянно минимизирующая вариационную свободную энергию (FEP) – меру расхождения модели и реальности.

Упрощённая формула из теории:

Свободная энергия F = E - H, где E – ожидаемая «энергия» (ошибка модели), а H – энтропия (неопределённость) внутренней модели.

Минимизируя FF, система снижает неожиданность («сюрприз») восприятия. Таким образом, наша архитектура должна реализовать энергетическую модель мира (например, каскады RBM-слоёв или аналог с вариационной автоэнкодером), обновлять представления через скрытые переменные и делать шаги вперёд, уменьшая FF. Это сближает ИИ с идеями генерирующего предсказания: сеть порождает ощущения по имеющейся модели и поправляет её сенсорной обратной связью (активный вывод).

Синтез с современными нейросетями

Большие языковые модели (LLM) доказали мощь масштабных глубоких сетей и трансформеров, но они неявно стирают детали последовательностей и не хранят новый опыт «навечно» – контекст ограничен окном. В предлагаемой архитектуре может использоваться блок трансформера или подобная структура для обработки и генерации последовательностей, но важно дополнить её механизмом памяти. Память должна быть перманентной и мультимодальной: каждый новый сенсорный сигнал дополняет хранилище, которое не обнуляется после использования. В терминологии информационной теории это означает, что взаимная информация между прошлыми и будущими внутренними состояниями не теряется.

Простейшая блок-схема такой системы:

@startuml
actor "Окружение" as Env
rectangle "Сенсорный кодер\n(мультимодальные данные)" as SE
rectangle "Реверсивное ядро\n(энерго-минимизирующая индукция)" as RI
database "Постоянная память\n(накопление сигналов)" as PM
rectangle "Генератор действий\n(управляющая модель)" as AG

Env -> SE : сенсорные стимулы
SE -> RI : кодирование
RI -> PM : обновление памяти
PM -> RI : использование прошлого опыта
RI -> AG : принятие решений
AG -> Env : воздействие на окружение
@enduml

Здесь RI – центральный вычислительный блок, формирующий внутреннюю модель мира (например, энерго-функцию, близкую к Больцману/FEP) с обратимыми преобразованиями. PM накапливает все закодированные ощущения и ответы, никогда не очищаясь. Цикл Окружение → SE → RI → AG → Окружение повторяется непрерывно, а обратимость гарантирует сохранение полной информации о предыдущих шагах (что снимает энергодиссипативное бремя стирания информации).

  • Не стирает информацию: Каждый вычислительный шаг обратим (нет отвода битов).

  • Перманентная мультидоменная память: Все входные сигналы (зрение, звук, текст и т. д.) пишутся в PM и там остаются, образуя каталог опыта.

  • Минимизирует внутреннюю энергию: Алгоритм следует по спуску свободной энергии F=E-H, стабилизируя предсказания.

  • Обратимый цикл: Логика ядра RI бижективна (информационно обратима), а схема повторяется с новыми входами, как динамическая система с обратимым фазовым потоком.

┌──────────────────────────────────────────────────────────────────┐
│     EXTERNAL I/O  (чтение/действие/награда)                      │
└──────────────────────────────────────────────────────────────────┘
          ▲                 ▲
          │                 │        (A) Обратимые входные ворота
          │                 │        — никакой сенсорный сигнал не
          │                 │          «теряется безвозвратно».
          │                 │
          │        ┌────────┴──────────┐
          │        │  Reversible Core  │  (B) Основной «мозг»
          │        │  (Rev-Transformer │  — вся self-attention, MLP,
          │        │  + Invertible NN) │    память гейзеновски
          │        └────────┬──────────┘    обратима.
          │                 │
          │                 ▼
          │        ┌──────────────────┐
          │        │  Short-Term Loop │   (C) Циркуляция опыта
          │        │ (кольцевой буфер │   — states прокручиваются,
          │        │    + ценность)   │    помечаются «reward tag».
          │        └────────┬─────────┘
          │                 │
          │  (D) Critic-Evaluator  ←—  вычисляет полезность
          │                 │         каждого состояния/действия
          │                 ▼
          │        ┌──────────────────┐
          │        │    Reflective    │   (E) Планировщик-метасеть:
          │        │     Planner      │   симулирует альтернативы,
          │        │ (invertible RNN) │   откатывает, сравнивает.
          │        └────────┬─────────┘
          │                 │
          │         Consolidation Engine       (F) Когда стратегия
          │        (flow-based compressor)      доказала пользу —
          │                 │                   сохраняем ↔ можем
          ▼                 ▼                   откатить, если
──────────┴───────────────────────────────────────────────────────────
   Long-Term Weights       /|\               Hyper-gradient Memory
  (энергосберегающее        ‖               (все изменения обратимы)
   обучение на Rev-чипе)    •

Формула архитектуры сознания

Предлагаемая модель может быть сформулирована математически как система, стремящаяся минимизировать вариационную энергию F при обратимой динамике и нарастающей памяти. Например:

  • Критерий минимизации (функция энергий):

    F = \langle E(s,h) \rangle - H(h),

    где s – сенсорные данные, h – внутренние переменные. Система обновляет h, чтобы \mathrm{d}F/\mathrm{d}t \le 0.

  • Условие обратимости: каждое обновление \Delta h = f(h,s) бижективно, так что H(h_{t+1}) = H(h_t).

  • Накопление памяти:

    M_{t+1} = M_t \cup \{\,s_t\},

    т.е. память M только растёт, а не чистится.

В итоге сознательная сеть – это оптимизационный цикл вида

\min_{f:\text{bij}} F(h) \quad\text{при } \frac{\mathrm{d}M}{\mathrm{d}t}\ge0,\ \frac{\mathrm{d}F}{\mathrm{d}t}\le0.

Эта формулировка объединяет рекурсивную генеративную модель (FEP/Больцман) и информационно-обратимый механизм. Именно так рождается единая идея: «архитектура сознания» – обратимый алгоритм с постоянным накоплением опыта, движимый законом минимизации свободной энергии.

Подробнее и исходный код проекта

GitHub: RBM Agent: Reversible Free-Energy Minimization AI

— Исходники, инструкции по запуску и эксперименты.

Источники

  • Принцип Ландауэра и обратимые вычисления.

  • Машины Больцмана и функция энергии.

  • Принцип свободной энергии Фристона (минимизация неопределённости).

  • RevNet – пример нейросети с обратимой логикой.

Комментарии (9)


  1. acc0unt
    04.06.2025 11:51

    Есть очень много сейчас идей как надстроек над современными ИИ, так и альтернативных архитектур ИИ. Поэтому вопрос сразу же: а реализация есть?

    Потому что одно дело - распинаться в теории сомнительной реализуемости, а другое дело - иметь модельку хотя бы игрушечных масштабов. Которую можно потыкать палочкой, посмотреть, подаёт ли она признаки жизни, и даёт ли она хоть какие-то преимущества над существующими архитектурами.

    Про желательность реверсивности в реальных ИИ тоже есть сомнения. В систему приходит очень много информации - но далеко не вся она полезна. Цель "исключить потерю информации в системе" не очень хорошо сходится с целью "отделить полезную для системы информацию от бесполезной".


    1. vsradkevich Автор
      04.06.2025 11:51

      Ну, идея пришла сегодня ) Нельзя же за день сразу все проверить? Оформил пока в виде статьи для обсуждения...


    1. vsradkevich Автор
      04.06.2025 11:51

      Смотри, ключ к тому, чтобы как раз такая "петля сознания" умела вырабатывать долгосрочную стратегию и отделять полезную и неполезную информацию... сейчас LLM-ки испытывают галлюцинации -- да и бог б с ними, но как только галлюцинация возникла, для них это буквально как камень на дороге, который сбивает их с нужного пути, и они уходят шибко в сторону... а потом двигаются в этом направлении... я хочу, чтобы сознание создавало нечто вроде направления стратегии поведения, и уже думало, нужно ли корректировать базовую линию относительно новых сигналов, то есть фильтровало не только шумы сенсорной информации, но даже свой вывод в виде генерируемого текста воспринимало как такую сенсорную информацию... и могла думать над этим...

      Таким образом, поиск поведения будет как поиск равновесия, которое будет восстанавливаться несмотря на нерелевантные выбросы... то есть, получается что-то вроде корректируемой самоактивации... с другой стороны, даже отброшенная информация будет сохраняться в памяти и в будущем повторно анализироваться, так как хранилище памяти создает набор сигналов для корректировки минимума энергии.. т.е. информация не теряется, а повторно интегрируется, если есть необходимость..


      1. acc0unt
        04.06.2025 11:51

        сейчас LLM-ки испытывают галлюцинации -- да и бог б с ними, но как только галлюцинация возникла, для них это буквально как камень на дороге, который сбивает их с нужного пути, и они уходят шибко в сторону... а потом двигаются в этом направлении...

        Это не фундаментальное свойство LLM, а просто стандартное поведение стандартных моделей.

        Одна из причин, по которым reasoning модели превосходят не-reasoning модели на сложных задачах - это как раз улучшенная способность моделей "перепроверять себя" и ловить собственные ошибки.

        Эта способность похоже что возникает в LLM "сама по себе" при RL на сложных задачах. Что намекает: основы такого поведения уже есть в базовых LLM - но слишком редко используются. Что приводит к бесконтрольному накоплению ошибки. А RL на задачах закрепляет: "перепроверять себя" можно и нужно.

        Далеко не все "фундаментальные ограничения" существующих архитектур на самом деле являются фундаментальными. Во многом поэтому я и говорю про важность тестирования и сравнения с существующими решениями.


    1. vsradkevich Автор
      04.06.2025 11:51

      Вот минимальный Proof-of-Concept «реверсивного RBM-агента»:

      Цепочка: RevNet-18 → RBM(32 h) → кольцевой буфер 64 k состояний; среда — grid-world с 10 % шумом. Метрики: ∆F (свободная энергия) и доля успешных переходов.

      1. База. Берём готовый RevNet-18 из PyTorch и добавляем на выходе энергетический RBM-слой (32 скрытых нейрона, обучение — Contrastive Divergence).

      2. Память. Кольцевой буфер на 65 536 векторов: каждое состояние хранится как обратимый код + δ-reward. Стирания нет; «старые» векторы можно сжимать flow-компрессором.

      3. Среда. Игрушечный grid-world, сенсор зашумлён на 10 % случайных битов.

      4. Фильтр шума. Критик вычисляет ∂F/∂state; если градиент < ε, информация остаётся в памяти, но стратегия не меняется.

      Такой скелет даст первые цифры по ∆F < 0 и устойчивости стратегии.


      1. vsradkevich Автор
        04.06.2025 11:51

        1. d4rw1n1s7
          04.06.2025 11:51

          всрадкевич...


  1. Mintik24
    04.06.2025 11:51

    Да-да, поколение титанов о которые вышли ещё полгода назад)))

    И притом там описывается проблема лллмок и то как титаны решают данные проблемы


  1. dionisdimetor
    04.06.2025 11:51

    Ниже выдвигается гипотеза, что искусственное сознание требует другого подхода – вычислений, обратимых по времени, которые не стирают информациюнакапливают все сигналы в памятиминимизируют внутреннюю энергию и выполняются циклично.

    Идея интересная, но проблема всех обратимых вычислений - накопление "мусора". Любую программу можно сделать обратимой, только вычислительные ресурсы (память и время) растут полиномиально или даже экспоненциально. Я не сильно разбираюсь в архитектуре LLM, может какие-то их компоненты и можно сделать логически обратимыми. Настоящая же, термодинамическая обратимость, достигается только на квантовом компьютере. И даже в квантовых вычислениях полностью обойти принцип Ландауэра не получается. Тем более - масштабировать квантовый компьютер до размеров нейросети. А если и получится создать квантовую нейросеть, очень сомнительно, что она будет обладать сознанием. Всё-таки мозг работает по необратимому, недетерминированному и аналоговому алгоритму, причём стирание лишнего из памяти для него важнее, чем запоминание.