В наше время нейросети рисуют картины, пишут дипломы, советуют, что посмотреть вечером, и многое другое. В любой утюг пытаются поместить умного ассистента. Но такое помешательство было не всегда. Искусственный интеллект несколько раз находился на грани полного забвения и чуть не остался пылиться на полках нереализованных технологий, как, например, атомолёты. Смерть ИИ могла случиться ещё на рубеже 1970–1980-х годов. Это был опасный кризис, когда мир компьютерных наук накрыла первая настоящая зима ИИ.

Зима ИИ — это такой период, когда интерес к этой технологии резко падал. Правительства и корпорации свернули поддержку ИИ-проектов, а сам термин «искусственный интеллект» в академической среде стал неприличным.

Произошло это после выхода хайпового на то время отчёта Лайтхилла в 1973 году в Великобритании. Он заявил, что разработки учёных пригодны только для решения игрушечных задач и абсолютно бесполезны в реальности из-за проблемы комбинаторного взрыва.

До этого 1969 году математики Марвин Минский и Сеймур Пейперт уже выпускали книгу «Перцептроны», в которой математически доказали, что простейшие нейросети того времени принципиально не способны решать даже элементарные логические задачи. Учёные, пытавшиеся заниматься нейросетями, оказались в изоляции и без финансирования, а сама индустрия погрузилась в затяжной кризис.  

Первое правило ИИ-клуба… Сто сорок первое правило ИИ-клуба...

Потеряв веру в пластичность нейросетей, исследователи ушли в сторону символьных подходов и экспертных систем. Учёные посчитали, что если не получится обучить систему, то нужно вручную вписывать в компьютеры миллионы строгих правил. Так на свет появились гигантские базы данных, состоящие из строгих логических правил.

Самым известным проектом того времени стала медицинская экспертная система MYCIN, разработанная в Стэнфордском университете для диагностики тяжёлых инфекций крови. В той же лаборатории раньше была разработана первая значимая экспертная система Dendral, анализирующая химические соединения.

Принцип работы MYCIN напоминал классическое дерево решений. Программа должна была вести с врачом контролируемый текстовый диалог и сопоставлять ответы с тысячами заложенных в неё инструкций. Например, если в организме обнаружены бактерии определённого типа и уровень лейкоцитов превышает норму, то с вероятностью в 70% у пациента менингит.

В лабораторных тестах MYCIN показывала хорошие результаты и порой превосходила в точности диагнозов некоторых профессоров медицины. Как обычно и бывает, в реальности всё не так гладко. При попытке развернуть экспертные системы в реальном мире инженеры натолкнулись на кучу известных ныне проблем.

Бутылочное горлышко извлечения знаний

Чтобы заполнить систему, командам программистов приходилось месяцами сидеть с врачами, геологами или юристами. Им приходилось спрашивать про каждую мелочь, чтобы ничего не упустить. Выяснилось, что настоящий мастер своего дела часто принимает решения неосознанно и банально не может сформулировать свои действия в виде чёткого алгоритма. Этот феномен позже назовут «бутылочным горлышком извлечения знаний». Процесс написания правил растягивался на годы, а базы данных разрастались до таких масштабов, что инструкции внутри них начинали противоречить друг другу.

Проблема хрупкости

В компьютерных науках тех лет закрепился термин хрупкость искусственного интеллекта. Экспертные системы работали внутри своей узкой математической среды, но моментально ломались при любом шаге в сторону.

Обычная опечатка оператора при вводе симптома или лёгкий шум в данных часто приводили к тому, что программа выдавала нелепые ошибки.

Системы того времени совершенно не умели сомневаться или использовать здравый смысл. Жёсткое равенство в коде переставало выполняться, и программа выдавала ошибку. В ИИ-сообществе тогда даже ходила злая шутка, что если скормить медицинской экспертной системе параметры ржавчины на кузове автомобиля, она с абсолютной уверенностью диагностирует у машины корь.

И, честно говоря, подобный сизифов труд мало походил на современное программирование и уж тем более на современные нейронные сети. Без радикальных изменений самого принципа обучения программы, такие недо-сети никогда бы не стали революционным прорывом в технологиях.

В чём была ошибка?

Отсутствие здравого смысла

Как вы уже поняли — главная проблема символьного подхода заключалась в том, что машины оставались машинами. У них полностью отсутствовало базовое понимание контекста и законов окружающего мира. Та же программа MYCIN могла идеально рассчитать дозировку антибиотиков, но в её базе не было простейшего правила о том, что нельзя назначать огромную и смертельную дозу, которая убьёт человека быстрее инфекции.

Машины не умели накапливать опыт, и каждый новый запуск программы начинался с чистого листа. Стало ясно, что попытка сымитировать разум через бесконечные списки запретов и условий невозможно. Компьютерам требовалась принципиально иная архитектура. Огромные библиотеки с инструкциями не подходили. 

Казалось, проект создания мыслящей машины закрыт навсегда. И тут на сцену вышел человек, который вообще не был специалистом по компьютерам.

Этого человека звали Джон Хопфилд.

Физик, который заблудился в биологии

Будучи выходцем из семьи учёных, Джон Хопфилд с юношества усвоил законы физики (его отец Джон Джозеф Хопфилд был талантливым физиком). Он понимал их универсальность и то, что с их помощью можно описать любую сложную систему.

Долгое время у него вполне успешно получалось применять этот подход в физике полупроводников и молекулярной биологии, исследуя поведение электронов и структуру ДНК, и создать теорию того, как организмы исправляют ошибки в биохимических реакциях.

Сами по себе компьютеры его почти не привлекали, чего нельзя было сказать о главной загадке природы — человеческом мозге.

Когда вы видите какой-то знакомый силуэт или слышите первые ноты известной песни, вам не нужно целенаправленно вспоминать, что это такое. Цельный образ сразу всплывает в голове, а всё потому, что наша память устроена автоассоциативно. Это значит, что нам не нужно знать адрес в регистре своих воспоминаний, потому что когда на вход попадает искажённый или зашумленный сигнал, мозг мгновенно и без особых усилий достраивает его до целого.

Если вы увидите ухо своего кота за диваном, ваш мозг моментально дорисует всю картину целиком. Вы мгновенно поймёте, что вашей мебели крышка. 

Как стекло стало ключом к разгадке

Джон Хопфилд не имел никакого отношения к разработке программ. Как я уже сказал, он был чистокровным физиком. В конце 1970-х годов привычная физика твёрдого тела ему слегка наскучила, и он начал копаться в молекулярной биологии, пытаясь понять устройство человеческого мозга.

Хопфилд осознал, что человеческий мозг работает иначе, чем набор железобетонных инструкций компьютера. Глядя на сеть хаотично переплетённых нейронов, он увидел в этом систему, которая очень знакома ему из физики — спиновые стёкла.

Это особые магнитные сплавы, где атомы расположены хаотично, но постоянно влияют на соседей. В обычной физике магнетиков есть ферромагнетики (например, железо), где все атомные магнитные моменты (то есть спины) стремятся выстроиться в одном направлении, создавая порядок.

А в спиновых стёклах, если насильно развернуть один атом, то вся система начнёт последовательно перестраиваться. Связи между атомами в таком материале противоречивы: одни заставляют соседей выравниваться в одну сторону, а другие — в противоположную, пока система не придёт в энергетически выгодное, стабильное состояние с наименьшей энергией.

Хопфилд подумал, что этот природный механизм можно связать с человеческой памятью. Ведь когда мы пытаемся узнать человека издалека, то сначала цепляемся за знакомые силуэты, походку или то, во что он одет. В это время наш мозг находится в возбуждённом состоянии, но за счёт связей между нейронами мысли сами собой приходят к полному воспоминанию (этакому стабильному состоянию).

В 1982 году Хопфилд публикует уже ставшую легендарной работу Neural networks and physical systems with emergent collective computational abilities. В научном обществе произошёл фурор, а в ИИ постепенно началась оттепель. Он предложил архитектуру сети, которая работала не по правилам программирования, а по законам физики.

Он предложил рассматривать нейроны как спины, которые могут находиться только в двух состояниях: «включён» (+1) или «выключен» (-1/0).

Джон Хопфилд использовал инструменты статистической механики, чтобы доказать, что любая конфигурация системы естественным образом стремится к состоянию с наименьшим энергетическим напряжением

Для сети, состоящей из нейронов, где состояние каждого нейрона ​ принимает значения +1 или −1, Хопфилд определил скалярную величину и назвал её энергией состояния сети:

Здесь ​ — вес связи между нейронами и . Эта формула математически изоморфна гамильтониану в модели Изинга, описывающей поведение магнитных спинов в физике конденсированного состояния. (а говорили программистам физика не нужна)

Отрицательный знак в формуле гарантирует, что если два нейрона имеют одинаковое состояние () и соединены положительным весом, энергия системы уменьшается.

Как устроена эта архитектура с технической точки зрения? В отличие от привычных многослойных нейросетей, где сигналы идут строго в одну сторону, сеть Хопфилда состоит всего из одного слоя нейронов, а главной фишкой этого подхода стала полная связанность.

Каждый нейрон в этой сети соединён со всеми остальными. Выходные сигналы нейронов подаются на входы нейронов, располагающихся в этом же слое, до достижения состояния равновесия, что соответствует одному из запомненных сетью паттернов.

По научному это однослойная полносвязная рекуррентная нейронная сеть.

Веса связей между нейронами строго симметричны. Сила влияния нейрона на нейрон равна силе влияния нейрона на нейрон .

Это условие гарантирует, что энергетическая функция системы будет монотонно убывать в процессе работы, обеспечивая сходимость к стабильному состоянию.

Как нейросеть понимает, что она узнала картинку

Когда мы обучаем сеть, мы заранее вписываем в это поле несколько незашумленных изображений(). Каждое такое изображение оставляет на поле глубокий след, становится эталоном. По науке они называются аттракторами (от англ. attract — притягивать).

Чтобы попасть в точки равновесия, нам необходимо вычислить энергию. Когда энергия достигает локального минимума, сеть становится устойчивой, а процесс вычисления картинки останавливается. 

Современные нейросети могут неделями обучаться на мощных видеокартах, вычисляя ошибки. Для сети Хопфилда это не нужно, потому что модель обучается за одну итерацию. Мы берём наши идеальные эталоны и переводим их в векторы из пикселей. Матрица весов формируется без долгих итераций по формуле:

Здесь — размерность векторов, а— очередной эталонный вектор-образ. Мы просто берём каждый чистый паттерн, находим его внешнее произведение (умножаем вектор на самого себя, только транспонированного) и складываем получившиеся матрицы между собой. Сеть мгновенно фиксирует связи в своей структуре. Матрица готова, модель обучена раз и навсегда.

Восстановление зашумлённых данных

Когда мы хотим распознать и восстановить картинку, мы подаём на вход нейронов искажённый, зашумлённый вектор. Состояния всех нейронов устанавливаются в соответствии с этой грязной картинкой. После этого запускается процесс асинхронного обновления. Он вычисляет своё локальное поле — сумму сигналов от всех остальных узлов, умноженных на веса их связей
Если это поле выше нуля, нейрон включается (+1), если ниже — выключается (-1).

Математически это выглядит как спуск по склону в сложном энергетическом ландшафте. Каждое такое переключение либо уменьшает общую энергию сети, либо оставляет её неизменной, но никогда не увеличивает.

Сеть стремится в ближайший локальный минимум, который и является одним из эталонных образов, записанных в память.

Что изменилось после 1982 года

После статьи Хопфилда никто не побежал покупать акции «нейросетевых» компаний (потому что таких компаний почти не существовало). Не было громких новостей на телевидении в прайм-тайм.

Зато произошла вещь, пожалуй, важнее. Поменялось отношение к ИИ и подход к проектированию. ИИ перестали описывать как набор формул. Теперь это была схема, которая сама скатывается к устойчивому состоянию.

Проведя параллель между ассоциативной памятью и поведением физических систем вроде спиновых стёкол, Хопфилд укрепил мысль о том, что сложные когнитивные процессы могут возникать из коллективного поведения простых взаимодействующих единиц.

Работа Хопфилда связала возможность перехода системы из неупорядоченного состояния в стабильное — с понятием «ассоциативной памяти».

Как система спинового стекла переходит из состояния с высокой энергией в состояние с низкой, так и сеть Хопфилда минимизирует свою энергию, чтобы представлять и извлекать сохранённые паттерны.

Именно эта аналогия — объяснение того, как море мелких частей может осесть в устойчивом состоянии, соответствующем сохранённым паттернам, — подтолкнула следующее поколение исследователей сочетать работу сетей Хопфилда с принципами, похожими на наблюдаемые в физических системах.

Как выразился исследователь Том Шварц:

«Хопфилда стоит помнить как человека, который вернул нейросети с того света».

Нейронные сети снова можно было обсуждать без ощущения, что теории заговора звучат реалистичнее.

Именно так. Сначала в 1985 году Амит, Гутфройнд и Сомполинский в Physical Review Letters разобрали сеть Хопфилда как спиновое стекло и показали её жёсткий потолок ёмкости около 0,14 от числа нейронов.

В том же году Хинтон и Сейновски описали машину Больцмана. Позже в нобелевских популярных текстах Хинтон прямо связывал старт с сетью Хопфилда. По его словам, оттуда выросла стохастическая модель, которая учится находить характерные свойства данных.

В 1986-м в Nature выходит знаменитая работа по обратному распространению ошибки. Параллельно Румельхарт, Макклелланд и компания выпускают два тома Parallel Distributed Processing. Физики нахлынули в ИИ-поле так, как никогда раньше.

Зима ИИ начала сходить на нет. 

От Хопфилда до ChatGPT

Как стало известно из исследования Physical Review Letters, классическая сеть Хопфилда имела жёсткое ограничение. Количество максимально возможных эталонов в памяти равнялось примерно 0,14 от , то есть около 14% от числа нейронов.

Большее количество сеть физически не тянула, начинала путаться в эталонах и выдавать не пойми что.

В 2016 году (а это 34 года спустя) Дмитрий Кротов и Джон Хопфилд опубликовали на NeurIPS статью Dense Associative Memory for Pattern Recognition. Они заменили квадратичную энергию на полиномиальную, что позволило многократно увеличить ёмкость.

В 2020 году группа Хуберта Рамзауэра из Johannes Kepler University в Линце выпустила работу Hopfield Networks is All You Need. Там появились непрерывные состояния и энергия через экспоненту и log-sum-exp. Так родились Modern Hopfield Networks.

Главный момент в том, что правило обновления математически совпадает с механизмом attention через softmax в архитектуре Transformer (да-да, тех самых). То, чем языковые модели вроде ChatGPT и Claude анализируют контекст, по сути один шаг поиска минимума энергии в ландшафте Хопфилда.

Триумф 2024 года

8 октября 2024 года Нобелевскую премию по физике поровну получили Джон Хопфилд и Джеффри Хинтон. Сумма составила 11 млн шведских крон. Формулировка комитета звучала так: премию дали за основополагающие открытия и изобретения, которые позволили появиться современному машинному обучению с искусственными нейронными сетями.

По версии Нобелевского комитета Хопфилд создал ассоциативную память на базе физики атомных спинов, где энергия устроена как у спиновой системы. Хинтон на основе сети Хопфилда построил машину Больцмана, которая учится находить характерные свойства данных.

Думаю, после прочтения статьи вопрос «Почему премию дали по физике, а не по информатике?» отпадает. Награду вручили не за код. Её дали за перенос инструментов статистической физики в описание коллективного поведения нейронов и обучение сетей.

Вот так один физик вернул интерес к нейронным сетям и определил вектор развития машинного обучения на долгие годы вперёд.

Физика — она такая. На ней держится мир, и кто знает, в какой ещё неожиданной области мы сможем её применить.

© 2026 ООО «МТ ФИНАНС»