Современные «мыслящие» машины возникли благодаря открытиям в области физики сложных материалов.

Спиновые стекла могут оказаться самыми полезными из бесполезных вещей, когда-либо обнаруженных. 

Эти материалы — обычно состоящие из металла, а не стекла — демонстрируют загадочное поведение, которое заинтересовало небольшое сообщество физиков в середине 20-го века. Спиновые стекла сами по себе не имеют какого-либо практического применения, но теории, разработанные для объяснения их странностей, в конечном итоге вызвали сегодняшнюю революцию в области искусственного интеллекта. 

В 1982 году учёный, изучающий физику конденсированного состояния, Джон Хопфилд, позаимствовал теорию спиновых стёкол, чтобы построить простые сети, которые могли учиться и иметь воспоминания. Сделав это, он оживил изучение запутанных сетей цифровых нейронов, которые были в значительной степени заброшены исследователями искусственного интеллекта, — и вывел физику в новую область: изучение разума, как биологического, так и механического. 

Хопфилд переосмыслил память как классическую проблему из статистической механики: учитывая некоторый ансамбль частей, как будет развиваться целое? Для любой простой физической системы, включая спиновое стекло, ответ приходит из термодинамики: «в сторону более низкой энергии». Хопфилд нашел способ использовать это простое свойство ансамблей для хранения и вызова данных с помощью сетей цифровых нейронов. По сути, он нашёл способ разместить воспоминания в нижней части энергетических уровней. Чтобы вызвать воспоминание, сети Хопфилда, как стали называть такие нейронные сети, не нужно ничего искать. Она просто должна катиться вниз по энергетическому склону. 

Сеть Хопфилда была «концептуальным прорывом», сказал Марк Мезар, физик-теоретик из Университета Боккони в Милане. Заимствуя теорию из физики спиновых стёкол, последующие исследователи, работающие над ИИ, могли «использовать все эти инструменты, которые были разработаны для физики этих систем». 

В 2024 году Хопфилд и его коллега-пионер ИИ Джеффри Хинтон получили Нобелевскую премию по физике за работу по статистической физике нейронных сетей. Премия стала неожиданностью для многих; было ворчание, что это, по-видимому, победа исследований в области ИИ, а не физики. Но физика спиновых стёкол не перестала быть физикой, когда помогла смоделировать память и построить «мыслящие» машины (1). И сегодня некоторые исследователи считают, что физика, использованная Хопфилдом в создании первых прототипов запоминающих сетей, может быть применена для проектирования более совершенных нейронных сетей, чем те, что у нас есть.

Эмерджентная память

Хопфилд начал свою карьеру в 1960-х годах, разрабатывая физику полупроводников. Но к концу десятилетия , как он написал в своём эссе 2018 года, «у меня закончились проблемы в физике конденсированного состояния, в которых мои особые таланты казались полезными». Поэтому он отправился на поиски чего-то нового. После набега на биохимию, который привёл к теории о том, как организмы «корректируют» биохимические реакции, Хопфилд остановился на нейронауке. 

«Я искал ПРОБЛЕМУ, а не проблему», — вспоминал он в своём эссе, подчёркивая необходимость определить что-то действительно важное. «Как разум возникает из мозга — для меня самый глубокий вопрос, который ставит перед нами человечество. Определённо ПРОБЛЕМА». 

Хопфилд понял, что ассоциативная память является частью той проблемы, которую может решить его набор инструментов из физики конденсированного состояния. 

В обычном компьютере данные хранятся статически, и к ним осуществляется доступ по адресу. Адрес не имеет никакого отношения к хранимой информации. Это просто код доступа. Поэтому если вы хоть немного ошибётесь в адресе, вы получите доступ к неправильным данным. 

Похоже, что человеческая память работает иначе. Мы часто помним по ассоциации. Какой-то намёк или обрывок памяти возвращает всё целиком. Это то, что происходит, когда вы чувствуете запах сирени и вспоминаете эпизод из детства в саду у дедушки или когда вы слышите первые несколько строк песни и обнаруживаете, что вы выкрикиваете каждое слово баллады, которую вы даже не знали, что помните. 

Хопфилд потратил годы на понимание ассоциативной памяти и воплощение её в нейронную сеть. Он экспериментировал со случайно соединёнными нейронными сетями и другими потенциальными моделями памяти. Всё выглядело не очень хорошо, пока, в конце концов, Хопфилд не нашёл внезапно ключ к «ПРОБЛЕМЕ». 

Спиновые стёкла 

В 1950-х годах учёные, изучавшие некоторые сплавы, такие как железо в золоте, поняли, что их образцы ведут себя странно. Выше определённой температуры эти сплавы ведут себя подобно обычному материалу, такому как алюминий. Они не являются магнитными сами по себе, но слабо взаимодействуют с внешними магнитными полями. Например, вы можете использовать очень сильный магнит, чтобы переместить алюминиевую банку, но сам алюминий не может работать как магнит. Обычно такие материалы, как алюминий, теряют свою намагниченность, как только исчезает внешний магнит. Но ниже определённой температуры спиновые стекла ведут себя иначе. Их переходная намагниченность сохраняется, хотя и на более низком уровне. (Это не единственная странность спиновых стекол; их тепловые свойства также озадачивают.) 

Около 1970 года физики, занимающиеся конденсированными средами, начали теоретически изучать эти материалы, усовершенствовав свою любимую модель коллективного магнитного поведения: модель Изинга. 

Модель Изинга выглядит как простая сетка стрелок, каждая из которых может указывать вверх или вниз. Каждая стрелка представляет внутренний магнитный момент, или «спин», атома. Это упрощение реальной атомной системы, но, изменяя правила, по которым соседние спины влияют друг на друга, модель может генерировать удивительно сложное поведение. 

В общем, соседние стрелки, указывающие в одном направлении, имеют низкую энергию, в то время как стрелки, указывающие в противоположных направлениях — высокую. Если спины могут свободно переворачиваться, то состояние модели Изинга будет эволюционировать в сторону состояния выравнивания с более низкой энергией, как мяч, катящийся под гору. Магнитные материалы, такие как железо, в конечном итоге приходят в простые состояния, в которых их спины выровнены либо в состоянии «все вверх», либо в состоянии «все вниз». 

В 1975 году физики Дэвид Шеррингтон и Скотт Киркпатрик разработали модель, которая могла бы охватить более сложное поведение спиновых стёкол, изменив правила взаимодействия спинов. Они случайным образом изменяли силу взаимодействия между парами спинов и позволяли каждому спину взаимодействовать с каждым другим спином — не только с его ближайшими соседями. Это изменение привело к неровному «ландшафту» возможных энергетических состояний. Были пики и впадины, соответствующие более высоким и низким энергетическим конфигурациям. В зависимости от того, где состояние начинало свой путь в этом ландшафте, оно оказывалось в уникальной долине или состоянии равновесия с низкой энергией. Это сильно отличается от ферромагнетиков, таких как железо, которые «застывают» в одном из двух упорядоченных состояний со всеми выровненными спинами, и немагнитов, чьи спины колеблются случайным образом и вообще не успокаиваются. В спиновом стекле случайность замораживается. 

Модель Изинга — это во многом упрощённая модель. Использовать её для попытки предсказать что-либо о реальных материалах — немного похоже на использование куклы Барби для планирования операции. Но, что примечательно, она часто работает. Модель Изинга теперь — рабочая лошадка статистической механики. Её вариации можно услышать практически в каждом уголке изучения сложных коллективных явлений — включая, благодаря Хопфилду, память. 

Спиновая память 

Простой взгляд на взаимодействующие нейроны имеет много общего с моделью магнитных спинов Изинга. Во-первых, нейроны часто моделируются как в основном бинарные переключатели «включено – выключено»; они либо срабатывают, либо нет. Спины также могут быть направлены либо вверх, либо вниз. Кроме того, срабатывающий нейрон может либо поощрять срабатывание своего соседа, либо препятствовать ему. Эти переменные силы взаимодействия между нейронами напоминают переменные силы взаимодействия между спинами в спиновом стекле. «Математически можно заменить то, что было спинами или атомами, — сказала Ленка Здеборова, физик и специалист по информатике из Швейцарского федерального технологического института в Лозанне. — Другие системы можно описать с помощью того же набора инструментов». 

Чтобы создать свою сеть, Хопфилд начал с сети искусственных нейронов, которые могут быть либо «включены» (активны), либо «выключены» (неактивны). Каждый нейрон влияет на состояние каждого другого нейрона, и эти взаимодействия можно регулировать. Состояние сети в любой момент времени определяется тем, какие нейроны активны, а какие находятся в состоянии покоя. Вы можете закодировать эти два состояния в двоичном коде: активный нейрон помечен как 1, а покоящийся нейрон как 0. Запишите состояние всей сети в любой момент времени, и вы получите строку битов. Сеть не «хранит» информацию на самом деле. Она и есть информация. 

Чтобы «научить» сеть шаблону, Хопфилд вылепил её энергетический ландшафт, изменив силу взаимодействий между нейронами так, чтобы желаемый шаблон попал в устойчивое состояние с низкой энергией. В таком состоянии сеть перестаёт развиваться и стабилизируется только в одном шаблоне. Он нашёл правило для этого, вдохновлённое классическим правилом нейронауки: «нейроны, которые активируются вместе, связываются вместе». Он настраивал взаимодействия между нейронами, которые оба активируются (или оба в покое) в желаемом конечном состоянии, и снижал взаимодействия между несовпадающими парами. Как только сеть обучается шаблону таким образом, она может снова достичь шаблона, просто перемещаясь вниз по энергетическому ландшафту сети. Она естественным образом достигнет шаблона, когда установится в равновесном состоянии. 

«Хопфилд установил связь и сказал: “Послушайте, если мы сможем адаптироваться, настроить обменные связи в спиновом стекле, возможно, мы сможем сформировать точки равновесия так, чтобы они стали воспоминаниями”», — сказал Мезар. 

Сети Хопфилда могут хранить несколько воспоминаний, каждое в своей маленькой энергетической долине. В какую долину попадёт сеть, зависит от того, где она начнёт путь в своём энергетическом ландшафте. Например, в сети, которая хранит изображение кошки и изображение космического корабля, начальное состояние, которое смутно напоминает кошку, чаще всего будет скатываться в долину кошки. Аналогично, запуск сети в состоянии, которое напоминает геометрические формы космического корабля, обычно побуждает её развиваться в сторону космического корабля. Вот что делает сети Хопфилда моделью ассоциативной памяти: получая повреждённую или неполную версию воспоминания, сеть Хопфилда динамически реконструирует его полную версию. 

Старая модель, новые идеи 

С 1983 по 1985 год Хинтон и его коллеги развивали работу Хопфилда. Они нашли способы ввести случайность в сети Хопфилда, чтобы создать новый тип нейронной сети, называемый машиной Больцмана. Вместо того чтобы запоминать, эти сети изучают статистические закономерности в обучающих данных и выдают новые данные, соответствующие этим закономерностям — ранний вид генеративного ИИ. В 2000-х годах Хинтон смог использовать урезанную версию машины Больцмана, чтобы наконец решить упрямую проблему обучения «глубоких» нейронных сетей, состоящих из нескольких слоев нейронов. 

К 2012 году успех глубоких нейронных сетей, разработанных Хинтоном и другими пионерами, было невозможно игнорировать. «Стало ясно, что это на самом деле работает удивительно хорошо и просто трансформирует всю технологическую индустрию», — сказала Здеборова. Генеративные модели ИИ, с которыми многие из нас теперь взаимодействуют каждый день, включая большие языковые модели, такие как ChatGPT, и модели генерации изображений, такие как Midjourney, — всё это глубокие нейронные сети. Их успех можно проследить до любопытных физиков 1970-х годов, которые отказались оставить «бесполезные» свойства спиновых стёкол необъяснёнными. 

Однако сети Хопфилда — это не просто часть прошлого ИИ. Благодаря новым идеям эти старые модели могут вернуться. 

В 2016 году Хопфилд и Дмитрий Кротов из IBM Research поняли, что сети Хопфилда — это не просто одна модель, а целое семейство моделей с разной ёмкостью памяти. Затем в 2020 году другая группа показала, что ключевая часть архитектуры трансформеров, основы большинства современных успешных моделей ИИ, является членом этого расширенного семейства сетей Хопфилда. 

Взяв это на вооружение, Кротов и его коллеги недавно разработали новую архитектуру глубокого обучения, названную энергетическим трансформером. Типичные архитектуры ИИ обычно находятся методом проб и ошибок. Но Кротов считает, что энергетические трансформеры можно было бы проектировать более целенаправленно, имея в виду конкретный энергетический ландшафт, как более сложный вариант сети Хопфилда. 

Хотя сети Хопфилда изначально были разработаны для запоминания, теперь исследователи изучают, как их можно использовать для созидания. Генераторы изображений, такие как Midjourney, работают на основе «моделей диффузии», которые сами по себе вдохновлены физикой диффузии. Чтобы обучить их, исследователи добавляют шум к обучающим данным — скажем, изображениям кошек — а затем обучают модель удалять шум. Это очень похоже на то, что делает сеть Хопфилда, но вместо того, чтобы всегда приземляться на одно и то же изображение кошки, модель диффузии удаляет «некошачий» шум из шумного случайного начального состояния, чтобы создать новую кошку (2). 

Оказывается, что диффузионные модели можно понимать как особый вид современной сети Хопфилда, согласно Кротову и его коллегам, включая Бенджамина Гувера, Ючена Ляна и Бао Фама. И этот подход можно использовать для прогнозирования аспектов поведения этих сетей. Их работа предполагает, что подача всё большего количества данных в современную сеть Хопфилда не просто переполняет её память. Вместо этого энергетический ландшафт модели становится настолько неровным, что она с большей вероятностью остановится на выдуманной памяти, чем на реальной (3). Она становится диффузионной моделью. 

То, что простое изменение количества — в данном случае количества обучающих данных — может вызвать неожиданное изменение качества, не является чем-то новым для физиков. Как писал физик Филип Андерсон в 1972 году, «больше — значит другое». В больших системах простое масштабирование сетей взаимодействий между частями может привести к удивительно новому поведению. «Тот факт, что нейронная сеть работает, — это эмерджентное свойство», — сказал Мезар. 

Явление эмерджентности в архитектуре глубокого обучения — или мозге — столь же захватывающе, сколь и загадочно; универсальной теории эмерджентности не существует. Возможно, статистическая физика, которая предоставила первые инструменты для понимания коллективного поведения, станет ключом не только к использованию, но и к пониманию непостижимого машинного интеллекта, изменяющего наш мир. 

Примечания

1) Называть современные нейронные сети «мыслящими» машинами — не совсем корректно по трём причинам. 

Во-первых, они, конечно, никакие не мыслящие и, хотя у них есть общие свойства с человеческим мозгом, к примеру, нейроны и их сети, — на этом их сходство и ограничивается. Мы пока точно не знаем, как именно работает человеческий мозг, и как в нём возникают сознание, эмоции и творчество, но то немногое, что мы знаем, говорит, что и структурно, и функционально он устроен вовсе не так, как промышленные нейросети. И что между сознанием, эмоциями и творчеством существуют намного более тесная связь, чем этого хотелось бы инженерам ИИ.  

Во-вторых, они не машины, а программы, работающие на обычном компьютерном железе. И хотя уже существуют прототипы нейроморфных процессоров и гибридные чипы, сочетающие биологические и электронные компоненты, пока все промышленные нейронные сети, все чат-боты крутятся на обычных серверах, выполненных по классической архитектуре фон Неймана. Которая, вообще говоря, крайне неэффективна в их случае.  

Вот вам пример. Человеческий организм в физическом покое вырабатывает примерно 100 Вт энергии. Учитывая, что эффективность процессов дыхания примерно 50%, можно сказать, что человек потребляет 200 Вт. Теперь сравните это с теми серверами, которые крутят чат-боты, и многое станет ясно. И это при том, что между нейронными сетями и человеческим мозгом разница больше, чем между мозгом мухи и человека. Более того, мухи успешно решают намного более широкий класс проблем, которые пока не могут решить нынешние нейронные сети. 

В-третьих, процессы обучения и работы в промышленных нейронных сетях разнесены во времени. После того, как обучение завершено и весовые коэффициенты загружены на сервер, они больше не меняются. Нейронные сети — в отличие от мозга живых существ — статичны, они не могут учиться в процессе работы, они не могут менять число нейронов и их связи — они лишены нейропластичности. Хотите улучшить нейронную сеть — выпускайте новую версию. 

Всё это говорит в пользу того, что инженерам пора прекратить эксплуатировать простые физические модели и присмотреться к тому, как работает реальный человеческий мозг. Этим, к примеру, много лет занимается великий инженер Джефф Хокинс (который изобрёл первый КПК Palm) и его компания Numenta.  

2) И вновь: человеческий разум работает совсем иначе. Мы не пишем бессмысленные тексты, чтобы случайным образом вычёркивая слова, получить книгу; не генерируем белый шум, чтобы редактированием получить симфонию; не заливаем холст сплошным цветом, чтобы потом смывать лишнее (такие техники существуют, но лишь как способ реализации готовых образов, а не их создания). И уж тем более не повторяем всё это много раз в надежде случайно получить хороший результат. Мы используем вспомогательные конструкции, но беря в руки инструмент, мы уже имеем образ того, что мы хотим. 

И потом, чтобы генеративный ИИ мог сгенерировать, к примеру, новый космический корабль, ему нужно показать много космических кораблей, чтобы сформировать нужный «энергетический ландшафт». Он не может генерировать то, что никогда не видел. И это в общем значит, что реально он не создаёт новые знания, он лишь перетасовывает или варьирует уже имеющиеся. Причины этого вполне понятны: у современного генеративного ИИ нет воображения (и вообще сознания), он оперирует не образами, понятиями и концепциями, а пикселями и битами.

Но человек может нарисовать то, чего никогда не видел раньше, потому что у него есть воображение. И неважно, реальный это объект или вымышленный. Кто-то же нарисовал первый космический корабль?

3) В применении к человеку это назвали бы галлюцинациями или «ложными воспоминаниями». То, что сети Хопфилда легко становятся «диффузионными» сетями является, по моему мнению, скорее, недостатком. Хотя творчество и психическая неустойчивость, скорее всего, связаны (о чём я написал в эссе «Человеческое, слишком человеческое» в 2019 году), но не хотелось бы, чтобы она проявлялась на таком низком уровне — в самой конструкции нейронной сети. 

Автор перевода и примечаний @arielf

НЛО прилетело и оставило здесь промокод для читателей нашего блога:
-15% на заказ любого VDS (кроме тарифа Прогрев) — HABRFIRSTVDS.