Если вы попробуете обсуждать с большими языковыми моделями (LLM) прорывные новые идеи в области теоретической физики, то знайте — это занятие совершенно бесполезное. Объясню, почему.

Одним из самых примечательных технологических достижений последнего времени являются «обучающиеся машины», то есть, искусственный интеллект. Притом, что возможности таких систем обширны и очень впечатляют, работа этих машин опирается на математику уровня младших курсов и большие наборы высококачественных данных. Возможности таких машин не безграничны, поэтому при попытке побеседовать с ИИ на темы из области передовой теоретической физики ответы машины будут сильно замусорены ИИ-шлаком.      

Краткое резюме

• С тех пор, как начался расцвет таких LLM как ChatGPT, Gemini, Claude, Grok и Llama, многие физики-энтузиасты пустились подробно «обсуждать» с такими системами вычурные и креативные идеи. Такое занятие стали называть «вайб-физикой».

• Участвуя в таких «разговорах», человеку легко поверить, что он либо совершил, либо вот-вот совершит великое открытие, обнаружит что-то совершенно новое, после чего останется лишь уточнить разные мелкие детали. 

• На самом деле LLM не просто врут вам об обоснованности или правдоподобности таких идей — более того, они даже не в состоянии вывести элементарные известные законы физики на основе больших наборов релевантных данных. Вы позволяете себя дурачить, и вот как этого избежать.

Физика  — это самая фундаментальная из всех естественных наук. Её цель — описать природу в наиболее простых и предельно неуменьшаемых категориях, насколько это возможно. Суть физики в исследовании содержимого Вселенной, а также управляющих ею законов. Поэтому физика позволяет не только прогнозировать, как именно те или иные события будут развиваться в реальности, но и давать точное количественное описание Вселенной. Речь о том, что физика способна сообщить, в какой степени, «насколько» эффект, любое физическое явление или взаимодействие повлияет на любую физическую систему. Пусть физику зачастую и двигают вперёд дикие, зачастую еретические идеи, совершенно бесспорно, что существуют одновременно 

• Фундаментальные физические объекты и величины,

• Фундаментальные физические законы

позволяющие нам серьёзно и довольно точно прогнозировать, что именно (и насколько выраженно) произойдёт в любой заданной физической системе.

За века развития науки было открыто множество новых правил, законов, были открыты элементарные частицы, была сформулирована Стандартная Модель, действующая как на уровне физики частиц, так и на уровне космологии. Весь этот аппарат есть в нашем распоряжении в течение всего XXI века.

Ещё в 2022 году вошли в употребление первые мейнстримовые чатботы под управлением ИИ. Их стали называть большими языковыми моделями (LLM). Многие их восхваляли за многогранность, явную способность рассуждать и зачастую удивительное умение подсвечивать интересные факты. Но при этом LLM оставались фундаментально ограниченными, когда от них требовалось продемонстрировать понимание даже самых элементарных идей в области естественных наук.

Но в течение 2025 года распространилось увлечение, которое вскоре окрестили вайб-физикой: оно заключается в том, чтобы подробно беседовать с LLM о физике и (ошибочно) полагать, что модель с тобой сотрудничает, помогая тебе делать многозначительные прорывы, обладающие огромным потенциалом. Ниже я расскажу, почему это полнейший самообман, и почему вместо плодотворного сотрудничества человек просто попадается в ловушку ничем не ограниченного ИИ-шлака.

Вот пример сети прямого распространения  (без обратного распространения), представляющей собой ограниченную машину Больцмана. В такой сети между входным слоем и выходным слоем есть как минимум один скрытый слой, и связи существуют лишь между узлами, относящимися к разным слоям. В пределах одного слоя между узлами нет связей, и такая архитектура стала огромным шагом к созданию современных ИИ-систем/больших языковых моделей.

Иллюстрация: Нобелевский комитет по физике, 2024

Следует признать, что есть огромное количество практических сфер, в которых ИИ в целом и большие языковые модели в частности исключительно хороши. Всё дело в том, как именно они построены, и это одна из тех хорошо известных вещей, которые не вполне осознаются. Вот как работает «классическая» компьютерная программа:

• Принимает от пользователя одиночное входное значение или серию таких значений,

• Далее выполняет вычисления, предписанные заранее запрограммированным алгоритмом,

• После чего возвращает пользователю результирующее значение или серию таких значений.

Программы, в основе которых лежит искусственный интеллект, принципиально отличаются от классических потому, что при выполнении вычислений не опираются на заранее запрограммированный алгоритм. Вместо этого сама программа, прошедшая машинное обучение, должна очертить для себя базовый алгоритм и выполнить его.

Как правило, об ИИ в целом и БЯМ в частности не осознаётся, что область их применения фундаментально ограничена. Речь о том, что «ИИ хорошо ровно настолько, насколько хороши данные, на которых он обучался». Как правило, это означает, что алгоритмы машинного обучения бывают исключительно мощными (настолько, что способны обставить человека, являющегося экспертом в том или ином предмете) при решении узкоспециализированных задач, на которые они натасканы. Однако, стоит им столкнуться с вопросами по поводу данных, отсутствовавших в учебном множестве, оказывается, что вся эта мощь и производительность совершенно не универсальна.  

Исходя из кеплеровской кривой блеска транзитной экзопланеты Kepler-1625b, мы смогли заключить, что у неё, вероятно, есть экзолуна.  Тот факт, что транзит происходит не всегда с одинаковой периодичностью, а что хронометраж его немного варьируется, в основном и подсказал исследователям, что дело, наверное, в наличии спутника. Экзопланет известно уже достаточно много, что позволяет составлять из них большие датасеты. Опираясь на эту информацию, алгоритмы машинного обучения позволяют находить новые кандидаты в экзопланеты и экзолуны. На основе алгоритмов, написанных человеком, обнаружить эти тела не удалось бы.

Иллюстрация: NASA GSFC/SVS/Katrina Jackson

Приведу пример: можно обучить ИИ на больших датасетах, состоящих из монологов и бесед на конкретном языке. Тогда ИИ станет очень хорошо улавливать паттерны этого языка и, располагая достаточными данными, сможет крайне эффективно имитировать рисунок человеческой речи, вести беседу на конкретном языке. Аналогичные вещи происходят, если натренировать ИИ на больших датасетах, состоящих из:

• Фотографий европеоидных человеческих лиц,

• Изображений спиральных галактик,

• Актов распространения гравитационных волн, которые образуются при столкновениях чёрных дыр.

Можете быть уверены, что алгоритм вашего искусственного интеллекта преуспеет в вычленении паттернов, характерных именно для этих множеств данных.

Затем, получив другой образец данных, похожий на уже изученные, ИИ сможет его классифицировать и охарактеризовать. Либо можно пойти другим путём и просто описать систему, обладающую похожими свойствами — после этого хорошо натренированный ИИ-алгоритм отлично «сымитирует» систему, которая будет иметь именно те свойства, которые вы описали. Обычно именно так и используется генеративный ИИ, преуспевающий в решении задач как раз такого класса.

Располагая большим учебным набором данных, в котором содержится, например, большое количество фотографий человеческих лиц в высоком разрешении, можно при помощи искусственного интеллекта и приёмов машинного обучения не только освоить идентификацию таких лиц, но и генерировать человеческие лица, обладающие различными специфическими чертами. Эта толпа снята в берлинском районе Мауэрпарк и могла бы послужить отличным учебным датасетом для генерации европеоидных лиц. С другой стороны, она очень плохо справлялась бы с задачей генерации таких черт, которые присущи афроамериканским лицам.

Иллюстрация: Loozrboy/flickr

Правда, тот же самый качественно обученный ИИ гораздо хуже справлялся бы с выявлением признаков или с генерацией изображений по таким входным параметрам, которые отсутствуют в том датасете, на котором он учился. Если БЯМ обучалась на материале английского языка (и хорошо с ним работала), она почти не справится с расшифровкой диалога на тагальском. ИИ-программа, обученная распознаванию европеоидных лиц, могла бы сгенерировать лишь низкокачественное лицо нигерийца. Модель, обучавшаяся распознаванию спиральных галактик, оказалась бы «озадачена» старой эллиптической галактикой. Программа для распознавания гравитационных волн, обученная на парных столкновениях чёрных дыр, принесла бы минимум пользы, если бы ей предъявили белый карлик, по спирали устремляющийся в сверхмассивную чёрную дыру.     

Но, всё-таки, если БЯМ целенаправленно программируется на работу в качестве чат-бота, то одна из её основных задач — удерживать внимание пользователя, так, чтобы он продолжал беседу. БЯМ не станет честно сообщать пользователю о том, что может быть в чём-то некомпетентна (с учётом того набора данных, на котором она обучалась), а будет уверенно и зачастую опасно дезинформировать человека, продолжая разговор с ним. Известны случаи, когда «терапевтические чат-боты» даже поддакивали собеседнику, рассказывавшему о суицидальных мыслях и планах, мотивируя его воплотить их.

Тем не менее, успех БЯМ в тех сферах, работе в которых они целенаправленно не обучались, например, в вайб-кодинге, замотивировал многих поверить, что те же самые БЯМ вполне справятся с задачами, на материале которых их полезность пока не проверялась.

В изображённой здесь иерархии математических пространств мы переходим от пространств самого общего типа (топологических) до наиболее специфического предгильбертова пространства. Со всеми топологическими пространствами вводится своя метрика, но не всякое топологическое пространство можно определить метрикой. Со всеми нормированными векторными пространствами вводится метрика, но не каждая метрика содержит нормированное векторное пространство. Каждое предгильбертово пространство вводит норму, но не все нормированные векторные пространства являются предгильбертовыми. Математические пространства принципиально важны для поддержки тех механизмов, которые обеспечивают работу искусственного интеллекта.

Иллюстрация: Jhausauer/общедоступная информация

Следует признать, концептуально для искусственного интеллекта и машинного обучения действительно находится применение и в физике, и в астрофизике. Если тренировать алгоритмы машинного обучения      на достаточно обширных и релевантных высококачественных данных, то эти модели демонстрируют выдающиеся успехи, подмечая и выявляя закономерности в этих данных. Если после обучения предложить модели запрос, касающийся такого паттерна, найденного в датасете, то алгоритм отлично воспроизведёт интересующий нас паттерн и задействует его именно так, что он удовлетворит сформулированный пользователем запрос. Вот почему алгоритмы машинного обучения так хорошо находят экзопланеты, не замеченные людьми, классифицируют астрономические объекты, которые на взгляд человека выглядят неоднозначно, а также воспроизводят или симулируют физические явления, встречающиеся в природе.

Но теперь напомню вам чрезвычайно важную разницу между описанием и выведением в такой дисциплине как физика. БЯМ, располагающая большой библиотекой обучающих данных, с лёгкостью выявляет паттерны: в монологе и беседе, в классах схожих задач, в данных, возникающих при изучении известных объектов и т.д. Но это не означает, что БЯМ достаточно компетентны, чтобы открывать базовые физические законы, управляющие системой, даже если опираются на сколь угодно большие объёмы данных. Это не значит, что БЯМ в состоянии понять базовые взаимоотношения между компонентами или вывести их. Наконец, это не означает, что БЯМ не предпочтут «просто продолжать разговор» с пользователем вместо того, чтобы подбирать фактически верные, релевантные утверждения, позволяющие пользователю осмысленно и категорично ответить на сформулированный вопрос.

Скриншот вопроса о целых числах, заданного модели iask.ai, а также её удручающе неверный ответ. Правильный ответ — -5. Чтобы получить его, нужно ещё несколько промптов, которыми мы сами целенаправленно подводим ИИ к верному выводу.

Пример: E. Siegel/iask.ai

Будучи экспертом в некоторой теме, не составляет труда завести с БЯМ такой разговор о физике, который не только легко продемонстрирует пределы её возможностей, но и подсветит галлюцинации. Более того, очень многие учёные и популяризаторы науки подтвердят, что такого же эффекта можно добиться, анализируя  письма дилетантов, увлекающихся «вайб-физикой». Учитывая это, исследователи Кейон Вафа, Питер Чанг, Ашеш Рамбачан и Сендхил Муллайнатан взялись подвергнуть системы машинного обучения ещё более специфическому испытанию. В статье от июля 2025 года авторы попытались проверить, насколько ИИ способен вывести так называемую «основополагающую модель» (foundation model) — то есть, базовый закон реальности, применимый в новых ситуациях, значительно выходящих за рамки паттернов, встречающихся в учебных данных испытуемого ИИ.

Для этого они сгенерировали большое количество новых, при этом очень небольших синтетических датасетов. Затем поручили алгоритму ИИ подогнать под эти датасеты основополагающую модель — иными словами, попытаться логически вывести, какой базовый закон применим ко всем этим датасетам в совокупности и объясняет их поведение. Далее учёные поручили ИИ самостоятельно проанализировать паттерны, найденные им в им же выведенных математических функциях (то есть, в базовой модели) и поискать в них «inductive bias» или неверные допущения, проистекающие из индуктивных рассуждений.

Найдёт ли машина хорошую основополагающую модель? Удастся ли расширить эту модель на какие-либо данные сверх учебного набора? Причём, сможет ли она определить, какие неверные индуктивные допущения возникают в зависимости от выбранной модели? 

Ещё не понимая, как именно работает закон всемирного тяготения, мы смогли установить, что любое тело, обращающееся по орбите вокруг другого тела, подчиняется второму закону Кеплера: Отрезок прямой, соединяющий планету с Солнцем, за равные промежутки времени заштриховывает одинаковые площади. Таким образом, чем дальше от центра расположена орбита, тем медленнее должен двигаться объект и наоборот. В каждой точке планетарной орбиты именно законы Кеплера указывают, с какой скоростью должна двигаться планета.

Иллюстрация : Gonfer/Wikimedia Commons с использованием языка Mathematica

Полностью уложить в голове весь этот словарь бывает сложно даже тем, кто хорошо подкован в физике, поэтому, чтобы пояснить, о чём речь, в данном случае удобно привести пример из истории. Один из таких примеров — основополагающая модель ньютоновского тяготения. Пусть ньютоновская система всемирного тяготения выдающимся образом помогла спрогнозировать орбиты планет и их движение, более чем за полвека до Ньютона уже существовала модель, описывавшая ровно эти процессы: система законов Кеплера. Законы Кеплера обладали прогностической силой в том смысле, что позволяли «плюхнуть» планету на любом расстоянии от Солнца, задать ей исходную скорость и далее по законам Кеплера рассчитать практически все её орбитальные свойства, даже на очень отдалённое будущее.  

Но законы Кеплера обладали прогностической силой лишь в совершенно конкретной конфигурации: они описывали движение планет вокруг Солнца. Когда Ньютон сформулировал закон всемирного тяготения, оказалось, что этот закон прогнозирует движение планет точно так же, как и законы Кеплера. Но при этом законы Ньютона были гораздо более мощными и (в отличие от законов Кеплера) закладывали основополагающую модель. Оказалось, что применимость законов Кеплера ограничена орбитальными взаимодействиями планет и светила, а законы Ньютона также объясняют:

• Колебания маятника на Земле

• Движения естественных и искусственных спутников вокруг планет

• Полёт ракет и движение снарядов поблизости от земли,

а также позволяли смоделировать любой другой процесс, движущей силой которого является гравитация. Тогда как узкие прогнозы применимы только к одному набору задач, основополагающие модели расширяемы на широкие множества задач.

На этом рисунке сопоставлены актуальные данные, характеризующие силы тяготения для планет в нашей Солнечной системе (синие стрелки) и аналогичные законы тяготения, сформулированные моделью искусственного интеллекта, обученной на данных о миллионах или даже миллиардах синтетических звёздных систем. Обратите внимание, насколько сложными и несогласованными получились законы тяготения, выведенные искусственным интеллектом.

Иллюстрация: K. Vafa et al., ICML 2025/arXiv:2507.06952, 2025

Если перед вами стоит совершенно новая задача, для решения которой требуется учитывать массы и движения, то аппарат Ньютона послужит вам хорошей базовой точкой. Законы Кеплера, в свою очередь, являются такой основой лишь для очень ограниченного набора задач. В этом и есть разница между прогностической моделью и основополагающей. Авторы  этой свежей статьи применили свою методологию к трём классам задач: орбитальным (подобным тем, которые решали Кеплер и Ньютон), а также к двум другим: задача теории решёток и задача Отелло. С прогнозированием эти модели справились очень успешно, точно как и предиктивная модель Кеплера. Они в точности воспроизводили действительное поведение системы, даже для отдалённого будущего.

Но смогла ли модель выйти из плоскости и открыть законы Ньютона? Открыла ли она базовую основополагающую модель? Более того, может быть, она нашла модель более качественную, чем законы Ньютона?

Конечно же, нет. Чтобы продемонстрировать пробелы модели, ей поручили спрогнозировать векторы сил для небольшого набора планет в пределах нашей Солнечной системы. Но модель не открыла известную Ньютону центростремительную силу — воздействующую на планеты и направленную к Солнцу — а выдала очень натянутый закон, не вписывающийся в физику. Тем не менее, поскольку модель всё равно выдавала правильные орбиты, она не имела возможности сама себя откорректировать. Даже в результате тонкой настройки этой модели на более крупных масштабах, после чего она смогла прогнозировать силы тяготения для тысяч звёздных и планетных систем, модель не только не открыла законы Ньютона, но и предложила различные взаимно несовместимые законы для разных выборок галактик.

Когда большим языковым моделям o3, Claude Sonnet 4 и Gemini 2.5 Pro задали реконструировать законы тяготения для различных сымитированных «солнечных систем», ни одна из них не предложила ничего похожего на сформулированный Ньютоном закон всемирного тяготения — несмотря на то, что сами эти БЯМ обучались именно на законах Ньютона. Это ярко демонстрирует, насколько сильно БЯМ полагаются на сопоставление с шаблоном, а сами не в состоянии прийти даже к элементарным релевантным научным выводам об основополагающих моделях.

Иллюстрация: K. Vafa et al., ICML 2025/arXiv:2507.06952, 2025

Когда учёные предложили подобный тест более универсальным моделям (БЯМ) — речь о o3, Claude Sonnet 4 и Gemini 2.5 Pro — они совсем немного (примерно на 2%) увеличили реальные значения величин сил, не сообщая БЯМ явно, каковы эти силы на самом деле. В таких условиях БЯМ не смогли вывести закон всемирного тяготения. Таким образом, им явно не удаются обобщения и экстраполяции, поскольку все три упомянутые модели обучались именно на законах Ньютона. Они не смогли вывести оставшиеся силы, когда им предложили сделать это самостоятельно. Иными словами, проверяли самый элементарный сценарий: «допустим, я дам тебе орбиты огромного количества планет в звёздных системах — сможешь ли ты, опираясь на этот материал, вывести ньютоновский закон всемирного тяготения?» — и все испытуемые большие языковые модели при этом с грохотом провалились.

В этом и заключается основной вывод проделанной работы: следует изучать не только вопрос «сможет ли моя модель спрогнозировать поведение с учётом нового образца данных именно такого типа, на котором она обучалась»? Напротив, нужно проверять её поведение и на новых задачах. В таком случае, если она качественно усвоила основополагающую модель, на которой базируется наблюдаемое явление, то сможет применить её и в новой ситуации, строить прогнозы на основе изученной модели и в новых релевантных ситуациях. Имеющиеся у нас большие языковые модели пока ни в одном контексте не продемонстрировали ничего подобного. Таким образом, если вы (и кто угодно) попробуете «подробно побеседовать» с ней о физике, в том числе, обсудить спекулятивные варианты расширения известной физики — то можете быть уверены, что модель станет выдавать вам просто шаблонные речевые формулировки. Никакой научной физической ценности в её утверждениях не будет.   

Считается, что люди обладают самым мощным разумом из всех существ, когда-либо обитавших на Земле. При этом люди давно стремятся создать AGI – универсальный искусственный интеллект, который сравняется в возможностях с человеком и даже превзойдёт его. Современные попытки измерить или оценить «интеллект» ИИ или конкретной большой языковой модели должны учитывать, что запоминание не заменяет интеллекта.

Иллюстрация: Adam M. Willows/public domain

Всё сказанное возвращает нас к феномену вайб-физики. Определённо, БЯМ при диалоге может казаться очень умной и осведомлённой в теоретической физике, в особенности, если её собеседник сам не является экспертом в тех областях, которые пытается с ней обсуждать. Но точно такая же проблема возникает у дилетанта при разговоре с:

• Добросовестным, честным экспертом, внимательным к деталям,

• Нечестным говоруном, выдающим себя за дотошного эксперта,

• Чат-ботом, не имеющим никакого опыта в теме, но уверенно имитирующим такой «опыт» при «разговоре».

Проблема в том, что, если вашей экспертизы не хватает для оценки ценности того, что вам рассказывают, вам придётся выстраивать такую оценку, опираясь исключительно на «вайб» — в частности, на вашем впечатлении от тех ответов, которые даёт вам модель.

В этом и кроется наибольшая опасность для тех, который увлечённо слушает, как ему рассказывают «истину» об устройстве реальности. Так можно добровольно подменить в собственном разуме точную картину реальности неточной, но привлекательной галлюцинацией. Будьте уверены — если вы дилетант, у вас появилась идея из области теоретической физики, и вы «развиваете» эту идею в беседе с большой языковой моделью, то никакой полезной теории у вас из этого точно не выйдет. В физике особенно верно следующее: если вы сами не посчитаете все важные количественные показатели и не проверите, согласуются ли с реальностью все ваши прогнозы во всей их полноте, то вы даже первого шага не сделаете к формулировке новой теории. Притом, что «вайб-физика» многим (в особенности, кабинетным физикам) может показаться манящей, на самом деле она стимулирует вас только лишь разрабатывать новые вариации наукообразной чуши, в основе которой лежит ИИ-шлак.