Одна маленькая даже не ошибка, а скорее особенность нейросетей пока мешает им развиваться и внедряться в жизнь куда более бурными темпами, чем сейчас. Хотя, казалось бы, — куда ещё быстрее? Но нет. Эта особенность стоила юристам отстранений от практики, авиакомпании — проигранного суда, а для Google стала поводом к потере примерно ста миллиардов долларов капитализации за один день. Слово «галлюцинация» станет словом года сразу в двух словарях.

Как же так? Почему модель, которая помнит дату Грюнвальдской битвы, выдумывает номер ГОСТа? Откуда вообще взялся термин и почему он изначально был преимуществом ИИ? Правда ли, что новые «рассуждающие» модели врут больше старых? И можно ли это вылечить?

Ответы ниже. Спойлер: полностью — нельзя. И у этого «нельзя» есть чёткое объяснение.

Вы так прелестно галлюцинируете

Начнём с возникновения термина, потому что тут реально интересная история. Слово hallucination пришло в машинное обучение не со знаком минус, а со знаком плюс.

В сентябре 1999 года Саймон Бейкер и Такео Канаде из университета Карнеги — Меллона выпустили технический отчёт с названием «Hallucinating Faces». Весной 2000-го работу представили на конференции по распознаванию лиц в Гренобле. Задача была такая: есть крошечное, размытое фото лица, надо получить чёткое.

Проблема в том, что в размытом снимке деталей физически нет. Их неоткуда взять. И Бейкер с Канаде предложили логичное решение: пусть алгоритм, насмотревшись на тысячи чужих лиц, дорисует недостающее сам. Правдоподобные поры, правдоподобные морщинки, правдоподобные блики в глазах.

Авторы заявляли улучшение разрешения в четыре — восемь раз и называли этот процесс галлюцинированием. Без тени смущения.

Термин прижился. Целое направление в компьютерном зрении так и называлось — face hallucination: методологические работы выходили ещё в конце двухтысячных, полноценные обзоры — и в середине десятых. Галлюцинация была полезным навыком. Умеешь дорисовать то, чего нет в данных, — молодец.

Негативным слово стало только в 2018 году. Кэтрин Ли с коллегами из Google опубликовали работу про нейросетевой машинный перевод, где галлюцинациями назвали переводы, «полностью оторванные от исходного материала». Исследователи показали жутковатую вещь: иногда достаточно одного лишнего токена на входе, чтобы перевод отвязался от исходника целиком. В том же году термин всплыл в работах про описание картинок — модели уверенно перечисляли предметы, которых на фото не было.

А дальше случился ChatGPT, и слово ушло в народ. В ноябре 2023-го Кембриджский словарь объявил hallucinate словом года и дописал глаголу новое значение: «когда искусственный интеллект галлюцинирует, он выдаёт ложную информацию». Редактор словаря Вендалин Николс сопроводила выбор ремаркой: то, что ИИ умеет галлюцинировать, напоминает нам, что прерогатива критического мышления по-прежнему за человеком. Через месяц словом года hallucinate объявил и Dictionary.com. Вот такой вот разворот на 180 градусов за двадцать четыре года.

Самое интересное, что алгоритм за это время не изменился по своей сути. Он всё так же дорисовывает недостающее.

Андрей Карпатый, один из сооснователей OpenAI, в декабре 2023-го сформулировал это жёстче всех: «галлюцинации — это всё, что LLM вообще делают. Это машины сновидений». И добавил сравнение: языковая модель спит и видит сны всё время, у неё проблема с галлюцинациями; поисковик не спит вообще, у него проблема с творчеством.

Карпатый, конечно, тот ещё философ, но идея, думаю, понятна. Творить можно лишь в состоянии условного сна, а когда ПО бодрствует, оно не лагает, но и не придумает ничего нового.

У заметки, кстати, была ещё одна мысль, которую часто опускают при цитировании: проблема галлюцинаций — это проблема не самой LLM, а обвязки, построенного вокруг неё. Чинить надо эту обвязку. Возможно, это сейчас взорвало вам мозг, но пока просто отложите эту мысль в сторонку, мы к ней вернёмся во второй части статьи, где сведём всё воедино.

Пока попробуем разобраться, почему же машина сновидений так часто говорит правду? Вот с этого места начинается математика.

Автозаполнение-переросток

Языковая модель отвечает на один-единственный вопрос: какое слово будет следующим. Всё. Это вся её работа, другой у неё нет.

Когда-то давно этот вопрос решали таблицей. Такая модель хранила частоты словосочетаний и предсказывала «года» после «тридцать первого декабря 2005…». Занимала она гигабайты и была тупая как пробка.

Но никому и в голову не приходило спрашивать у неё дату Куликовской битвы. Все понимали: перед нами счётчик словосочетаний.

Трансформер — представитель той же профессии. Он тоже предсказывает следующее слово. Разница в том, что вероятности он не достаёт из таблицы, а вычисляет на лету, пропуская весь предыдущий текст через сотни миллиардов настроенных параметров. Это позволяет ему улавливать связи такой глубины, что счётчику словосочетаний и не снилось.

Но вот чего в трансформере нет — так это базы фактов. Внутри нет реестра, где лежит запись «Париж — столица Франции» с галочкой «проверено». Знание размазано по весам в виде статистических связей между словами и понятиями. «Париж» и «столица Франции» связаны чудовищно сильно, потому что в обучающих данных они встречались рядом миллионы раз.

Когда связь сильная, модель выдаёт факт. Когда связь слабая или её нет, модель выдаёт самое правдоподобное продолжение из возможных. Обратите внимание: процедура в обоих случаях одна и та же. Правда и галлюцинация генерируются одним механизмом, одними и теми же умножениями матриц. Внутри модели нет флажка, который отличал бы одно от другого.

Добавьте сюда перекос самих обучающих данных. Тексты в интернете пишут люди, которые считают, что им есть что сказать. Фраза «честно говоря, я не знаю» в естественных текстах встречается редко — кто не знает, тот просто не пишет статью. Модель, выращенная на таком корпусе, усваивает жанровую норму: на вопрос полагается ответ. Уверенный тон — не решение модели, а средневзвешенный тон её библиотеки.

Отсюда фирменный почерк галлюцинаций. Вспомните, как мы просили рассказать биографию Андрея Слонова в тестах LLM. И как часто нам эту биографию рассказывали, даже не упоминая, что это выдумка. Кстати, с тестами нам здорово помог агрегатор нейросетей BotHub, через который можно задать вопрос всем самым популярным (и не очень) моделям.

Модель выучила, как выглядит правдоподобная информация гораздо лучше, чем саму информацию. Форма усваивается легче содержания, потому что форма повторяется в данных чаще любого отдельного факта.

Кстати, а почему бы не прикрутить к модели обычную базу фактов? Пусть сверяется перед ответом. Идея старше трансформеров — графы знаний строили ещё для классических поисковиков, и попытки поженить их с генерацией не прекращаются.

Упирается всё в три вещи. Факты быстро протухают: должности, цены, версии, границы. Граница между фактом и мнением размыта: «X — лучший фреймворк» в базу не положишь, а спрашивают чаще именно такое. И главное — покрытие: любая рукотворная база покрывает исчезающую долю того, о чём люди спрашивают модель. Частный случай этой идеи в итоге выжил и стал стандартом, но в перевёрнутом виде: не база при модели, а модель при базе. Вы наверняка знаете этот случай, она называется RAG.

Тут хочется спросить: если модель просто продолжает текст, почему она вообще так часто права? Потому что на текстах, где про Париж писали миллионы раз, правда и есть самое вероятное продолжение. Истина в обучающих данных статистически тяжелее вымысла. Обычно. Пока вопрос не уходит в область, где данных было мало, а отвечать всё равно надо.

И вот на этом «отвечать всё равно надо» держится вторая половина проблемы. Первая половина — статистика. Вторая — обучение.

Три эпохи одного глюка

Небольшое лирическое отступление. Каждое поколение моделей врало по-своему, и эволюция вранья — сама по себе интересна для разбора.

Эпоха первая, переводческая. Нейросетевой перевод конца 2010-х ломался капитально. Модель могла выдать то, чего вообще не было в исходнике или выдать одно и то же слово сорок раз. Такие случаи ловили детекторами повторов и штрафами за расхождение с исходником. С этим активно боролись, ибо галлюцинирующий перевод выглядел странно и даже немножко пугающе.

Эпоха вторая, GPT-3 и её ровесники. Модели научились писать связные эссе, и фантомы стали качественнее: выдуманные цитаты классиков, псевдонаучные ссылки, биографии с чужими фактами. Но пользовались этим тогда в основном энтузиасты, которые понимали, с чем играют. Ущерб оставался лабораторным.

Эпоха третья началась в конце 2022 года, и дело не в технике. ChatGPT не стал врать больше предшественников — он стал доступен всем и заговорил голосом уверенного помощника. Люди не понимали, что перед ними всего лишь эксперимент. Ведь он довольно связно отвечал им десять раз и как-то было неожиданно, что одиннадцатый будет галлюцинацией.

Юрист Шварц, с которым мы скоро познакомимся, беседовал не с исследовательской моделью, а с вежливым собеседником, который «может найти дела в уважаемых базах». Во всяком случае, так он думал.

А сейчас на наших глазах разворачивается эпоха четвёртая, агентная. Модель уже не только говорит, но и делает: жмёт кнопки, пишет в базы, отправляет письма. Галлюцинация перестаёт быть ошибкой в тексте и становится ошибочным действием. И вот тут немножко страшно.

Осечка тормоза

В марте 2025 года команда интерпретируемости Anthropic опубликовала работу «On the Biology of a Large Language Model». Исследователи научились строить так называемые графы атрибуции — карты того, какие внутренние признаки модели возбуждают и тормозят друг друга по пути от вопроса к ответу. Грубо говоря, модель просветили рентгеном и посмотрели, какие группы нейронов за что дёргают.

Эта работа показывает, чем является галлюцинация на самом деле. В ассистентской модели по умолчанию активна цепочка отказа. Постоянно. Внутри всегда горит контур «я не могу ответить на этот вопрос» — как ручник, затянутый с завода. И существует отдельная группа признаков, которая срабатывает на знакомые сущности. Узнал имя — отпустил ручник, дальше можно отвечать.

Тут обязательная оговорка. Это вскрытие одной конкретной модели одним методом, и авторы честно пишут, что метод объясняет не всё. У других вендоров тормоза могут быть собраны иначе. Но поведенческий паттерн, который из этой схемы следует, воспроизводится у моделей разных семейств.

Исследователи проверили это на живом примере. Спрашиваем модель про Майкла Баткина — человека, которого они выдумали. Контур «незнакомое имя» активен, тормоз держит, модель честно отвечает: не знаю такого. Всё работает как задумано.

Теперь спрашиваем: какую известную статью написал Андрей Карпатый? Имя громкое, модель его прекрасно знает. Признак «знакомая сущность» вспыхивает и глушит цепочку отказа. Тормоз отпущен, отвечать разрешено. А самого ответа-то в весах нет — и освобождённый генератор выдаёт самое правдоподобное: приписывает Карпатому классическую статью про ImageNet, которую писали совсем другие люди.

Галлюцинация оказалась не избытком фантазии, а осечкой тормоза. Система «знаю я это или нет» сработала на знакомое имя, а не на наличие фактов.

Знакомо звучит? У людей этот механизм называется «что-то такое вертится на языке».

Для разработчиков LLM это открытие меняет постановку задачи. Получается, что чинить надо контур самооценки: механизм, которым модель решает, знает она или узнаёт. И это обнадёживает: у осечки есть конкретное место в схеме. Исследователи показали, что, вручную усиливая и подавляя найденные признаки, можно включать и выключать галлюцинацию на одном и том же вопросе. Рубильник нащупан, но до безотказно-рабочего решения путь ещё не близкий.

Тот же разбор объясняет, почему хуже всего моделям даются полузнакомые вещи. Про совсем неизвестное тормоз хотя срабатывает. Про известное — есть факты. А вот про сущность, которая мелькала в данных десяток раз, узнавание уже включается, хотя знания ещё нет.

Идеальные условия для осечки.

Экзамен без штрафов

Осталось понять, откуда у модели привычка отвечать даже там, где тормоз должен был сработать. В сентябре 2025 года вышла статья исследователей OpenAI с прямолинейным названием «Why Language Models Hallucinate». Ответ в ней простой: модели галлюцинируют, потому что мы их так оцениваем.

Почти все главные бенчмарки устроены одинаково: процент правильных ответов. Ответил верно — балл. Ошибся — ноль. Сказал «не знаю» — тоже ноль.

Найдите разницу между ошибкой и незнанием. Её нет.

Любой, кто сдавал тесты без штрафа за неверный ответ, знает оптимальную стратегию: отвечать всегда. Не знаешь — угадывай, хуже не будет. Модели, которые месяцами оптимизируют под такие тесты, работают через эту стратегию. Авторы формулируют это одной фразой: языковые модели оптимизированы быть сдающими экзамен с правом на ошибку.

Цифры из той же статьи. Модель o4-mini на фактологическом тесте SimpleQA воздерживалась от ответа в 1% случаев и ошибалась в 75%. Модель gpt-5-thinking-mini молчала на половине вопросов — 52% — и ошибалась в 26%. Втрое меньше вранья.

А теперь внимание: по проценту правильных ответов они почти равны, 24 против 22. В таблице лидеров нахальный игрок стоит выше честного.

Есть и второй слой, поглубже. В техническом отчёте GPT-4 спрятан замечательный график: до оценок, сразу после предобучения, модель была отлично откалибрована — на тестах с выбором ответа её внутренняя уверенность почти совпадала с реальной вероятностью оказаться правой. Модель знала, чего она не знает. А потом прошёл этап RLHF — обучение на человеческих предпочтениях, — и калибровка сломалась.

Почему — отчёт не разбирает, но гипотеза напрашивается сама. Людям-оценщикам нравятся уверенные, развёрнутые, услужливые ответы. «Не уверен, надо проверить» проигрывает по оценкам красивому чёткому абзацу. Мы буквально надрессировали модели на уверенность, а потом удивляемся, что они уверенно врут.

Рецепт из статьи OpenAI звучит так: надо поменять скоринг. Штрафовать уверенную ошибку сильнее, чем воздержание, давать частичный балл за честное «не знаю». В американском тесте SAT до 2016 года так и делали — за неверный ответ снимали четверть балла, и угадывать наобум было невыгодно. Индустрия поворачивается к этой идее медленно: первые штрафующие бенчмарки уже появились. Но процесс только начался.

Проклятие факта-одиночки

У той же статьи есть вторая половина, более математическая, и её почти не цитируют. А зря. Авторы показывают: на фиксированном корпусе даже при идеальном обучении часть фактов модель всё равно выдумает. Виноваты факты-одиночки. Сама идея тянется ещё из работы Калаи и Вемпалы 2023 года о том, что калиброванные модели обязаны галлюцинировать, — статья 2025-го её развивает.

Сам аргумент устроен довольно интересно. Генерацию текста сводят к более простой задаче — бинарной классификации: умеет ли модель хотя бы отличить верное утверждение от неверного. Если даже классификатор на этих данных может ошибаться, то генератор, которому надо не узнать ответ, а произвести его, может ошибаться тем более. Галлюцинации, пишут авторы, не нужно окружать мистикой — они возникают просто как ошибки классификации.

Возьмём дни рождения. Дату рождения Эйнштейна интернет повторил тысячи раз, такая связь в весах закрепится намертво. А дата рождения доцента областного пединститута встретилась в данных однажды, в одном некрологе. Для статистической машины такой факт неотличим от опечатки.

Авторы выводят простую нижнюю оценку: доля галлюцинаций базовой модели по таким вопросам не меньше доли фактов, встретившихся в обучении ровно один раз. Если каждый пятый день рождения упомянут в данных однократно — ждите не меньше двадцати процентов выдуманных дат.

Галлюцинации по редким фактам — не сбой, а прямое следствие того, что LLM не из чего собрать статистику. На том же корпусе тут не поможет ни размер модели, ни модная архитектура. Поможет либо больше данных про сам факт, либо внешний источник знаний.

Есть и следствие, неприятное лично для нас с вами. Чем уже ваша предметная область, тем больше в ней фактов-одиночек. По популярным темам модель блистает, и мы привыкаем ей доверять. Потом задаём вопрос из своей ниши — а там сплошные одиночки. Увы.

Лопата для курятника

Прежде чем идти дальше, оговорюсь. Всё, что ниже, — пересказ чужих работ, за медицинскую точность формулировок не поручусь. Но не рассказать это нельзя, потому что параллель слишком хороша.

В 1887 году психиатр Сергей Корсаков описал синдром, который потом назовут его именем. У больных с тяжёлым дефицитом витамина B1 деградирует память. Но самое поразительное — как они с этим живут.

Пациент не говорит «не помню». Он уверенно, связно, с деталями рассказывает, что вчера ездил на дачу, — хотя не покидал палату месяц. Он не врёт. Его мозг заполняет провал памяти правдоподобной реконструкцией, и человек сам не отличает её от воспоминания. Это называется конфабуляцией.

Вторая история ещё интереснее. Нейропсихолог Майкл Газзанига десятилетиями работал с пациентами, у которых из-за тяжёлой эпилепсии рассекали мозолистое тело — мост между полушариями.

В конце семидесятых он поставил ставший классикой опыт. Правому полушарию пациента показывают снег, левому — куриную лапу. Левая рука, управляемая правым полушарием, выбирает из картинок лопату: снег же, всё логично. А потом пациента спрашивают, почему лопата.

Говорит у нас левое полушарие. Снега оно не видело. И вместо «не знаю» оно мгновенно, без запинки сочиняет: лопата — чтобы чистить курятник. Курицу-то оно видело.

Газзанига назвал этот модуль интерпретатором: механизм, который на любых обрывках данных строит связную историю и выдаёт её за наблюдение. Ничего не напоминает? Спойлер: трансформер, которому признак «знакомая сущность» отпустил тормоз.

Джеффри Хинтон в интервью 2023 года говорил, что к языковым моделям вообще применяют не то слово. Правильный термин — конфабуляция, и это не сбой, а фирменный почерк человеческой памяти: «люди конфабулируют постоянно». Модели, по его словам, делают что-то очень похожее.

Разница пока в степени — человек конфабулирует аккуратнее, ближе к правде. Настоящая же проблема, добавлял Хинтон, в наших ожиданиях: от компьютера мы привыкли требовать безошибочности, а получили машину, ошибающуюся по-человечески. Учёные из Оксфорда, опубликовавшие в Nature метод детекции галлюцинаций, тоже аккуратно называют свой предмет confabulations.

Терминологически они правы. Галлюцинация — это ложное восприятие, а языковой модели воспринимать нечем. Конфабуляция — это память, уверенно заполняющая свои пробелы. Один в один наш случай. Но слово «галлюцинация» уже победило, оно знакомое и запоминается легче.

Ещё одно слово, которое я прошу не употреблять, — «врёт». Ложь требует знать правду и намеренно говорить другое. У модели нет ни первого, ни второго: нет внутренней картины мира, с которой она сверяется, нет намерения обмануть. Корсаковский пациент не лжец, и трансформер не лжец. Это важно для правильной детекции: у лжеца есть мотив, ради которого он врёт. Чтобы устранить ложь, должен быть устранён мотив. Конфабулятора можно поймать на фактах, но вот мотива врать у него нет. Он врёт не ради чего-то, а просто потому, что так сложилась его конструкция. Потому, заставить его говорить правду можно только изменив его конструкцию.

На этом с теорией всё. Механизм понятен: генератор правдоподобия, очень плохая методика. Сложившаяся система наград и штрафов — это экзаменационная система, поощряющая наглость. И всё это подпитывает галлюцинации.

Теперь посмотрим, что произошло, когда LLM дорвались до реального мира. Часть вторая — про цену вопроса. И практические выводы как не создать себе проблем на ровном месте, используя LLM.