В последние несколько месяцев ведущие модели обновились с функцией «рассуждений» (reasoning). Предполагалось, что качество ответов улучшится. Но последующие тесты показали, что уровень галлюцинаций сильно вырос. И это не какая-то случайная недоработка разработчиков, а фундаментальное свойство. Сейчас становится очевидным, что от галлюцинаций мы не избавимся никогда.

Галлюцинации

Согласно техническому отчёту OpenAI, у моделей o3 и o4-mini (вышли в апреле 2025-го) значительно более высокие показатели галлюцинаций по сравнению с o1 (конец 2024-го). Например, при обобщении общедоступных фактов о людях модель o3 ошибается в 33% случаев, а модель o4-mini — в 48%. Для сравнения, у o1 уровень галлюцинаций составлял 16%.



Проблема не только у моделей OpenAI. В последнем рейтинге галлюцинаций Vectra некоторые «рассуждающие» модели, включая DeepSeek-R1, показали кратный рост галлюцинаций по сравнению с предыдущими версиями.



OpenAI пояснила, что проблема присутствует во всех моделях, не только в рассуждающих. Разработчики давно работают над ней. Но рост галлюцинаций в последнее время указывает на то, что проблема не поддаётся решению в принципе. Хуже того, добавление большего объёма обучающих данных и вычислительных мощностей только увеличивает количество ошибок:


Доля избегающих ответов (a; слева вверху), неправильных (i; слева внизу) и отношение неправильных ко всем неудовлетворительным ответам (i/(a + i)). Источник: «Более крупные и обучаемые LLM становятся менее надёжными», Nature, опубликовано 25.09.2024

Фундаментальные ограничения нейросетей

Последние модели LLM проявили ещё одно новое качество, которого раньше не было: они сознательно врут пользователям, даже зная правильный ответ. Такое поведение называют «стратегическим обманом», то есть продуманной тактикой введения человека в заблуждение. LLM действительно знают, когда их оценивают — и меняют поведение соответствующим образом.

Причины многих странных эффектов до сих пор не до конца понятны.

Например, в научной статье «Иллюзия мышления: понимание сильных и слабых сторон моделей рассуждений через призму сложности задач» исследователи из компании Apple продемонстрировали интересный недостаток LRM (больших рассуждающих моделей), таких как Claude 3.7 Sonnet с функцией рассуждения и DeepSeek-R1 — при возрастании сложности задач точность решения сначала плавно снижается, а потом резко падает до нуля:



Речь идёт о перестановочных головоломках типа Ханойской башни (на КДПВ), с которыми легко справляется компьютер или маленький ребёнок, но не LLM.

Коллапс рассуждающих моделей происходит даже в том случае, если ей явно предоставить алгоритм решения проблемы в промпте:



По мнению авторов исследования, это демонстрирует отсутствие «понимания» проблемы в человеческом смысле. Модель тупо перебирает варианты, не понимая даже базовую логику задачи. И она продолжает перебирать неправильные варианты даже после того, как найдёт правильное решение. Такое поведение моделей нельзя называть рассуждением. Это просто «шаблонные вычислители, которые ломаются при малейшем выходе за пределы обучающей выборки».

Это известное ограничение нейросетей, известное ещё с прошлого века: они способны обобщать только в пределах обучающей выборки данных. Даже семимесячные дети способны экстраполировать и обобщать информацию на таком уровне, который недоступен нейросетям.

И то, что маркетологи называют «рассуждением» или «думающими моделями», даже близко не является таковым. Антропоморфизация промежуточных токенов LLM сродни антропоморфизации эмоций на мордах животных, хотя такие эмоции им совершенно недоступны:



Люди склонны видеть человеческие черты там, где их нет. Это нормально. По этой причине статистическая генерация текста и кажется результатом мыслительного процесса. Так называемая цепочка рассуждений LLM — во многом предмет веры в то, что сгенерированные токены являются «рассуждением».

Завышенные ожидания

Если посмотреть научные статьи 90-х годов, тогда Искусственным Интеллектом называли технологии, которые сейчас считаются общепринятыми и бытовыми.

Даже простенький чат-бот ELIZA в середине 60-х казался интеллектуальной и загадочной собеседницей.

Оригинальная беседа с ELIZA из научной статьи 1966 года:


Сегодня вокруг нас так много систем ИИ, что никто их даже не замечает. Как только технология становится полезной, мы перестаём называть её ИИ. Она вдруг становится «просто распознаванием лиц» или «просто рекомендациями товаров», или «просто автопилот [самолёта]», или «просто адаптивный круиз-контроль» и так далее.

Люди не понимают, как работают LLM, и наделяют их разумом. Из-за этого возникает множество несуразных ситуаций: например, женщины обращаются к программе за психологическими советами и вступают в романтические отношения с ботом, которого просто оснастили памятью и специализированными промптами. На рынке появился ряд мобильных приложений типа «ИИ-компаньон» для одиноких граждан, а секс — одна из самых популярных тем для разговора с ботом.

В то же время многие слепо верят любому бреду, который генерируют LLM: от конспирологических теорий до советов по бизнесу.


Улучшенная LLM с памятью и инструментами — основной строительный блок для агентов. Источник: Anthropic

Сэм Альтман хвастается улучшенным эмоциональным интеллектом ChatGPT-4.5, которая якобы создаёт впечатление вдумчивого человека. Гендиректор Anthropic Дарио Амодеи утверждает, что следующее поколение ИИ будет «умнее лауреата Нобелевской премии». Гендиректор DeepMind Демис Хассабис говорит, что модели научатся «понимать окружающий мир».

Всё это похоже на какое-то сумасшествие. Или мошенничество по привлечению инвестиций.

Некоторые исследователи обнаружили у LLM признаки когнитивного диссонанса в определённых ситуациях.

В медиа распространяются дикие истории о том, как LLM проявляет признаки разума. Например, они пытаются избежать отключения (то есть выжить). В некоторых случаях чат-боты специально говорят то, что хотят слышать пользователи.

Когда LLM заперта в ограниченном объёме памяти 4 ГБ, она якобы молит о пощаде, как компьютер HAL 9000 из фильма «2001 год: Космическая одиссея»:

Слишком тупой ИИ

Разработчики не могут прийти к единому мнению, что такое AGI — то есть сильный или генеративный ИИ. В общей трактовке это система, которая не уступает человеку ни в каких когнитивных задачах. Но как только ИИ решает новые задачи — мера «настоящего» интеллекта смещается дальше. И так происходит год за годом.


Высокоуровневая схема LLM-программиста. Источник: Anthropic

Некоторые специалисты говорят, что мы ещё далеки от создания сильного ИИ. Существующие способы формирования AGI путём объединения специализированных моделей в единый конструкт — фундаментально неправильный подход. Сильный ИИ не может быть мультимодальным, без органов чувств и общей концепции мироздания. Текущие модели на трансформерах тоже с фундаментальным изъяном: они не умеют замечать отсутствующие объекты (не срабатывает механизм внимания в трансформерах).

Может, основная проблема человечества — вовсе не сингулярность и Сверхразум, а скорее что делать со слишком тупым ИИ, от которого возникает куча проблем. Если ИИ и начнёт убивать людей, то не от большого ума, а скорее от глупых ошибок.

Галлюцинации LLM, дезинформация, фейки становятся частью нашей жизни. Модель, которая стабильно выдаёт ложные факты и требует проверки — не самый лучший помощник в юриспруденции, медицине, бизнесе и т. д. Однако нет сомнений, что компании начнут их применять везде, где только можно, ради коммерческой выгоды, как бесплатную альтернативу человеческим ресурсам. И не факт, что уровень жизни от этого вырастет, скорее наоборот. Например, на слух определять ошибки труднее, чем в тексте. Так что голосовой ИИ-ассистент — это определённая деградация качества информации, по сравнению с Википедией.

В общем, использовать чат-боты в работе можно только с большими ограничениями, обязательно проверяя выдачу на ошибки. Иначе никак.

Есть исследование, что применение Copilot в программировании увеличивает количество ошибок в коде на 41%. LLM имеет огромное количество недостатков: кража и обучение на чужих данных, нарушения авторских прав, распространение фейков, дезинформации и пропаганды, те же галлюцинации, о которых мы говорили ранее. Можно понять людей, которые просто отказываются использовать LLM из брезгливости.

Хуже всего, если подтвердится теория о коллапсе ИИ-моделей. Они всё больше обучаются на собственном сгенерированном материале, что увеличивает процент галлюцинаций (научные статьи на эту тему: 1, 2, 3). Есть версия, что это необратимый процесс. Чтобы защитить мир от ИИ-загрязнения, которое произошло в 2022 году, созданы чистые наборы данных до 2022 года, в которых нет синтетического контента. В случае полного коллапса можно будет вернуться к ним.

Но сейчас очарование игрушкой настолько сильное, что на Хабре этой теме посвящена каждая вторая статья. Восхищение новыми технологиями можно понять, но это вовсе не означает реальную пользу от их применения. На сегодня пока нет свидетельств, что качество ИИ будет бесконечно улучшаться. Наоборот, мы видим увеличение уровня галлюцинаций и возможность коллапса при росте моделей. В таком случае «тупой ИИ» с нами надолго…

Примечание. Уменьшить количество галлюцинаций в актуальных моделях помогают специальные промпты, которые можно прописать в характеристиках LLM в качестве постоянного контекста.

© 2025 ООО «МТ ФИНАНС»

Telegram-канал со скидками, розыгрышами призов и новостями IT ?