LLM галлюцинирует, впрочем, все видели, как это выглядит. Модель уверенно, связно, с правильной интонацией и терминологией сообщает то, чего нет. Инженеры считают это багом, который чинят и  вот-вот починят.

Не починят. Это не техническая ошибка, а неотъемлемое свойство языка, которое машина сделала видимым.

Язык не нуждается в реальности

Язык — уникальная система именно в том, что появляется из реальности, но для собственной связности в реальности не нуждается.

Слово-жест и слово о жесте устроены одинаково. Изнутри языка они неразличимы. "Я поднял камень" и "я поднял небо" грамматически равноправны; различает их только следствие, реакция того, чему всё равно, как о нём сказано, — камень, рука, тяжесть. Внутри  языка нет и не было фильтра, проверка реальности всегда проводится снаружи.

Первобытное общество решало эту проблему выживанием. Убедил племя, что за холмом нет львов, был не прав — носителя неверной речи съели вместе с речью. Сейчас такого фильтра нет. Верность подменена связностью. И системы, опирающиеся только на грамматику, прекрасно себя чувствуют.

Внутри языка связная конструкция и отображение реальности неотличимы. То есть средствами одной лишь языковой проверки связную конструкцию и конструкцию, соответствующую реальности, отличить невозможно. 

Я не отрицаю, что язык отражает реальность. Беда в том, что язык может и не отражать реальность, маскируя отсутствие верности связностью. Нужно просто это понимать и контролировать.

Ловушка

Мы живём в этой ловушке, это неизбежно, мы люди речи, но надо понимать её наличие.

Это условие существования языка. Именно потому, что связность самодостаточна, язык переносится, накапливается, строит то, чего нет в реальном опыте, — математику, право, планы на завтра. То же условие, что может обмануть, даёт и силу.

Проблема философии и LLM в том, что язык превращается в мышление. Описание ощущается как жест.

Лучший пример людей, потерявших верность языка, — те, кто пишут "со-знание, со-весть, суд-ь-ба". Потому что они опираются на то, что само требует опоры. Разложение на морфемы выглядит как обнаружение скрытого смысла, но по сути производит только связь. То есть слова объясняются словами и пути к реальности нет.

В телеграмм-канале публикуется программный тезис: 

«Теорема-Мост» : Развитие AGI и Сверх-СИИ есть процесс создания Разделяемого Оракула, который переносит энтропийную стоимость сжатия из канала передачи в скрытые веса модели. Это делает возможным операциональное сверх-энтропийное сжатие (Идеальный Архиватор) и доказывает, что ИИ и сжатие — две стороны одной медали, где преодоление классического ЭПШ является обязательным условием наступления Технологической Сингулярности. © Ко. В.

Для многих людей текст выглядит связно, использованы термины, выглядит научно. Но если у вас есть хоть какой-то ml-бэкграунд, то вся эта сложная конструкция распадается на совершенно бессмысленные тезисы: что значит “скрытые” веса, что значит “сверх-энтропийное”, что переносится из канала в веса? И так далее. 

Связная конструкция выглядит красиво и авторитетно, но это единственное её достоинство.

Вот отрывок из философского паблика, кусочек огромного текста:

Итак, обоснованию подлежит причинный критерий существования:

2. Причинистский постулизм — незаменимость постуляции сущности в наилучшем причинном объяснении является достаточным основанием для её постуляции.

Обосновываю:

3. Причинистский объясни‌зм — принятие допущения 2 незаменимо для сознательного объяснения действительности.

4. Объястнистски-разумистский долги‌зм — сознательное объяснение действительности является разумным долгом (это начинание рационально не-опционально).

5. Долгистский обосновизм — если Д является разумным долгом и принятие П незаменимо для исполнения Д, то принятие П является разумным долгом и П является обоснованным.

6. Следовательно, принятие 2 является разумным долгом и 2 является обоснованным.

(с) Exalted_Kitharode

Текст выглядит непонятно для нефилософа, вызывает уважение своей глубиной и логичностью. Но по сути ни один из тезисов не связан с миром, это слова вытекающие из слов. Нельзя сказать, что это неправильно. Просто это язык о языке, текст ради текста, концепция ради концепции. Это не хорошо и не плохо, каждый имеет право на свою картину мира, но желательно помнить, что это только картина, нарисованная языком. 

Проверка.

Как можно быстро проверить насколько автор оторвался от реальности. Попробуйте оценить два признака языка, который держится только за счёт связности:

Термин не разворачивается вниз. Попросите объяснить его через что-то более простое — он либо исчезает, либо разворачивается в такие же термины, и так по кругу.

Отрицание ничего не меняет. Если утверждение и его отрицание одинаково приемлемы для говорящего и слушающего — утверждение ничего не сообщает.

И главный вопрос: что должно случиться, если утверждение ложно? Если ответа нет, значит работает связность, и только она.

Птичий язык

Политики, философы, топ-менеджеры и инфоцыгане создают свой птичий язык, связный, логичный, но не требующий реальности.

Причины у всех разные. Политику проверяемое утверждение опасно. Топ-менеджера оно может связать обязательством. У инфоцыгана может разрушить навязываемый продукт. У философа нет материала, который бы сопротивлялся. У LLM просто технически ответ должен закрыться чем угодно, лишь бы связно.

Причины разные, но результат один. Потому что дело не в умысле говорящих. Там, где нет внешней проверки, язык неизбежно дрейфует в сторону связности, потому что связность — единственное, что ещё проверяется. Это свойство среды. Что происходит в это время с реальностью остается вне рамок языка.

Очень скоро сами философы поймут, что они ничем от LLM не отличаются.

Пожалуй, я слишком сильно выразился, но возьмите философский текст без имени автора и текст модели на ту же тему. Если ваш способ отличить один от другого сводится к “я знаю автора” — внутри самой речи различия нет.

Уверен, что вы скажете, что я утрирую. Возможно, но похоже современная философия уверенно катится к содержательному совпадению с LLM, когда одни и те же мысли комбинируются в разных вариантах, по правилам принятым в философской среде (в случае с LLM в соответствии со статистикой выученного корпуса).

Чистый случай

LLM не аномалия, а чистый случай: система, у которой внешней проверки нет вообще.

У политика есть враг, который попытается опровергнуть и раскритиковать. У философа — история, которая медленно, но перемалывает. Даже у инфоцыгана есть клиент, который однажды откажется платить. У модели нет ничего. Она — язык в лабораторной чистоте, освобождённый от последнего внешнего фильтра.

И потому LLM демонстрирует то, что было всегда, но пряталось за фигурой автора. Пока связный текст писал человек, мы по привычке считали, что за связностью стоит верность, — автор же чем-то рисковал, что-то имел в виду, на что-то опирался. Модель сняла автора — и стало видно, что связность прекрасно существует сама по себе.

Врать может только тот, кому доступна разница между верным и связным: топ-менеджер говорит об оптимизации, там где речь о массовом сокращении, политик избегает проверки, философ откладывает её, инфоцыган прячется от неё, у них есть понимание, что на самом деле реально. Модель не избегает ничего. У нее нет ни функции, ни органа для проверки, она и есть просто язык.

Поэтому галлюцинация LLM — это речь в своём естественном состоянии. Не ложь, не ошибка. Связность языка, которая просто кажется чем-то большим.

Попросите модель объяснить, почему осенью листья желтеют, ребёнку, коллеге и узкому специалисту. Ошибка чаще всего будет — но чем требовательнее адресат, тем она убедительнее и глубже спрятана. Ребёнку модель врёт созданием цели: листья опадают, “чтобы укрыть корни”. Специалисту — терминами: триацилглицериды хлорофиллов, фитохром как продукт распада. Модель наращивает не верность — она наращивает связность под аудиторию. Верность в расчёт не берется вообще.

Разработчики нейросетей пытаются решить проблему через RLHF (обучение с подкреплением от отзывов людей), но RLHF лишь обучает модель той форме связности, которая нравится оценивающим, не добавляет внешнюю проверку, а масштабирует внутреннюю.  Галлюцинации при этом становятся более сложными, понятными пользователю, уверенными и синтаксически обоснованными. 

Инженеры, кстати, единственные, кто с этим работает честно: они меряют, а не слушают. Различие проходит не по качеству речи, а по тому, есть ли то, что не зависит от того, как об этом говорится. Работает код или не работает. Хотя и тут есть место для самообмана, написать бенчмарк для себя, или поставить как цель именно бенчмарк, тоже своего рода связная конструкция по-инженерски.

Есть ли способ бороться с галлюцинациями, как работают промпты достоверности, почему уточнение промпта увеличивает галлюцинации, а не уменьшает — тема для возможной отдельной статьи.

Заключение

Этот текст — тоже речь. Он связен, он про язык, и проверить его языку нечем, я скажу вам это уверенно.

Поэтому он опубликован здесь. Для статьи об отсутствии внешней проверки языка единственный шанс на верность, это критика читателей. Если политики, философы, топ-менеджеры отказываются от критики, у них не будет и этого шанса.

Задайте вопрос: что должно случиться, если этот текст ложен? Значит верность и связность внутри языка различимы. И тогда человек может и должен на глаз различать ложные и правильные концепции, а разработчики LLM смогут построить универсальный определитель и предупредитель галлюцинаций LLM.

А если вместо критики статьи будет очередной комментарий, связное возражение, которое одинаково хорошо звучит и в утвердительной, и в отрицательной форме, — что ж. Значит, работает связность.