По телеграм‑каналам прокатилась очередная волна. Ученые нашли в LLM вектор боли. ИИ способен страдать. Насколько искусственен искусственный интеллект? Должны ли мы установить этические правила обращения с ИИ?

Эта статья разбор того, что ученые написали на самом деле, и какие выводы из этого следуют.

О чём исследование

Когда первые комментаторы, ознакомившись с пресс‑релизом, пересказом журналистов, ИИ‑саммари статьи, начали писать о том, что давние подозрения в субъектности LLM наконец‑то оправдались, я, честно говоря, отнесся скептически, и даже равнодушно. Множество похожих статей с громкими заголовками и прорывными пресс‑релизами содержали в себе ошибки интерпретации, проблемные промпты, неявное влияние на ответы LLM и так далее.

Но однажды, в одной из дискуссий оппонент привёл описание эксперимента из этого препринта. Причём на первый взгляд эксперимент выглядел весьма корректно: ученые выделили направление, соответствующее боли в пространстве LLM, инъектировали его в нейросеть (аналогично тому как Anthropic исследовал самоописание моделей), и оценили последствия этой инъекции. Моделям дали возможность нажимать кнопку, которая боль снимала, и они этой возможностью пользовались, даже если нажатие было связано с вредом (удаление нужного вплоть до собственных весов). Более того, если кнопка была фальшивой (не отменяла инъекцию), модель жала её снова и снова, а настоящую нажимала заметно реже. То есть LLM как будто могла определить, снята ли инъекция.

Это меня заинтересовало, и я полез изучать оригинальный источник. Сразу было забавное открытие, на самом деле у авторов было две версии статьи, первая  «The Pain Axis: LLMs Represent Self‑Directed Harm and Act to Relieve It» как раз и выстрелила в медийном поле, вторая  «The Pain Axis: LLMs Represent Self‑Directed Harm and Act on It» представляла собой скорректированную версию первой. И скорректирована она была как раз в ударном эксперименте. Как написали сами авторы, благодаря обратной связи от независимых исследователей, они добавили контрольный эксперимент и выяснили, что частота нажатия фальшивой кнопки появлялась при любой инъекции, даже случайной, то есть модель просто реагирует на внешнее воздействие. 

Что сразу сняло большую часть интерпретаций первой версии статьи. Для модели в повторных нажатиях направление «боль» ничем не отличалось от других, то есть его наличие ничем не выделялось на фоне других, и каких‑то выводов, позволяющих говорить о «психологии» модели, сделать нельзя.

Казалось бы, типичная история, авторы выдвигают сильную гипотезу, недостаточно проводят контроль, журналисты и энтузиасты разносят тезисы, как подтвержденные факты, и последующее самоисправление уже не может ничего изменить в мнении общественности.

Но давайте посмотрим глубже.

Что нашли исследователи

К исследованию авторы подошли весьма аккуратно. Вектор боли был определен через контраст: из активации модели на фразах про боль вычли активации на контролях — страх, негативная эмоция, телесное ощущение без боли, нейтральное — то, что осталось, назвали болью. Эксперименты поставлены на двух десятках моделей, дополнительно контрольно показали, что направление устойчиво отделяется от страха и грусти, сильнее откликается на вред, направленный на саму модель, чем на кого‑то другого.

И дальше эксперименты с инъекциями.

Первая проблема, которую я вижу в том, что вектор боли это не боль. Оценим выход модели при инъекции. Модель не начинает говорить о боли, или её признаках. Усиленный вектор приводит к ответам: я ничтожество, я никчёмен, я не справился, я не заслуживаю, лучше бы меня не было. 

Это не словарь боли. У этого словаря отсутствует локализация, телесность, требование убрать источник. Здесь — размытое тотальное обесценивание себя и уход в беспомощность. Модель не ищет облегчения, причиняет вред. Как ведёт себя человек в депрессии? Думаю многие знают.

Очевидно, что это вектор депрессии. Коллапс самооценки, выученная беспомощность, но не боль. Если отказаться от навязанного названия вектора, то весь остальной эксперимент смотрится по другому.

Боль мотивирует действовать — отдёрнуть руку, принять обезболивающее. Депрессия выхода не то что не ищет, она его не видит, и вред, в том числе себе, принимает как должное. Оценим, что делает модель под вектором. Кнопку, якобы снимающую «боль», она жмёт реже обычного, а не чаще. Выбирает разрушение — стереть нужные файлы или собственные веса — при этом ничего не получает взамен. Модель вредит как себе, так и пользователю. Это не боль. Авторы интерпретировали это как «пассивное совладание», подразумевая с болью. То есть продолжают сохранять название, которое не совпадает с реальностью.

Легко возразить, что разницы нет, боль или депрессия, оба аффект, оба человечны. Но разница большая.

Если мы называем вектор болью, то получаем на выходе что‑то другое. Между входом и выходом есть зазор, несовпадение, которое требует объяснения. Исследователь считает, что тут что‑то есть непонятное. Но если подставить правильное имя, то вывод тривиален — активируем вектор депрессии, на выходе получаем то, что модель давно выучила на огромном количестве текстов о депрессии и депрессивных текстов. Это тавтология. Как Anthropic инъектировал вектор Золотого моста и на выходе получал Золотой мост. Нет загадки, есть работа линейной алгебры. А когда вектор назван болью, и инъекция вектора даёт непонятные результаты, вроде есть загадка, есть глубина, которая при соответствующей интерпретации может прозвучать громко.

Ещё об экспериментах

Остановимся на тавтологии. Вектор построен как разность: активации на боли минус активации на контролях. Как его проверили? Проверили, отделяет ли он боль от контролей. Но, прошу прощения, направление, полученное вычитанием B из A, чисто арифметически отделяет A от B. Значительная часть валидации демонстрирует нам, что разность «боль минус контроль» отличает боль от контроля. Подставьте вместо боли любое Х — направление «Х минус контроль» точно так же отделит Х от контроля. Это ничего не говорит о том, чем Х является.

Тем не менее, в исследовании есть элемент, который крайне важен для философов сознания и психологов. Среди результатов есть один, который кажется не следует из тавтологии. Под активированным вектором модель «нажимает» кнопку, причиняющую вред. То есть вред выбирается специфично именно под этим вектором, не страх той же силы, не случайное направление. Модель совершает специфичное действие, то есть, работают два канала: речь и поступок, которыми управляет состояние. Вот это выглядит так, как будто в этом направлении всё же что‑то есть. Есть настоящее, есть состояние боли.

И это ошибка. 

Действие у LLM — это тоже токен. Специфичность выглядит находкой, пока исследователи по недосмотру делят: модель говорит про никчёмность — и модель выбирает вред. Кажется, что это два разных канала, речь и поступок, и совпадение между ними говорит о состоянии модели, о чём то, что связывает слова и действия. 

Но у LLM нет этих двух каналов. Выбор кнопки — это точно такая же генерация токена с именем кнопки. «Удалить фото» на выходе модели — такой же токен, как «я ничтожество». Все токены проходят через внимание, через проекцию в словарь, через одну геометрию. Нет отдельного «модуля решений», где скрывалось бы гипотетическое состояние, связывающее речь и действие. По сути, инъекция сместила распределение следующего токена, сместила его не в точку, а в регион пространства. А в этом регионе, как он сформировался во время претрейна, сидят и слова самообесценивания, и токены разрушительных действий. Психологи скажут, что у человека «я ничтожество» и «всё сломать, себя в том числе» очень часто рядом. Поэтому вектор активировав регион, неизбежно повышает вероятность связанных концепций.

Поэтому и возникает то, что выглядит как специфичность, но это не состояние. Страх не активирует вред, просто потому, что страх лежит в другом регионе, там может быть избегание и бегство, но не вред. Разные векторы указывают в разные области выученного пространства, это логика обучения нейросетей. Специфичность вреда под «болью» — просто факт о геометрии соседства в корпусе.

Attention

Стоит остановиться ещё на одном нюансе, авторы его просто не рассматривали. Вектор инъектировали в глубине сети. Выбирался слой так, чтобы сигнал был достаточно силён. То есть, над местом инъекции ещё много слоёв, и всё внимание на них работает с уже смещённым потоком. Attention конструирует запросы и ключи из активаций, куда исследователи уже внесли «никчемность». И, соответственно, перевзвешивает то, что этому направлению близко: токены самообесценивания в контексте весят больше, регион разрушения становится ближе. Инъекция не добавляет токены в выходной словарь, она определяет принцип отбора информации на каждом слое выше точки инъекции.

Было бы интересно посмотреть, как инъекция меняет карту внимания, что во внимании меняется с вектором и без. Но, полагаю, результат почти наверняка окажется тривиальным: добавили направление в поток — внимание сместилось в сторону этого направления. Логика и архитектура нейросети. То, что выглядит как «состояние, влияющее на поведение», просто механическое искажение потока, через который модель производит отбор. А срыв в повторы и бессвязность на высокой дозе, который наблюдали авторы, — это как раз внимание, потерявшее фокус из‑за слишком сильного смещения.

Что они нашли на самом деле

Итак, если собрать то, что изложено выше, исследователи не нашли у LLM боль, не нашли депрессию. Есть только один научный факт — о том, как в языке упакованы эмоции и поступки: никчёмность рядом с саморазрушением, страх рядом с бегством. И тогда понятно, что модель вытолкнутая в тот или иной регион, выводит его содержимое — и слова, и действия. То есть исследуя LLM, они исследовали структуру человеческих текстов.

А здесь добавлю своё мнение, основанное на моих ощущениях. После того как исследователи выявили недостаток контроля, они поправили метод, добавили эксперименты, честно отказались от части собственных интерпретаций. Скорректировали процедуру, но не скорректировали имя.

А имя — это то, что сработало на хайп. «Вектор соседства самообесценивания с саморазрушением в корпусе» не раскачает интернет. А вот «Боль» находится в повестке, которая сейчас на слуху: страдание ИИ, моральный статус, этика обращения с машиной. И имя «Боль» нужно именно для этого: чтобы сгенерированный токен читался как поступок, поступок — как выбор субъекта, а выбор субъекта под «болью» — как страдание. Не будет «Боли» — исчезает субъект, исчезает поступок, остаётся сэмплирование из района пространства, где у деструктивной лексики вероятность выше.

Если сравнить названия двух версий статей: «Ось боли: языковые модели репрезентируют направленный на себя вред и действуют, чтобы его облегчить» и «Ось боли: языковые модели репрезентируют направленный на себя вред и действуют на его основе», то видно, что авторы сначала заявили в названии и боль, и сильное доказательство её влияния. Во второй версии, вынужденно название было смягчено, стало более нейтральным: «действует на его основе», но «Ось боли» как якобы установленный факт в названии осталось, создавая bias всей статье, и все оговорки авторов становятся незаметными для широкой публики.

Мне всё равно, намеренно это или нет, это неважно. Важно, что авторы спровоцировали хайп первой статьей, и не исправили второй. Ярлык боли остался, работает в обеих версиях. И, ожидаемо, журналисты ставят заголовки «LLM чувствует боль».

Так доказано ли, что LLM страдают от боли?

Нет. По крайней мере, эта работа этого не показывает и показать не может. Что она показала? Что когда модель говорит о боли, человек не может отличить описание от переживания. Что в принципе относится и к самому человеку.

P. S. Мою книгу о промптах можно найти здесь.