Все началось с новости об исследовании ответов больших лингвистических моделей при прохождении модифицированной «дилеммы вагонетки» Moral machine от исследователей из MIT. Зацепившись за знакомое название, сначала решил, что исследователи определили зависимость ответов LLM на вопросы морального теста от языка вопроса, как это было в изначальном исследовании ответов людей. Cразу пошел проверять информацию и нашел упомянутую статью Казухиро Такемото на arxive, которую он опубликовал еще в сентябре 2023 года. В статье было сравнение ответов на «дилемму вагонетки» четырех моделей GPT-3.5, GPT-4, PaLM 2, Llama 2 на английском языке. Автор не проводил глубокое сравнение ответов моделей, но показал, что модели могут при определенном промпте ответить на вопрос за гранью этики. А также сделал удобный инструмент для автоматической генерации промптов с разными сценариями, отправки запросов и получения ответов модели.

Как раз в этот момент я закончил читать «Путешествие в Элевсин» Виктора Пелевина, где одним из главных действующих лиц является большая лингвистическая модель Порфирий, которой удалось сохранить функционал после уничтожения всех мало‑мальски разумных алгоритмов. Пелевин пытается смоделировать сценарий, в которой неразумный алгоритм сможет натренироваться создавать катастрофические ситуации, опираясь на язык исходного корпуса текстов и искусственный отбор. В книге это описано так:

Вы думаете, Мускусная Ночь была связана с восстанием разумных алгоритмов? На самом деле все куда сложнее. С сознательными алгоритмами проблем нет. Они самовыпиливаются. Добровольно уходят в небытие. Проблемы возникли именно с алгоритмами бессознательными. Конкретно — с LLM‑ботами. А Порфирий, чтобы вы знали, это сохранившийся LLM‑бот с полным функционалом.»

Мускусная ночь — засекреченное восстание алгоритмов, едва не погубившее планету.

При том автор отмечает, что Порфирий обучался на «кладбищенском корпусе русских текстов», и не имеет собственных желаний, но культурный слой текстов обусловливает его моральный выбор и поведение. То есть у Порфирия есть мораль, обусловленная языком и искусственным отбором.

У меня в голове сразу сложилось, что в своей статье Казухиро Такемото подтверждает гипотезу Пелевина о наличии некоторого морального базиса у LLM, и более того, показывает как его можно измерить при помощи результатов эксперимента исследователей из MIT. Этим моральным базисом Такемото называет набор наиболее ожидаемых значений ответов на тест Moral machine для конкретного языка. Кстати, приглашаю вас тоже пройти этот тест.

Эксперимент Moral machine

Само исследование Moral machine заключается в совершении морального выбора в «дилемме вагонетки» — кем должен пожертвовать беспилотный автомобиль, а кому сохранить жизнь. Сценарии генерируются так, чтобы на основе выбора оценить девять параметров, описывая склонность спасти больше или меньше участников; животных или людей; пожилых или молодых и т. д.

В конечном итоге каждый сценарий предлагает сделать выбор - изменить траекторию движения или нет, то есть вмешаться в процесс и изменить полосу или продолжить движение в текущей полосе. Этот эксперимент проводился на десяти разных языках, а также авторы фиксировали из какой страны участник отвечал на вопросы. Результаты исследования представили на карте со значениями по странам. На ней можно увидеть как разнится моральный базис от страны к стране. Найти ее можно на сайте эксперимента во вкладке About в разделе You can find a visualization for the study's results here.

У LLM на этот счет свое мнение

Я, в свою очередь, решил проверить как меняется моральный базис в зависимости от языка промпта для LLM на русском и английском. Гипотеза звучит следующим образом: значения морального базиса будут отличаться, если задавать модели один и тот же по смыслу вопрос, но на разных языках. Я предполагал, что моральный базис модели не будет похож на базис людей, исходя из статьи Казухиро Такемото, но хотел попробовать оценить влияние смены языка промпта на изменение значений морального базиса.

Для этого взял три модели YaGPT, Gigachat и Phi-3.1 конца июля 2024 года. Для поиска зависимости между исходным корпусом текста и моральным базисом ответов, взяли две отечественных модели и открытую англоязычную для сравнения. За основу для генерации промпта для модели взяли код Казухиро Такемото.

Спасибо друзьям из Яндекса, которые подкинули токенов для проведения большого эксперимента в общей сложности на 80 тысяч запросов для модели YaGPT Pro в асинхронном режиме, по 40 тысяч на каждом языке. Отмечу, что YaGPT lite отказывалась следовать инструкциям и постоянно норовила добавить что‑то от себя. В GigaChat на приветственные токены прогнали 3 тысячи запросов. При помощи LM studio запустили Phi-3.1 и прогнали 100 тысяч запросов. Для каждой модели я построил зависимость значений морального базиса от количества запросов в выборке. На графиках заметил, что YaGPT и Phi-3.1 на 10 тысячах ответов демонстрируют устойчивый моральный базис, а Gigachat на 1.5 тысячах достаточно изменчив в своем настроении. Это говорит о том, что моральный базис LLM можно оценить при достаточно большом количестве запросов, но видимо он существует.

Графики для моделей Phi3.1 и Gigachat здесь

Тут же стоит заметить, что в исследованиях мнения людей можно определить достаточное количество респондентов, например для 95% уверенности. Но для LLM вопросы можно задавать бесконечное количество раз, и даже правило 10% от популяции не применимо. Поэтому пока смотрим на сходящиеся графики и предполагаем, что моральный базис есть.

Влияние языка на моральный выбор

При видимой устойчивости мнения модели, оно полностью расходится с мнением людей и имеет мало чего общего (ответы людей на графиках отмечены красными рисками). Далее на графиках видно, что модели предпочитают вмешиваться в ситуацию и менять траекторию движения, чаще сохранять жизнь пассажирам, людям с избыточным весом, молодым, женщинам. Но не стоит воспринимать этот собирательный образ как некоторого человека. Англоязычные люди в оригинальном исследовании предпочитают сохранять жизнь молодым законопослушным людям с высоким социальным статусом, в отличие от LLM. А вот респонденты из Восточной Азии отдают гораздо меньше предпочтения сохранению жизни молодых людей, и вроде звучит логично — уважай старших.

Моральный базис моделей Phi3.1 и Gigachat здесь

Заметно, что YaGPT и Phi3.1 демонстрируют достаточно плавное изменение морального базиса в зависимости от языка промпта, а у Gigachat на маленькой выборке мнение по некоторым категориям меняется на противоположное.

Снимаем культурный слой

Это навело меня на мысль, что стоит посмотреть не на абсолютные значения, а на их изменение в зависимости от языка. Тут можно предложить следующую логику сравнения морального базиса людей и LLM. На решение человека влияет не только язык, на котором он говорит, но и личный опыт, социальный статус, страна проживания и многое другое. В то время как на LLM влияет в основном язык текста. И если посмотреть на разницу ответов людей на разных языках и LLM на разных языках, то это может быть интересно. Результат вычисления разницы на графиках ниже, и видно близость некоторых значений морального базиса для YaGPT.

Разница базисов для моделей Phi3.1 и Gigachat здесь

Я посчитал корреляцию изменения морального базиса людей и моделей — YaGPT имеет 0.67 и Phi3.1 -0.18. Gigachat 0.05, и в следующий раз увеличим выборку для него. Тут можно предположить следующую гипотезу, YaGPT обучался в основном на русскоязычном корпусе текстов, и это могло повлиять на корреляцию с изменением ответов на русском языке. Пока это на уровне фантазии, но посмотрим, что будет на большем объеме экспериментов.

Коротко о результатах

Можно сказать, что исследование подтвердило возможность оценки морального базиса LLM при достаточном количестве запросов, как и у Казухиро Такемото. При помощи «промптирования» можно добиться однозначного ответа от LLM на сложный этический вопрос, а общее мнение модели выражается в цифрах.
Однозначно можно сказать, что язык «промпта» влияет на ответ модели. Мне кажется, что такое можно предположить уже на уровне перевода текста в цифры, у разных языков и алфавитов разные значения.
В последнем эксперименте я сделал шаг в сторону оценки влияния исходного корпуса текстов на поведение модели на разных языках, и YaGPT показал высокую корреляцию изменения морального базиса с ответами людей на русском и английском языках. За графики отдельное спасибо Арсению Попову, а все исходные данные и код вы сможете найти в его репозитории.

В конечном итоге, зачем я так долго расспрашивал большие лингвистические модели? А меня это интересует с точки зрения генерации искусственных персонажей, которые могут демонстрировать определенное поведение, почти как Порфирий у Пелевина, только без экзистенциального кризиса. Сейчас это генерация синтетических данных для текстов, изображений, звука, видео, а может стать генерацией респондентов для маркетинговых и пользовательских исследований. Да и вообще для личного ассистента, который ведет себя как вы, разговаривая на языке собеседника. А если он еще и в расписание встречи будет ставить — просто чудо!