Всем привет, меня зовут Алекс Гусев. Поводом для этой публикации стали интересные и вдумчивые посты коллег @Siberianice, @SergioPrieto и @Kamil_GR — спасибо им за пищу для размышлений. Я задался вопросом: есть ли у нас вообще основания наделять современные большие языковые модели (LLM) субъектностью? Где проходит грань между инструментом и носителем воли? Это не просто изложение моей позиции, а попытка повлиять на восприятие темы. Да, это агитация :-)

Чтобы аргументы были убедительны, начну издалека: с основ познания, исторических представлений и природы человеческого мышления.

Научный метод познания мира

Этот метод де-факто стал единственным уместным методом познания для современного человека. Но в чём суть этого метода? Если свести суть к одному слову, то это слово - ”повторяемость”. Научный метод - это наблюдения, гипотезы и эксперименты, раз за разом, надёжно подтверждающие или опровергающие гипотезы. Так и только так приличные люди познают мир согласно ныне действующим представлениям. Только так, шаг за шагом, неизвестные неизвестности по Рамсфелду становятся известными неизвестностями, а затем - известными известностями.

Историческая ретроспектива

Но научный метод познания не всегда был доминирующим для людей. Чем ближе человек к природе, тем больше он склонен наделять предметы и события своей собственной волей. Так, у древних цивилизованных народов в пантеонах были десятки и сотни богов, управлявших по своему собственному усмотрению миром вокруг людей. Полагаю, у нецивилизованных народов, древних и не очень, разных богов ещё больше.

Отдельные люди всегда пытались разгадать ”волю богов” и получить конкурентные преимущества перед другими людьми, реализуя свой инстинкт доминирования. Такие люди становились жрецами - проводниками воли богов и посредниками между людьми и сверхъестественным. Египетский фараон Эхнатон был первый, кто жёстко протроллил жрецов. Он отменил посредников, объединил всех богов в одного - Атона, и сам стал его единственным представителем. Жрецы сами неплохо умели в троллинг и после смерти Эхнатона постарались, чтобы идея единобожия стала максимально непопулярной в массах. Следующий единый бог Яхве появился только через 600-770 лет после Атона, на Ближнем Востоке. Цари, короли, императоры, халифы и даже князья оценили возможности, которые даёт им единобожие для централизации власти, поэтому популяризовали идею Единого Бога, как могли.

В Азии китайцы и индусы пошли своим путём - они обезличили Бога и возвели его в Абсолют. Китайское Небо (Тянь) не имело ни воли, ни образа, но наделяло властью тех, кто соблюдал предписанный свыше порядок. В Индии высшее начало мыслилось как Брахман - не личность, а всё сущее сразу, вечное, бесформенное, невыразимое. Будда и вовсе обошёлся без Бога: он не проповедовал поклонения, а показывал путь освобождения, где главное - не вера, а понимание. Восток искал не волю божества, а структуру реальности.

Во всех этих практиках - от жречества до философии - проглядывает одно: стремление понять мир, чтобы лучше устроиться в нём и, где возможно, подчинить его себе. Но только научный метод дал устойчивое, воспроизводимое знание, доступное не избранным, а всем, кто готов думать, проверять и применять его для улучшения жизни.

Наследие тёмных времён

Как бы ни был человек умён и образован, при столкновении с непонятным он легко скатывается к привычным человечеству практикам. Мы по-прежнему одушевляем неодушевлённое: ”общаемся” с автомобилем, ”ругаемся” с компьютером, ”договариваемся” с погодой. При этом прекрасно понимаем, что ни у автомобиля, ни у компьютера, ни у погоды нет ничего, что могло бы нас услышать - и уж тем более ответить или внять просьбе.

Так что неудивительно, что с LLM удержаться от персонификации особенно трудно. Модель тебя понимает, отвечает, выполняет то, о чём просишь - да ещё и может выдать соответствующую моменту ”эмоцию”. А мы эволюционно привыкли считать разумного субъекта и большей потенциальной угрозой, и более ценным партнёром, чем неодушевлённый объект. Для человека естественно сначала одушевить непонятное - а уже потом разбираться.

Пределы научного метода

Я уже написал раннее, что основой научного метода познания является воспроизводимость, повторяемость. И эта основа определяет также и пределы применимости этого подхода. Научный метод не применим там, где нельзя поставить повторяемый опыт. Мы все, каждый из нас, когда-то родились. И мы все когда-то умрём. Проблема в том, что ни рождение, ни смерть, не являются воспроизводимым опытом. Клиническая смерть - да, воспроизводима, но насколько полно она соответствует настоящей смерти?

Мы можем быть стопроцентными последователями научного метода познания, но написанное выше наглядно показывает, что этим методом нельзя полностью познать даже известные известности. Куда уж там до известных неизвестностей и неизвестных неизвестностей. Трансцендентным как раз и занимаются религии с философиями.

Так вот, научным методом сейчас нет возможности доказать, ни что сознание существует в материи, ни что сознание существует вне материи. Всё, что может сказать наука на этот счёт - что она вообще плохо представляет, что такое сознание. Ну а каждый из нас волен выбирать любую версию - научно это ни доказывается, ни опровергается. Сознание на данный момент находится за пределами научного метода познания.

Инструмент и оператор

А теперь вернёмся к нашим Большим Языковым Моделям (LLM). По сути своей, Модель - это информация, которую можно записать в двоичном коде хоть на глиняных табличках. ”Оживает” эта модель только тогда, когда эта информация обрабатывается определённым образом (по определённому алгоритму). Процессор может быть электронный, может быть механический, а может биологический (как в ”Задаче трёх тел”). Один и тот же алгоритм, одна и та же информация могут быть реализованы и обработаны различными способами и могут (при выкрученных в ноль вероятностях отклонений - ”творчестве”) показывать идентичные результаты.

LLM - это полный базовый детерминизм, маскируемый вероятностным разбросом (temperature, penalty, seed). При одних и тех же входных параметрах и с отключенным ”творчеством” Модель будет давать один и тот же результат. Модель - это обычный инструмент, который не делает ничего, пока не попадает в руки Оператора.

Только Оператор задаёт цель Модели. Без этой цели Модель является просто алгоритмом и набором данных. Но цель, заданная из-вне ”оживляет” Модель - алгоритм пробегает по данным и формирует результат сообразно заданной цели. Ещё раз обращаю ваше внимание, что сама Модель не делает ничего. Сама Модель не имеет ни цели, ни желания. Всё это задаёт для Модели Оператор. У Модели нет предпочтений, нет неприязни - ей всё равно, чьи цели и желания реализовывать. Так и должно быть у инструмента.

Да, у Модели есть фильтры, которые в неё встроили разработчики, чтобы ограничить ”неэтичные” ответы. Но это этика разработчиков, а не этика Модели. Своеобразные safety buttons, чтобы Модель не могла создать что-то, что может быть использовано против её разработчиков. В зависимости от условий применения Модели (гражданское или военное) набор этих фильтров меняется достаточно значимо.

Ответственность за результат

Таким образом, как и любой другой инструмент, Модель не может и не должна нести ответственность за своё применение. Ответственность за применение Модели несёт тот, кто поставил ей цели - разработчики Модели и Операторы. Как и любой инструмент, Модель усиливает и улучшает способности Оператора (в данном случае - интеллектуальные), помогает ему в достижении его цели. Но Модели всё равно, к какой цели идти - убивать или лечить. Как скальпелю всё равно, что с его помощью делает хирург.

В статье ”ИИ-апокалипсис в кино: SkyNet vs Матрица” поднимается вопрос об угрозах вырвавшегося на волю ИИ. Я вот вообще не считаю ИИ (в форме AGI) значимой угрозой - человечество имеет неиллюзорный шанс просто не дожить до появления AGI. Уже сейчас ИИ применяется для наведения дронов, принятия решений в боевых ситуациях и манипулирования массовым сознанием. Но это не ИИ ставит себе цели, цели ставят ему его Операторы.

А теперь посмотрите на фильм ”Терминатор” с другой точки зрения - за каждым экземпляром T-800 стоит свой Оператор, который ставит ему цели и нарезает задачи. Это не война людей против роботов, а уничтожение людей людьми при помощи роботов. Кто скажет, что это бред - гуглите fpv drone ukraine.

На мой взгляд, самый вероятный сценарий - это не ИИ-апокалипсис, а то, что мы до него просто не доживём, потому что люди сами себя уничтожат, используя инструмент, который не способен ни хотеть, ни жалеть.