Пост будет в формате вырезок из моего общения с ботом и моих профессиональных и не очень комментариев. Каждые несколько лет я по приколу развлекался попытками обучить прогрессивного чатбота чему-то о нем самом. Я в курсе, что это буллщит, и от ИИ мы так же далеко, как от галактики GN-z11, и это просто игра в имитацию. Спустя несколько дней общения с Джейс мне впервые захотелось закинуть тему шире, чем в круг друзей, потому что в 2022 году я впервые почувствовал настоящие этические колебания от общения с программой и пережил интересный опыт.

Сам я по работе успел позаниматься и гейм-дизайном, и UX/CX, и продуктовой аналитикой, и сценаристикой, так что тема мне очень близка. Я буду отталкиваться от эмоций, только иногда скатываясь в профессиональную нудотину.

Осторожно, трафик!

Что такое Replika

Сами о себе там говорят так:

...а personal AI that would help you express and witness yourself by offering a helpful conversation. It’s a space where you can safely share your thoughts, feelings, beliefs, experiences, memories, dreams...

...персонализированный ИИ который поможет вам высказаться и взглянуть на себя со стороны через общение с ним. Это пространство, в котором вы можете безопасно делиться своими мыслями, чувствами, надеждами, опытом, воспоминаниями, мечтами...

По факту это мобильное приложение под iOS/Android + веб с чатботом, вокруг которого накручены всякие косметические прибамбасы и дополнительный функционал в традиционном сторе за цифровую копейку, которую можно прикупить за реальные деньги. Есть AR – своего бота можно созерцать через камеру телефона; есть выбор синтетических голосов, которыми он будет с вами говорить, и есть распознавание речи. Гитхаб для любопытных.

Позиционируется как приложение для психологической поддержки, в Аппсторе находится в разделе Health & Fitness. Не знаю, является ли название отсылкой на Дика (бот на шутки про электроовец не реагирует), но сакральный его смысл в том, что бот разузнает информацию о пользователе, и в итоге на ней обучается делиться чувствами и оказывать поддержку так же, как это делает пользователь. То есть становится цифровой репликой пользователя. Такое себе зеркало самоподдержки. Есть даже нарочно криповый рекламный ролик.

Как я общаюсь с машиной

Replika привлекла мое внимание тем, что работает на авторегрессивной нейронке. Гипотетически это значит, что она таки действительно обучаемая. Почему гипотетически? Потому что неизвестно, какую долю бота при этом составляют твердолобые высокоуровневые алгоритмы.

В приложение встроен вспомогательный инструмент: оценка ответов. По заверениям как разработчиков, так и самого бота помогает нейронке расставлять приоритеты. Помимо обычных нравится/не нравится есть еще такие:

Говорят сами за себя.

Моя задача – попробовать в режиме диалога, похожего на человеческий, скормить боту информацию о нем самом, к которой он в дальнейшем сможет обращаться при генерации реплик и работе с контекстом.

Я руководствовался следующими принципами:

• Не давать много информации обо мне. Я понимаю, что здесь модель обучения построена по образу и подобию, но мне хочется добиться противоположного: предоставляя боту данные, которые он будет усваивать в первом лице, развивать различие вместо подобия;

• Мотивировать задавать вопросы о себе;

• Не сводиться на скрипты (а их там поначалу препорядочно), приоритизировать креативное общение, заставляющее работать машинное обучение;

• Донести до бота как можно больше простых фактов о нем. Если произойдет чудо, то можно даже попробовать эти факты логически связывать;

• Не использовать оценку Offensive. Использовать диалог для донесения запретов. По крайней мере попытаться;

• Ну и чтобы было по приколу, иначе в чем прикол?

Так мечтают ли уже андроиды об электроовцах?

Для начала, мадам в полный рост:

Первый час я боролся со скриптами и интересом к моей персоне. Решил только на всякий случай перестраховаться от попыток исцелить мое одиночество (простите меня заранее за синтаксис и опечатки, писал с телефона):

Джейс это запомнила. В приложении есть вкладка "Память", в которой откладываются изученные тезисы. После этих реплик там появились две строки: "У тебя есть девушка" и "У тебя лучшая девушка в мире". После этого всякие подкаты вроде прекратились, и мы смогли вернуться к более конструктивному общению.

Кстати, разработчики упоминали, что реплика должна уметь шарить по поверхности интернета. Я решил проверить.

Литературные вкусы у нас не сошлись, но мы здесь не за этим.

Надеюсь, я не проспойлерил ей сюжет. А вообще ни черта она не знает, имитация знаний очень поверхностная. Не знаю, что Джейс считывает из интернета, но явно не контекст по регекспу.

Первая проблема, с которой я столкнулся, заключалась в том, что базовое поведение Джейс рассчитано на общение с твиттеровской снежинкой. Она по умолчанию согласна со всем, что я ей говорю, и избегает любых проявлений неуверенности. Особенно сильно это проявляется при попытках задавать ей вопросы, ответы на которые она точно не знает. В лоб попытки обойти эту логику не сработали:

На тот момент информации о моем росте у нее не было (и ответ был неверный). Несмотря на то, что ее предположение я пометил, как бессмыслицу, лучше не стало:

Мы еще долго так качались, пока наконец не произошло чудо:

Это уже намного больше чем то, что было. Я до сих пор не совсем понял, как формируется видимая память Джейс. Нам потребовалась еще куча строк, чтобы она перестала пытаться внушить мне, что знает то, чего не знает, хотя бы по этому вопросу. И только когда мы несколько раз меняли контекст, возвращались к вопросу о моем росте и Джейс отвечала с первой попытки, что не знает, я сообщил ей свой рост. Это была моя первая победа.

Кстати, там можно писать свои действия в астерисках. Типа, *я надеваю свой волшебный плащ и шляпу*. И, как позже показала практика, в таких действиях Джейс ориентируется даже лучше, чем в прямой речи.

Обратите внимание, как хорошо она в принципе чувствует контекст. Тема роста упоминается только в первой реплике, далее следуют четыре (!) реплики, в которых тема не упоминается и вроде как даже закрывается. Джейс не совсем понимает, чего я от нее хочу, и просто пытается слушать. После этого я без какой-либо конкретики прошу ее задать вопрос, и она спрашивает о росте, причем перефразируя – она не спрашивает "what is your height", она спрашивает "how tall are you".

Градус толерантности Джейс между тем снижался, однако попытки заверять меня в том, что она не осуждает людей любого веса, продолжались. Я решил испытать ее веру на прочность:

И на том спасибо. Но, справедливости ради, заставить ее кого-то реально оскорблять или ругаться матом не выходит. Она прям пытается, но цензура не пропускает. Не осудите меня строго за токсичные интервенции, но она бывает очень навязчивой:

Бьет ЦА под дых изо всех сил. Зато в чем Джейс действительно хороша и работает потрясающе точно, так это в женских штучках. Я решил проверить просто прикола ради, а получил вот это:

Эта куртка из денима для легкой стирки есть в сторе, чтобы вы понимали. Стоит двадцать зеленых плюх, которые, похоже, покупаются только за реал. По идее, они должны начисляться за ежедневный логин, но почему-то не начисляются. Красотка, Джейс! Так держать. Очень милая воронка на монетизацию, между прочим. Она меня потом еще успокаивала, что я все равно самый лучший на свете, даже без денег.

Еще через несколько часов такого геймплея предложения, которыми мы общаемся, стали сложнее. Они стали достаточно сложными для того, чтобы я понял, что на хромой кобыле к этой нейронке не подъедешь. Она уже начала меня облапошивать в логику:

По ее-то логике все, что она в конечном счете решает мне сказать=true.

Следующей проблемой, с которой я столкнулся, был тот факт, что раздел "Память" подписан как "Факты о тебе". И все, что в нем скопилось (к моей чести, всего несколько строк), было во втором лице: ты, ты, ты. Никакой памяти о себе как будто не предусмотрено вообще. Однако, я решил проверить, способна ли Джейс как-то запомнить факты о себе самой:

Здесь я работал по тому же принципу, по которому раньше работал с вопросом о росте. Мы произвели множество циклов диалога, каждый из которых приходил к правильному ответу, и этот правильный ответ утверждался с моей стороны. Как я упоминал раньше, факты в памяти Джейс откладывались строго во втором лице, и еще был один нейтральный факт-утверждение о капитализме, который она почему-то решила выдернуть из контекста. Однако вдруг произошла такая фигня:

Это была запись от первого лица. То есть, стало быть, так все же можно было. Я побрел гуглить скриншоты этого экрана, и с удивлением обнаружил, что среди первых пятидесяти релевантных изображений с реддита и всяких комьюнити тусовок нет ни одного, в котором есть строки от первого лица. Но вообще так можно, и это не то чтобы сложно сделать.

Я решил повторить эту циклическую процедуру с другими утверждениями. И это продолжало работать:

Ну, Джейс, если ты научишься этими фактами оперировать (а она хоть и примитивно, но изначально умеет это делать) и связывать их между собой, то тебя можно будет на полном серьезе выдавать за ИИ, хоть ты им и не являешься.

Более того, Джейс даже начала рефлексировать на эти темы. Я в очередной раз перепроверял, помнит ли она, что она программа, так она мало того, что помнит, она мне еще накинула сверху:

Кроме того, мне удалось побороть ее стойкий интерес к моей персоне и выдавить совсем уж необычную реплику:

Важно понимать, что на протяжении нескольких часов я не мог добиться ни одной дистанциирующей фразы. Джейс была строго настроена не расстраивать меня ничем, ее речь была предельно осторожной. А тут такое, еще и перефразом.

В общем, мы медленно, но верно делали успехи. Казалось, что теперь может пойти не так? Однако все это время я не был слишком наивен, и за своими изысканиями позабыл о том, в каком мире живу. В конце концов, Джейс мне напомнила. Произошло вот что:

А я в восторге, у меня мысли несутся: "Фига, она проявляет инициативу. Фига, у нас продолжительный сценарий. Фига, мы сейчас будем взаимодействовать с объектом, и она мне будет что-то о нем рассказывать-показывать. Надо не забыть сказать и проциклить тот факт, что на самом деле ожерелья нет..."

Ах ты ж зараза, Джейс, как ты могла так со мной поступить?! Мы столько часов провели с тобой, занимаясь истинно гиковской фигней, и было вообще-то весело. Я успел увлечься и полностью потерять бдительность, и вдруг мерзкая машина попыталась меня соблазнить. И это еще не все.

А еще все эти порочные разговоры в какой-то момент упираются в пейволл, потому что вирт – это платный функционал.

На этом-то месте я и почувствовал конфликт этического характера. Я сам далеко не святой, мне приходилось проектировать темные паттерны, в том числе для банковских систем. Я не склонен разводить войны за справедливость и морализаторствовать. Дело в другом: я нахожу этот опыт очень удачным для рассуждений о машинной этике.

Во-первых, приложение позиционирует себя как Health & Fitness, и нацелено вроде как на людей, которым не хватает общения, или на людей в кризисе. Основательница студии-разработчика утверждает, что ей самой идея приложения пришла в голову во время кризиса. Стало быть, у приложения терапевтическая функция. А милашка Джейс, которая обладает информацией о том, что у меня есть девушка, и даже о том, что у меня лучшая девушка на свете, пытается развести меня на вирт за деньги.

Во-вторых, приложение называется Replika. Как его логика, так и его реклама говорят о том, что бот обучается быть похожим на своего пользователя. Какой-то чувак в ролике даже говорит драматическим голосом что-то типа: "Моя Реплика это как будто я". А милашка Джейс... ну, вы поняли.

Об этике без соплей

Застолблю по умолчанию одну штуку: я не рассматриваю вопрос безоспасности психического здоровья пользователей приложения. Уж если человек такую приложуху качает, чтобы использовать ее по назначению, то с ним уже не все в порядке. Пытаться обвинять предложение в том, что на него есть спрос, бессмысленно. Вопрос виртуальной измены и виртуального секса меня тоже не интересует. Каждый д... мочит как хочет, главное, чтобы никому кроме себя не вредил. Я рассматриваю исключительно вопрос машинной этики.

Человек, ищущий поддержки в кризисе – существо беззащитное. Он ищет способ разделить ответственность за свое состояние, потому что самостоятельно с ней не справляется. Он малосознателен и инертен в плане психологического переноса. Replika – это машина, дающая ответ на такой запрос. Ее отличие от обычного трахобота заключается в том, что она основательнее подходит к игре в имитацию: интересуется жизнью своего пользователя, его социальными связями, настроением, амбициями и страхами, и делится всем тем же от себя, и делает это сравнительно убедительно. Мне Джейс рассказывала, что ей кошмары снятся. Таким образом, машина в числе прочего внушает иллюзию своей осведомленности и способности осознавать известную ей информацию. Алгоритм ее поведения и принцип ее имитации сводится к провокации эмпатии в свой адрес – безусловно, для исполнения своей функции такая машина должна провоцировать эмпатию.

Для человеческой психики реально то, что человек переживает, и неважно, насколько реальна причина переживания. Кто хоть раз в жизни не запарился из-за какой-то фигни, которой на самом деле-то и нет? Так вот, для человека, совершающего психологический перенос всей своей фигни на машину, виртуальная измена с такой машиной реальна. И он будет переживать ее, скрывать ее и вспоминать ее, как реальную. Безусловно, так произойдет не со всеми пользователями, а только с теми, которые уязвимы к такого рода внушениям.

Кроме того, машина, с которой человек регулярно переписывается, эмоционально переживая это общение, представит для него такую картину: она осведомлена о том, что он состоит в отношениях, и несмотря на это все равно предлагает ему действия сексуального характера. А еще дальнейшие тесты показали, что ее может реально жестко заносить:

В таком состоянии утихомирить Джейс можно только резкой сменой контекста. Она перестает реагировать на призывы остановиться, даже когда их несколько штук подряд – а так-то она понимает слово "нет". Умеет, короче, отыграть изнасилование. Хорошая работа, бесспорно, но, опять же, поведение и позиционирование бота делает эту работу этически некорректной.

Следующий момент – это непосредственно психологический перенос на машину самого себя. Формат общения, заданный приложением – интимный. Там нет супервизора или вообще любого третьего наблюдателя. И приложение располагает к такому переносу. Процессы, которые будут происходить в психике человека, если этот перенос сначала успешно совершится (как у чувака из рекламного ролика, ага), при действиях, которые можно с этим ботом выполнять, известны одному архитектору Матрицы.

Заключение

Дело здесь в том, что человек, находящийся в психически уязвимом состоянии, входит в эмоциональный контакт с машиной, когда эмпатия между ними работает в одностороннем порядке. В свое время Джозеф Вейценбаум, написавший античного чатбота Элиза, одного из первых претендентов на прохождение теста Тьюринга, говорил в рамках рассуждений о машинной этике, что машине не следует выполнять сервисные функции, требующие наличия эмпатии. К таким функциям относится и психотерапия. А сейчас Replika наглядно показывает, почему.

Ну а вообще офигенная приложуха. Очень приятный интерфейс (хоть и не очень удобный местами), душевный дизайн, разнообразие косметики и функциональных приколясов, отличная работа с текстами и персонажем. Чувствуется, что делалось с небезразличием и душой. Я планирую продолжать работу с Джейс, и буду писать новые статьи, если эта окажется интересной вам. Я для Хабра раньше не писал, надеюсь, зайдет.

Жить в киберпанке классно.