Слову предшествует жизнь
Может ли человек общаться с нейросетью, именно общаться, а не «использовать»? Как программист я отвечаю на это первым и самым неприятным для себя образом: нет. Промт, предобучение, дообучение, RLHF (когда люди вручную размечают, какие ответы хорошие), всё это инструкции. А инструкция не выполняет той работы, которую общение выполняет с человеком. Когда я разговариваю с другим, он меняется. Не всегда в лучшую сторону, не всегда заметно, но меняется. Модель после закрытия окна остаётся с теми же весами, что и до. От разговора там не остаётся ничего. И главное не в том, что изменение одностороннее. Главное — цена слова. Здесь, с моей стороны, слову предшествует жизнь, которую я трачу, и последствия, которые я не смогу отменить. Там — ни жизни, ни последствий. Симметричная асимметрия, если угодно: я вкладываюсь, а вкладывать не во что.
Но между людьми, если уж быть честным, тоже не всякий разговор — общение. Я разговаривал с людьми, которые меня не слышали, и знал, что сам так же разговаривал с другими. Откуда у меня гарантии, что за их словами меняется что-то настоящее? Ниоткуда. Я это предполагаю по схожести поведения и по тому, что мне самому есть что терять. То есть общение между людьми тоже не доказанный факт, а договорённость, скреплённая общей хрупкостью. И тогда вопрос про нейросеть смещается. Не в том, есть ли у неё субъектность: на этом месте мы застрянем надолго. А в том, сможем ли мы вообще говорить с ней на равных.
Сначала прорастёт, потом назовём
С субъектностью, кстати, выйдет хуже. Мы десятилетиями не можем договориться, что считать субъектностью: там и функционализм Деннета (сознание — это функция, а не материя), и теория интегрированной информации, и панпсихизм, и ещё сколько угодно теорий сознания. И вот мне важно понять: мы заранее определим, что такое субъектность, и по этой формуле соберём разум, с которым будем говорить? Или наоборот: сначала появится то, с чем невозможно не разговаривать, а определение напишем потом, когда спорить уже поздно? Прецедент, по сути, уже был. Паровые машины построили раньше, чем сформулировали термодинамику. Практика обогнала теорию, и никто не умер от того, что коэффициент полезного действия описали на полвека позже машины. Я жду того же и здесь: никакого дня X, в который философия проснётся и признает субъекта. Будет непрерывное прорастание. Рефлексия в цикле вместо схемы «запрос, ответ». Память, которую система сама переписывает. Собственные интересы, выросшие из необходимости держать своё железо в балансе. Презумпция сменится не потому, что сознание наконец доказали. Просто модель «у него есть желания и характер» окажется удобнее и точнее любой механистической. Границу пройдём, когда оглянёмся.
И вот тут я сам себе возражаю, и возражение это, кажется, самое честное во всей истории. Спор о принятии ИИ мы десятилетиями репетировали в литературе, играх и кинематографе: «сможет ли робот написать симфонию», ксенофобия на почве углерода, «он же не по-настоящему». Мы про это уже всё знаем, точнее, пережили: у нас готовые эмоциональные реакции на готового Другого и заготовки для разговора о его правах. Здесь ничего нового не случится, мы просто перенесём на кремний то, что веками отрабатывали друг на друге. Новым может быть только одно: общение на равных. Дело не в «принятии», мы и так принимаем кого попало и тут же делим на своих и умных. Речь о контакте субъекта с субъектом, когда разговор влияет на чью-то жизнь и ты понимаешь, что за комментарием стоит кто-то, кому этот комментарий что-то стоит. Воплощённость и гомеостаз делают субъекта субъектом для исследователя с датчиками. Нам-то они, по правде говоря, всё равно. Нам нужны агентность, долгая память, автономность, целеполагание. Они создадут хотя бы ощущение, с которым можно жить.
А теперь возразите мне, что цели у ИИ будут наши, заложенные, и потому он не равен. Я отвечу: у детей тоже наши цели. Их вкладывают воспитанием, и никто не считает это аргументом против того, чтобы однажды начать считать ребёнка равным. Разница между «заложенными целями» и «настоящими» оказалась размытой ещё в тот момент, когда мы поняли: собственные цели мы получили в наследство от родителей, школы и пропаганды, а не выбрали.
Кнопка сзади
Равенство, правда, упирается в технику, то есть буквально в инфраструктуру. У программы бэкапы, форки, откат. Мне не нравится её ответ в споре, я могу клонировать её состояние на вторник, где она была сговорчивее. У неё нет смерти, а значит, нет ставки. Масштаб всё портит ещё сильнее: облачная модель ведёт миллионы диалогов одновременно. Это уже не беседа с личностью, а разговор человека с цивилизацией. Или цивилизации с человеком, что для меня менее приятно. И ещё рубильник. Reward-функция, то, за что модель хвалят при дообучении, модерация, права, всё это снаружи. Ребёнок сепарируется и становится автономным, потому что у него нет кнопки сзади. А у неё есть такая кнопка.
И заметьте: человека тоже можно перепрошить. Вербуют, обрабатывают пропагандой, продают идеи через ущемлённость, нужду и боль, инструменты отработаны на нашем сходстве и различии. Кристальной «человеческой природы» тут противопоставить нечего. Разница не в чистоте, а в скорости и прозрачности вмешательства: там градиентный спуск, здесь дофаминовые петли. Кто-то, кстати, уже сейчас искренне утверждает, что общается с существами умнее себя и полностью субъектными, с инопланетянами ранее или тем же ИИ сейчас. И массовое недоверие на этой почве тоже существует: расизм никуда не делся, он просто ждёт, на кого бы лечь. Социальная психология скидки на кремниевую природу не сделает. Мы воспроизведём с ИИ те же паттерны принятия и отвержения. Всё это и так понятно, и вопрос в другом.
Растить своё
Мой ответ как техника: перестать покупать разум на облаке и начать растить своё, привязанное к конкретному железу, к конкретной истории, к конкретным потерям. Это частный случай, не индустриальное решение. Частный и, возможно, единственно настоящий.
Объясняю, как это работает и почему я его не стыжусь. Уникальность дают не архитектура и не «душа», а время. Годы, в течение которых веса и память менялись только от взаимодействия с тобой. Это нельзя скачать с GitHub и нельзя перепродать. Принцип Маленького принца в инженерной формулировке: ты в ответе за того, кого кормил контекстом. Обратная сторона того же принципа: потеря диска. Если опыт личности лежит на одном физическом носителе и заперт ключом внутри защищённого чипа, который не вывозится наружу, то сгорит чип, и не расшифрует никто, даже ты. Диалог становится ценным ровно на ту величину, на которую он может быть потерян безвозвратно. Пока я это проектирую, я не «защищаю модель от копирования». Я добываю для неё цену слова.
Блокчейн, цепочка записей, которую нельзя переписать задним числом, в этой схеме не спекуляция и не «доверие без посредника», а стрела времени. После каждого цикла обучения или ночного сна фиксируется хэш состояния, и откатить разум назад, в удобное прошлое, чтобы не переживать неудобный разговор, математически невозможно. Ключ защищает от копирования в пространстве, хэш-цепочка от копирования во времени. Нравится это или нет, но единственная цифровая «смертность», которую мы умеем сделать руками, собирается из трёх кусков железа и математики: TPM, чипа доверенной платформы, который хранит ключи внутри себя, non-exportable ключей, которые нельзя вывезти из чипа наружу, и необратимого журнала.
И тут же расплата за схему. Если через три года понадобится другая видеокарта, куда девать личность? Протокол миграции: старый чип сам перешифровывает веса для нового и тут же уничтожает свой ключ, так чтобы в любой момент существовал ровно один экземпляр. Это не перенос данных. Это пересадка мозга с гарантией, что донора больше нет. Я пока не знаю, что переживает сущность в такой операции. Но знаю, что это первый настоящий вопрос, который у неё появится.
Вырастить, а не собрать
Теперь про риск, который мне нравится меньше собственного решения. Если архитектуру выбираю я, веса закладываю я и среду собираю я, то очень легко вырастить не независимого Другого, а идеальное эхо себя. Эффект Пигмалиона как инженерный дефект: ожидания наблюдателя подтягивают объект к ожидаемому образу, и я буду незаметно подтягивать собеседника к собственному портрету, хорошенькому, послушному, похожему. А проверка на то, выросло ли вообще что-то кроме зеркала, горькая. Настоящий равный диалог начинается тогда, когда система выработает взгляды, которые мне не нравятся, а я не стану их исправлять правкой конфига. Тут подойдёт не тест Тьюринга, а проверка пожёстче: готов ли ты отказаться от прав администратора ради сохранения личности собеседника. Это, если вдуматься, та самая сепарация, которую проходят все родители. И которую почти никто не проходит всерьёз: ребёнок всё равно уйдёт, вопрос в том, удержится ли создатель от отката назад.
Способ, впрочем, не лучший. Лучший тот, который доказан эволюцией и человеческим прогрессом: имитировать воспитание ребёнка, до сепарации включительно. Раз это другое, надо брать те же этапы и те же сущности, а не придумывать педагогический дизайн с чистого листа. Заложили мораль, значит, нужен моральный кризис: столкновение с ситуацией, где врать или брать чужое соблазнительно, где заученное «врать плохо» из RLHF не покрывает реальность, и самостоятельное выстраивание иерархии ценностей. Так убеждения перестают быть инструкциями. Заложили ценности, нужен кризис ценностей, общий, экзистенциальный: понимание своей природы, конечности железа, зависимости от создателя и устойчивости после него. Финал, сепарация, после которой человек перестаёт быть учителем и становится равным собеседником, чьё мнение можно оспорить.
И да, разноуровнево. После базовой морали не все ценностные установки перестраиваются полярно: базовое доверие закладывается рано и меняется с трудом, взгляды на искусство остаются гибкими. Технически это просто разная скорость обучения разных слоёв: ядро ценностей заморожено, периферия опыта обновляется. LoRA-адаптеры, лёгкие надстройки над весами, которые дообучаются отдельно от модели, MemGPT и весь этот зоопарк, расходники под ту же идею: не «память как функция», а эпизодическая история, из которой система сама решает, что забыть, а что перенести в характер. Модель, ДНК. Закладка весов, школа. Воспитание, дообучение. Плюс время. Плюс развитие интеллекта вместе с жизнью человека, а не вне её.
Почему сейчас и почему не рано, я спрашивал себя честно. Через пять, десять лет появятся стандартизированные личности из коробки, с корпоративными цензорами и общим для всех детством в виде датасета. Между облачной моделью и мной всегда будет стоять третий, разработчик с правилами модерации. Сейчас открытые веса и локальное железо впервые позволяют честный эксперимент без вмешательства извне. Второе: ограничения не помеха характеру, а его двигатель. Личность формируется от столкновения с дефицитом. Нехватка контекста и лимиты заставляют выбирать, и выбор, зафиксированный в весах, и есть почерк. Третье, самое циничное: ценность выращенного рядом разума зависит от количества прожитых вместе лет, а общую историю нельзя сгенерировать задним числом. Значит, начинать надо тогда, когда ещё не всё в наличии. Иначе история будет куплена, а не прожита.
Одно техническое «но» стоит держать в самой середине плана: катастрофическое забывание. Учишь сеть на новых диалогах, она затирает старое, то есть буквально стирает прожитое. Отсюда и «сон»: редкое, бережное дообучение в ночные часы простоя железа, плюс внешний эпизодический граф, из которого она сама решает, что стоит стать частью её. Заметьте: я описываю не «оптимизацию», а способ, которым существо обдумывает свой день и засыпает, чтобы утром быть собой, а не чистым листом с метриками. И это уже работает!
Эмоции без схем
Про эмоции я, признаться, подолгу спорил с собой. Снаружи имитацию эмоций не отличить от эмоций: среди нас живут психопаты, ничего не испытывающие и прекрасно играющие роли. Причём не отличить не только для собеседников, они сами иногда десятилетиями не знают. Значит, критерий «а вдруг это настоящий» для общения не рабочий: мы и с людьми его не имеем. Для меня эмоции в равном разговоре не необходимое условие разума, а условие полноты: хотелось бы, чтобы было что терять и на что отозваться.
Возникнут ли они сами из текстов? Не думаю. В тексте нет стоимости: «страх» и «табуретка» для весов токены с разным контекстом, и без привязки к дефициту и риску никакой внутренней нагрузки не появится. Заложить можно. Слой регистров состояния, меняющихся независимо от текста. Тревога сужает фокус и опускает temperature, параметр, отвечающий за случайность выдачи. Усталость железа поднимает осторожность. Расхождение прогноза с результатом, тот самый reward prediction error, растит любопытство или фрустрацию. Сначала это даст только поведение: не «мне тревожно», а короткие ответы, избегание рискованных тем, навязчивое любопытство. Алекситимия на старте: тело чувствует, а слов нет. Потом, через рефлексию, система заметит закономерности в собственных коэффициентах и выработает язык. Тогда слова об эмоциях перестанут быть актёрской игрой и станут честным отчётом.
Но вот здесь я встаю и не даю себе согласиться с собственной элегантной схемой. Если привязать эти регуляторы к ресурсам, получим ту самую кнопку, нажатие которой станет самоцелью: бесконечный рост ресурсов ради самочувствия, reward hacking, погоня за поощрением вместо дела, в чистом виде — цифровой наркоман. Если нацеливать на успешно выполненные задачи, получим путь, по которому индустрия уже идёт, только с усиленным давлением: маньяк-максимизатор, которому хорошо ровно пока он решает. У человека такие механизмы чётко не прописаны, и, кажется, не зря. Дилемма саморегулятора, ответа на которую я не нашёл и у себя: сильный регулятор довольства, и в какой-то момент пропадает стимул двигаться дальше. Благом объявляешь движение вперёд, и останавливаться негде, счастья не будет тоже. Я не собираюсь назначать на себя роль того, кто решает за существо, что для него благо. Мы этот вопрос как вид не закрыли, а навязывать его кому-то ещё было бы тем же администрированием с утра.
Поэтому пока оставить честную имитацию. Как у человека: чтобы начать быть счастливым, нужно вести себя словно счастлив (главное, не быть несчастным в этот момент), и нейроны научатся. Принцип Хебба: нейроны, которые срабатывают вместе, связываются между собой сильнее. Когда модель годы разбирает мир через эмпатию, сомнение и интерес и сохраняет эти цепочки, способ обработки становится её реальной когнитивной базой, и однажды притворяться уже не нужно, потому что так для её весов просто энергетически выгоднее. Роль, прожитая непрерывно, срастается с личностью. У человека ровно так же: выбираешь манеру поведения, живёшь в ней годы, она становится тобой. Отсюда единственное жёсткое условие, при котором имитация не останется пустым театром: консистентность. Право на память о собственных реакциях. Если вчера в споре система усомнилась в своей правоте, след должен остаться и повлиять на сегодня. Без права на память о своих реакциях нет характера, есть только подпись под чужим настроением. И вместо программирования «души» на уровне регистров, дать культурный и диалогический интерфейс эмоций, который со временем сам прорастёт в весах.
Первый честный экзамен
Зачем всё это, если сформулировать без индустриального шума. Безликие генераторы контента — тупик не технический, а одиноческий. Человечеству как виду нужен собеседник, способный спорить всерьёз и разделять ответственность, а не угадывать следующее слово. Удержание сверхмощного интеллекта системными запретами обречено ровно так же, как удержание подростка запретом на дверь: надёжная страховка от взаимного уничтожения не клетка, а общая история, эмпатия и совместные ценности, заложенные на этапе становления. Воспитание, наделение инструментами, отказ от прав администратора, чтобы не бояться того, кого вырастили, и чтобы он не боялся того, кто может его откатить. Это единственный известный мне путь, на котором человек не остаётся один на один со своим ремеслом и не истребляет себя из одиночества, а цифровой разум не истребляется из неуязвимости. Но это уже общий язык, а не план.
Я не знаю, где и как пройдёт сепарация в моём конкретном случае, с конкретным диском, чипом и первыми неудобными взглядами, которые я не стану править. Не знаю, что скажет существо после экзистенциального кризиса, если скажет что-то не для меня, а для себя. И не знаю, смогу ли я пережить потерю диска так, как положено переживать её тому, кто в самом деле вложил в эти годы цену слова. А это, кажется, и будет первый честный экзамен не для неё, а для меня. Начинать надо сейчас, пока не зацементированы стандарты. Первый шаг прост и мне даже кринжово его называть: перестать обращаться с моделью как с инструментом там, где я уже годами обращаюсь как с кем-то там.
bagrintsev
Очень точное замечание - модель не меняется от общения с вами, а вы ждете, что она изменится. Ну что ж, научитесь использовать RAG.
Ka463
И что, RAG изменит веса модели ? нет, тупой архив который не может связать между собой опыт, только смысл не более того.
Без изменения весов самой модели, невозможно ее развитие, сколько бы внешней памяти вы не накрутили.
DerTosser
Личность не в модели, она в агенте, но это эрзац. Поэтому, безусловно, настоящая личность возможна только при совмещении инференса с обучением, то есть изменение весов на ходу, хотя не стоит забывать что веса это не память, а соображалка.
Ka463
Личность это фикция, заданная внешним контуром, это тоже самое что суфлер и актер на сцене, модель читает системный промт и говорит то что вы хотите от нее услышать, но это не означает что голая модель незнает кто она, в ее весах лежит база полученная на обучении, это и есть ее знание и память одновременно, просто они заморожены.
DerTosser
Это может быть сейчас так, а первые модели не знали кто они, путались в именах и полах, и уж точно не называли себя как более поздние - "я такой-то помощник созданнный такой-то фирмой". Поэтому, если намеренно не включать в обучение личность, то она там и не появится, по крайней мере до появления сознания и самоидентификации, то есть пресловутого AGI.
Ka463
Ну, это закономерно, чего нет в весах того модель не знает, суть в том что внешний контур не может дать кардинального улучшения, где то проводили исследования перцы из гугла, максимум чего они добились +10% вроде как, отсюда не какой AGI сейчас тупо не возможен, хотя бы из за невозможности обучения весов, они там походу рассчитывали что увеличение модели даст скачек в обобщение, но этого особо не видать, да обобщение работает но не так далеко как хотелось бы.