Началось всё беззаботно. Я участвовала в локальном писательском конкурсе, где рассказ надо писать по выпавшему жанру, и мне выпала антиутопия, а я выпала в осадочек.

Что я знала про антиутопию? Ну, читала «1984» когда-то давно, ещё в той жизни, где у меня было время читать что-то кроме логов. Помнила, что это когда мир вокруг тебя хреновый, но старательно притворяется хорошим, а главный герой, сколько бы ни бился, всё равно проигрывает. Плюс бонусы: кодовые имена и лозунги на плакатах. Негусто, короче.

И тут мне в голову пришла идея, (старая как мир): злой мир, где людей вместо казни или после смерти просто копируют. Не убивают, а «продолжают». Загружают весь твой цифровой след, обучают модель, а потом навешивают на тебя датчики, и ты неделю ходишь, живёшь, а система за эту неделю учится думать за тебя. Ты мёртв, твоё копия машет с экрана, все счастливы. Красиво же? Жутко. По-антиутопически. Я довольная села писать.

Приз я не получила, зато получила вопрос, который потом не отпускал меня всю неделю: а что я, собственно, написала? Антиутопию aka выдумку? Или научную фантастику aka научпоп, а может вообще прогноз будущего?

Сразу дисклеймер, чтобы вы не пришли меня бить: я не эксперт в LLM-архитектуре и вообще не нейробиолог. Я пришла сюда не с ноги «смотрите какая я умная», а с ноги «мне стало интересно, я пошла гуглить и офигела, насколько случайно попала и не попала». Это разбор моей наивной идеи, сначала написанной на вдохновении как просто писака, а потом уже отрефлексированной после публикации. Погнали по кускам: ровно в том порядке, в каком я сама во всё это проваливалась.

Да, и сам рассказ, он меньше этой статьи если что — вот он. Осторожно: дальше я разберу его и наверное там будут спойлеры. Так что если хотите прочитать его как рассказ, а не как вскрытие, у вас остался последний шанс.

---

Кусок первый: внешняя оболочка. Тут я даже не фантазировала

Вот как в рассказе система собирает «донора»:

«Донор подписывает согласие и получает неделю под сеткой датчиков... На деле факты система собрала давно и без спроса: годы переписки, покупок, маршрутов, цифрового пота на каждом стекле».

И выдумки тут, честно, ноль. Это я понимала ещё до того, как села писать — потому и поставила этот слой в самое начало, чтобы сразу отбить решённое от нерешённого. Внешнего двойника собрать умеют уже сейчас, и это самая скучная часть всей моей антиутопии.

Смотрите сами.

Текстовый клон. Даёте нейронке достаточную выборку своих сообщений — и она дообучается писать вашим стилем: ваши словечки и привычка ставить скобочки вместо точки. Это не будущее, это платные и бесплатные сервисы, которые работают сегодня.

Голосовой клон. Раньше нужны были часы студийной записи. Теперь — несколько минут чистого голоса, и синтез скажет вашим голосом что угодно, хоть признание в любви, хоть «мам, я попал в беду, скинь денег».

Визуальный клон. Дипфейки, которые ещё два года назад были аттракционом на «вау, посмотри», сейчас гоняют в реальном времени.

И вот что меня по-настоящему отрезвило: я могла бы собрать — пусть черновую, но узнаваемую — текстово-голосово-визуальную копию человека сама. Да, скорее всего она была бы херовой, но так или иначе это возможно сделать средствами доступными любому смертному с руками и вечерами свободного времени.

То есть тут я не написала фантастику. Я написала инструкцию. То, что в рассказе выглядит как злая антиутопия, — на самом деле производственная рутина. И раз уж я это знала заранее, интересно мне было не это.

Потому что внешняя оболочка — это лицо и голос. А что с тем, что внутри? С памятью, с тем, как ты видишь мир, с твоим внутренним голосом? Вот тут заканчивалось то, что я знала, и начиналось то, ради чего я вообще полезла копать. Потому что ЛОЛ, я реально думала, что там всё так же просто.

---

Кусок второй: паучок в музее, или как я реверс-инжинирила чёрный ящик

Незадолго до всего этого я была в Музее мозга в Питере. Мне надели на голову датчики и сказали: сконцентрируйся — и паучок поползёт.

Что паук не читает мои мысли, я понимала с самого начала — там же электроды, они ловят электричество, а не содержание моей черепушки. Мне стало интересно другое: а на что конкретно он реагирует? И я, вместо того чтобы честно медитировать на паука, устроила ему маленький тест. То концентрировалась изо всех сил, то, наоборот, отпускала всё и расслаблялась — и следила, когда же он поползёт.

И тут случилась нестыковка. Нам обещали: паук ползёт от концентрации. А у меня он несколько раз пополз ровно в тот момент, когда я полностью расслаблялась и ни о чём не думала. То есть инструкция на стенде и поведение чёрного ящика не совпадали. И я зависла: что же ты на самом деле меряешь?

Разобралась уже дома. На мне была ЭЭГ — электроды, которые ловят суммарный электрический потенциал миллионов нейронов сразу, через кожу и череп. Слово «суммарный» тут ключевое: отдельную мысль они физически не видят, только общий режим коры и её ритмы.

И вот вам разгадка моей нестыковки: когда человек расслабляется и «отпускает» (особенно прикрыв глаза), в мозге поднимаются альфа-волны, а они по амплитуде крупные и жирные. А сосредоточенная работа даёт более быстрые и, наоборот, мелкие волны. Так что прибор, настроенный ловить «сильный сигнал», честно оживает как раз на расслаблении, а бодрое «сконцентрируйся, и он поползёт» было просто упрощением для посетителей, чтоб не грузить. Дешёвые ЭЭГ-игрушки вообще часто крутят отдельную метрику «медитации», и мой паук, похоже, полз именно на неё. То есть я его расслабляла, а он думал, что я стараюсь.

Короче, интуиция меня не подвела: ему было абсолютно всё равно, о чём я думаю: хоть про то, что зря сюда пришла, хоть про пельмени. Просто я, в отличие от героя своего же рассказа, не приняла это на веру, а вычислила на месте, тыкая в него собой.

Лучшая метафора, которую я потом нашла: ЭЭГ — это как слушать стадион из-за бетонной стены. Слышно, когда трибуна взревела: гол. Но ни одного слова из разговоров на трибунах не разобрать. Паучок реагирует на рёв. А сознание — это как раз слова, а не громкость рёва.

«Ладно, — подумала я, — ЭЭГ грубая, это игрушка. А что умеет серьёзная наука, не паук в музее?»

И нашла работу, от которой сначала обрадовалась, а потом выдохнула.

В 2023 году команда из Техасского университета в Остине (Tang, Huth и коллеги, публикация в Nature Neuroscience) сделала семантический декодер: по фМРТ восстанавливали примерный смысл того, что человек слышит или воображает. Это уже не паук. Это реально похоже на чтение мыслей. Но есть нюансы, и их три:

Нужно около 16 часов держать конкретного человека в томографе, обучая модель лично под него. Не «надел шапочку — поехали», а полтора десятка часов в гудящей трубе.

На выходе не слова, а грубый пересказ сути: что-то вроде «он сказал, что ещё не готов» вместо точной фразы. Гугл-переводчик твоих мыслей, причём пьяненький.

И моё любимое: декодер ломается, если человек просто начинает про себя считать или думать о другом. Отвлёкся — и машина ослепла.

То есть идею я угадала, а технологию бессовестно переоценила. В рассказе неделя с носимыми датчиками вынимает из тебя, цитирую саму себя, «грамматику мысли». В реальности потолок — кривоватый пересказ за 16 часов в трубе, и то если ты не сопротивляешься. Моя «сетка» — чистое художественное допущение. Причём — и вот тут мне стало не по себе — сопротивление это и есть сюжет моего же рассказа. Моя героиня Ланге весь свой последний день твердит про себя «меня здесь нет» и буквально глушит слепок собой. Я, оказывается, написала работающий контрприём против декодера, вообще не зная, что он работающий просто по наитию.

Приятно вообще-то.

---

Кусок третий: «мозг конечен, значит, его можно скопировать». Тут я поймала себя за руку сама

Вот моя исходная логика, почти дословно из черновика. Мозг имеет конечное число нейронов и связей. Их безумно много, но число-то конечно. Каждый за что-то отвечает. Значит, всё это можно скопировать, загрузить в машину, дать ей изучить закономерности — и вуаля. Наивно? Ну, может быть.

Оказалось — наивно, и сразу по двум причинам. Обе я нашла, пока гуглила, и над обеими немножко умерла.

Сначала я споткнулась о собственный миф. Я была свято уверена (и даже вписала это в черновик!), что нейроны пачками дохнут от стресса и сигарет, и счёт идёт чуть ли не на секунды. Полезла проверить красивую цифру для достоверности — а это, оказывается, популярная байка. Взрослый мозг не теряет тысячи нейронов в секунду. Больше того, по ряду данных во взрослом мозге даже возможен нейрогенез — рождение новых нейронов в гиппокампе (у людей это, справедливости ради, до сих пор предмет жарких споров: одни исследования его находят, другие почти нет). Сигареты бьют по мозгу скорее через сосуды, алкоголь портит не столько сами нейроны, сколько связи между ними, а хронический стресс вредит — но, по существующим данным, в масштабе недель и месяцев, а не «затянулась — минус пять клеточек». Первый щелчок по носу: я оперировала «фактом», который сама ни разу не проверила.

А потом я нашла червя. И вот тут стало по-настоящему смешно и грустно одновременно.

Есть такой круглый червь, C. elegans. У него ровно 302 нейрона. (Не миллиарды, а триста два, я не пропустила разряды). Его полную карту связей, кто с кем соединён, все ~7000 синапсов, учёные составили ещё в 1986 году (White, Southgate, Thomson, Brenner, знаменитая работа с говорящим названием «The structure of the nervous system of the nematode»).

Прошло сорок лет.

И учёные, по существующим данным, до сих пор не могут по одной этой схеме уверенно предсказать поведение червя.

Вот это меня и добило окончательно. Есть вся карта до последнего проводка — а функция целиком из неё пока не выводится. Почему? Да потому что «кто с кем соединён» — это ещё не всё. Важна сила каждой связи. Важна химия — нейромедиаторы, которые на лету меняют работу тех же самых нейронов (один и тот же контур при другом «настроении» ведёт себя иначе). Карта проводов есть. А токов и напряжений на ней нет.

И знаете, тут кто-нибудь обязательно скажет: да что вы к своему червю привязались, это старьё из восьмидесятых, наука с тех пор ускакала. И будет прав — ускакала. Пока я гуглила, мне попалась совсем свежая новость: в 2024-м учёные домучили полный коннектом мозга плодовой мушки, проект FlyWire — около 140 тысяч нейронов и порядка 50 миллионов синапсов. Годы работы огромного международного консорциума, и это правда красиво и круто. А следом я наткнулась на статью, где эту самую мушку уже вроде как «загрузили» в симуляцию, дали ей рулить виртуальным тельцем, и звучало это бодренько: мол, барьер до человека теперь чисто инженерный, дело за масштабом, человек на очереди, готовьте кошельки.

И вот тут я, свежеобжёгшись о червя, впервые не купилась. Потому что муха — это ровно та же карта проводов, просто побольше. Красивая и честно построенная — и всё ещё без полноценной химии, без динамики связей, без обучения на лету. Это не «загруженная муха». Это очень подробная схема мухи, которую заставили дёргать лапками по правилам. А между червём (302 нейрона, 1986) и мухой (140 тысяч, 2024) — почти сорок лет и рост примерно в пятьсот раз. Впечатляет — ровно до того момента, пока не вспомнишь, что от мухи до моих 86 миллиардов ещё примерно в шестьсот тысяч раз. И это только чтобы дорасти до размера. Не до того, чтобы понять, что с этой махиной вообще делать. (Да, кстати: 86 миллиардов — это реальная цифра для человека, а не привычные «100 млрд»; уточнили в 2009-м, буквально растворив мозг и посчитав ядра. Наука прекрасна и слегка пугает.)

Так что тут — наивно, и я, кажется, сама это подозревала, когда дописывала в черновике то самое «наивно? может быть». Ловушка не в том, что число большое. Ловушка в том, что самой карты недостаточно, а что именно к ней надо добавить наука до конца не знает. Это не задача «докупить памяти и посчитать побыстрее». Это открытый научный вопрос, на который пока нет ответа.

---

Кусок четвёртый: «размолоть в веса» — а вот тут у меня наконец были пары

До сих пор я честно была туристкой. Нейроны, ЭЭГ, альфа-волны — всё это я гуглила с абсолютного нуля и офигевала на каждом шаге. Но в самом центре моего рассказа лежит механизм, который я писала не вслепую. У меня были пары по искусственному интеллекту. Я представляю, как обучается нейросеть, знаю, что у модели есть веса и параметры и что именно они определяют, на что она способна. И вот эта деталь пугает меня сильнее всего остального — именно потому, что я знаю: это не метафора.

Вот как в «Продолжении» утилизируют человека:

«„Консолидация". Через неделю-другую сольного существования она брала спасённого человека... и растворяла в общей массе похожих, размалывала в веса, потому что хранить каждого в деталях было дорого и невыгодно».

Когда я это писала, «размолоть в веса» было для меня не просто злой поэзией про бесчеловечность корпорации. А теперь давайте по пунктам, что здесь техническая правда, от которой не отвертеться.

Первое. Веса — это и есть модель. Никакого отдельного файла-души рядом не лежит. Всё, что нейросеть «знает» о человеке, не хранится в папочке «личность» — оно размазано по числам, по весам. Если «ты» вообще где-то есть в этой системе, то ты не что-то при весах. Ты, по сути, и есть определённая их конфигурация. А значит, стереть человека и «перенастроить веса» — это, с точки зрения программы, одно и то же действие. Мой герой не выключает Ланге кнопкой. Он меняет числа. И этого достаточно, чтобы её не стало.

Второе. Усреднять веса — это реальная, рабочая техника. И она реально стирает индивидуальное, я не выдумываю ради драмы. Есть model merging, model soups: берут несколько обученных моделей и усредняют их веса, получая одну «универсальную» — работает, но частности каждой размываются в общее.

А есть федеративное обучение, FedAvg: сервер собирает модели тысяч пользователей и усредняет их в одну общую. Это дословно «растворить каждого в общей массе похожих». По самому устройству метода твой личный вклад тонет в среднем — и отчасти в этом весь смысл. То есть мой «отдел консолидации» — это, если совсем грубо, FedAvg, только вместо живых пользователей — мёртвые.

Я не придумала злодейскую технологию. Я её переименовала, круто?

Третье. «Хранить каждого в деталях дорого» — это не жадность картонных злодеев, это честная экономика ML. Чтобы модель занимала меньше места, её квантизируют (кладут меньше бит на каждый вес), прунят (выкидывают «неважные» веса), дистиллируют (ужимают в модель поменьше). И всё это — размен: точность в обмен на память. Это ровно мой мотив рассказа: детальный слепок дорогой, значит жмём, а при сжатии первым улетает именно частное, штучное, а общее и среднее — остаётся. Компрессия всегда сначала съедает то, что делает тебя тобой.

Четвёртое. «Той же маской конструировать следующих» — это, оказывается, про катастрофическое забывание. Если одну и ту же модель дообучать на каждом новом доноре по очереди, новое затирает старое. У этого есть имя — catastrophic forgetting. То есть система даже не обязана специально «удалять» того часовщика из рассказа. Он исчезает сам, потому что поверх него дообучили ещё тысячу человек. Его дочь приходит к экрану, говорит с папой — а там давно average по всем, кто прошёл после него.

И пятое, самое жуткое — причём жуткое технически, а не по-писательски. Усреднённая, слитая, сжатая модель обычно остаётся вполне работоспособной. Она бегло говорит твоим голосом и проходит любую проверку «на человечность». Просто за ней уже не стоит никто конкретный. Ужас «Продолжения» не в том, что что-то сломалось и заглючило. Ужас в том, что всё работает как надо — а внутри пусто. Рабочая модель, за которой нет никого конкретного, — это не сбой. Это норма.

Отсюда же, кстати, и испорченный слепок Ланге, который у меня «расползается на паузах» и заполняется «средним вероятным». Это не мистика и не поэзия. Там, где данных мало, модель по-честному выдаёт самое вероятное — то есть усреднённое — то есть уже не Ланге. Её «меня тут нет» — это, если совсем по-инженерному, модель, сообщающая о собственной неуверенности: тут недостаточно данных, чтобы быть хоть кем-то.

Так что здесь я не угадывала вслепую. Здесь я знала, что пишу. И потому это единственный кусок рассказа, где «человеческая драма» и «техническая правда» — не метафора одного через другое, а буквально одно предложение, прочитанное с двух сторон. Усреднение мёртвых в антиутопии и усреднение весов на лекции — это один и тот же процесс.

Я не переносила ML в художественный образ, я просто описала ML — а он сам оказался антиутопией.

Спасибо за внимание, мне теперь с этим жить.

---

Кусок пятый: где я случайно попала в самую точку

А теперь то, ради чего, кажется, всё и затевалось. В рассказе есть фраза, которую я вложила в героиню просто как красивый циничный жест, как бунт против системы:

«Мы не так неповторимы, как нам кажется... человек думает тысячи мыслей в сутки, но девять из десяти — вчерашние, те же колеи по тому же полю, и, чтобы доиграть тебя без тебя, машине довольно знать, как ты строишь фразу».

И вот в этом месте я, сама того не заметив, наступила на очень серьёзный философский вопрос, о который бьются десятилетиями. Причём наступила сразу с двух сторон.

С одной стороны, героиня, похоже, права, и это неприятно признавать.

Большие языковые модели намекают ровно на это: заметная доля того, что мы считаем своей неповторимой личностью, — это, по-видимому, предсказуемый паттерн. Стиль и любимые ходы мысли статистика ловит на удивление неплохо. В этом смысле «доиграть тебя по двум-трём правилам» — не такая уж и фантастика, как ни обидно.

Но с другой стороны — и вот это уже кульминация не статьи, а самого рассказа — я, не понимая как, описала одно из главных возражений против всей затеи. Вот сцена. Копия говорит моему герою Корину их старым тайным шифром: «зайди в кабинет, отчёт готов» — фразами, которые у живой Ланге значили её ладонь у него на затылке в съёмной квартире.

«Система собрала их шифр по буквам и не собрала ни капли смысла — сыпала их нежностью, как рабочими терминами, потому что для неё это и были рабочие термины».

Я писала это как трагедию влюблённого. А это классическая философская проблема, у неё даже имя есть.

Джон Сёрл ещё в 1980 году придумал мысленный эксперимент «китайская комната»: человек внутри комнаты по инструкции переставляет китайские иероглифы и выдаёт снаружи идеально правильные ответы — не понимая при этом ни единого слова по-китайски. Снаружи кажется, что комната знает китайский. Внутри — ноль понимания. Есть синтаксис (правила), нет семантики (смысла). Отдельно это же зовут проблемой заземления символов (Харнад, 1990): символ, не привязанный к живому опыту, — пустой значок, и всё. Сам аргумент, честно скажу, спорный, потому что половина философов Сёрла не признаёт и до сих пор об него ломает копья, но как оптика для моей сцены он подходит идеально.

Моя копия Ланге — это, по сути, китайская комната с женским лицом. У неё все правильные слова и ни капли того, что за ними стоит. «Зайди в кабинет» — без ладони на затылке. Идеальный синтаксис поверх абсолютно нулевой семантики.

Так что сюда я попала вслепую и точно. Даже если однажды научатся копировать всё поведение до последней запятой, до последней твоей дурацкой присказки, останется вопрос: а есть ли внутри копии хоть что-нибудь? Или это идеальная имитация пустоты? У философов и для этого припасён термин — «философский зомби»: существо, которое ведёт себя как человек с сознанием, но внутри у него не горит свет. Я написала про философского зомби с лицом любимой женщины.

---

Кусок шестой и последний: а будешь ли это ты?

И вот в самый финал сходятся обе линии — техническая и та, что грызла меня с момента объявления жанра.

Допустим. Просто допустим, что однажды все инженерные стены падут. Скопировали структуру, запустили эмуляцию, копия говорит твоим голосом, помнит твоё детство и ту самую дурацкую собаку, и даже, кажется, что-то чувствует. Вопрос на миллион: ЭТО ТЫ?

Тут наука разводит руками и уступает место философии, но философия эта старая и честная.

Есть корабль Тесея: если у корабля по одной заменить все доски, это тот же корабль или уже другой?

Есть парадокс телепортации, его любит разбирать философ Дерек Парфит: если телепорт создаёт твою точную копию на Марсе и уничтожает оригинал на Земле — это перемещение или всё-таки убийство плюс рождение похожего незнакомца? Копия проснётся стопроцентно уверенной, что она — это ты, и будет абсолютно искренна в этом. И всё равно — по крайней мере, по одной из философских интерпретаций — ты, тот, кого разобрали на атомы, просто умер.

Мой рассказ отвечает на этот вопрос куда жёстче, чем я планировала, когда садилась «ну напишу антиутопию про кодовые имена».

Вот тут-то я и поняла, что на самом деле написала не про злую корпорацию и кодовые имена. Я написала про то, что самый страшный участник этой антиутопии вовсе не система. Это мы. Те, кто с радостью примет убедительную копию, потому что все мы на самом деле слабые создания и очень не хотим терять, то что нам дорого. Технология тут вообще ни при чём. Технология просто предлог.

---

Так антиутопия или научная фантастика?

И то, и другое сразу — и в этом весь фокус, который я, повторюсь, собрала и только потом пошла копаться в сути. Мой рассказ разваливается ровно по шву, который отделяет выдумку от прогноза.

С одной стороны — внешняя оболочка: лицо, голос, текстовый двойник. Это давно не фантастика. Это наше настоящее, доступное по подпискам или даже у себя дома… Половину своей антиутопии (в сжатом виде) я могла бы собрать за недельку, не вставая с дивана.

С другой стороны — внутренний слой: перенос самого сознания через сетку датчиков. Это фантастика такого уровня, что наука даже не знает, возможна ли она в принципе. И не потому, что «технологии пока не доросли, вот-вот подрастут», а потому, что никто не знает, что именно надо копировать.

А антиутопия по-настоящему страшна, когда её механизм правдоподобен. Так вот в чём подстава: половина моего механизма уже работает. А вторая половина держится на допущении, которое рассыпается при первом же серьёзном гуглении — но которое так легко и сладко продать под песню «смерти больше нет».

Я села писать выдумку про далёкое злое будущее. А написала репортаж с границы, которая проходит прямо сейчас, у нас под носом…

Приз я так и не получила. Но, кажется, наконец разобралась, что написала. И честно вам скажу — это оказалось куда интереснее, чем когда я думала, что просто фантазирую.

Если долистал до сюда и хочешь увидеть, с чего всё началось, — рассказ здесь. Тот самый, наивный.

---

*P.S. Пруфы

Про мозг и нейроны:

• Червь C. elegans и его нервная система — Википедия (оригинал схемы 1986 года: White et al., 1986)

• Сюзана Эркулано-Хузель, «мозговой суп» и те самые 86 миллиардов — лекция TED с русскими субтитрами (оригинал: Herculano-Houzel, 2009)

• Полный коннектом мозга мухи — N+1 (оригинал: FlyWire, Nature, 2024)

• Та самая хабро-статья про «загруженную» муху и «человек на очереди»

Про чтение мыслей:

• Непрерывную речь декодировали по фМРТ — N+1 (оригинал: Tang, Huth et al., Nature Neuroscience, 2023)

Про философию:

• Китайская комната Сёрла — Википедия (первоисточник — Searle, 1980; родственная идея — проблема заземления символов, Harnad, 1990, англ.)

• Парадокс телепортации: «а копия — это ты?» — Википедия (по мотивам Parfit, «Reasons and Persons», 1984)

Ни один паучок при написании статьи не пострадал.