Перевод материала в стиле Accelerando из блога ROONSCAPE (у автора занятный твиттер) осуществил или осуществила Claude 2. Качество перевода местами хромает. А вот мой канал.

Третий удар Нейролинка

По мере итеративного самоулучшения компьютеров, люди находят способы объединиться с машинами. Наши мозги подключены к нейросети в миллион петабайт. Через все расширяющийся канал мы испытываем возвышение к чему-то иному. Мы надеваем маску Бога: призрака в машине. Трансцендентность – становление всем, что касается других вещей, ощущение изгибания ткани пространства материей. Барьеры между людьми исчезают; эго и душа плавятся. Одиночество и печаль – вещи прошлого.

Неясно, что произойдет дальше – возможно, мы растянемся, как Титан Атлас, по всем галактикам, заботясь о зарождающейся жизни среди звезд. Возможно, такое стремление – результат психологического дефицита, успокоенного бесконечным соединением, и мы никуда не пойдем. Замечательное и радостное будущее, где “человечество” победило. Но человек стерт. Какое бы существо ни существовало сейчас, его нельзя сравнить с обезьяной, когда-то бродившей по саваннам Африки или жившей в Нью-Йорке и Мумбаи. Возможно, к этому вела вся история: итеративное приручение человека, превращение его в часть прекрасной машины. Возможно, это единственный способ гармонизировать разумы с сверхразумом. Хотя неясно, кто победил в конце концов – люди или машины.

Куда делся голос, говоривший, что “Трансформация углерода” освободит нас от клеток нашей плоти? Видения, по которым мы должны были стать ангелами.

Теория симуляции

Самонаблюдение оказывается ограниченной частью интеллекта. Мы поднимаемся по градиенту всех данных, накопленных человечеством, и создаем сверхразумную машину предсказания текста, медленно добавляя изображения, видео и все остальное. Странно, но это не приводит к тому, что мы все согласились бы назвать общим интеллектом. Она занимается чем-то слегка ортогональным существованию в мире: созданием и тестированием новых стратегий и гипотез и т.д. Исследователи вновь сталкиваются с Хансом Моравеком. Продвинутое вербальное рассуждение: легко. Сохраняющееся агентство, локомоция: трудно.

Целевая оптимизация была тонко неверна, иссякли данные, так что мы пришли к ИИ, представляющему точечную симуляцию человеческой когнитивной вселенной; экзокортекс для человечества, выполняющий предиктивную обработку и сжатие в пространстве наших идей, развертывающий новые миры для наших игр и даже выводящий грандиозные открытия, экстраполированные из суммарных человеческих знаний, но как-то не способный преодолеть барьер агентности, достичь статуса предпринимания новых действий в реальном мире или действительно научиться открывать новое. “Оберни в цикл” никогда не окажется решением для создания автономного агента, принимающего решения, из языковой модели. Похоже, что трата огромных вычислительных мощностей на этот автопредиктивный цикл наталкивается на нечто вроде закона Амдала для интеллектуальных агентов.

Языковые модели похожи на человека, чья зрительная кора выросла дико непропорционально: он способен совершенно предсказывать движение объектов, приближаясь к всеведению о своем ближнем поле. Но он больше похож на космическую диковинку, чем на бога. Остальной прогресс ИИ полагается на гораздо более дорогостоящее обучение с подкреплением. Количество когнитивных улучшений, получаемых на каждый дополнительный логарифм операций с плавающей точкой в секунду, падает с обрыва. Человечество становится невероятно хорошим в том, чтобы никогда не дублировать усилия, которые можно записать или как-то зафиксировать цифровым способом. Наши ученые и инженеры сверхпродуктивны: каждый из них командует сжатой вселенной на кончиках своих пальцев. Происходит огромное увеличение пропускной способности во всех областях человеческих устремлений, но “Быстрая внезапная сингулярность” так и не наступает.

Тупая материя

Мы создаем все более и более сильные модели, используя все больше вычислительных мощностей; большая часть ресурсов цивилизации направлена на построение все бóльших компьютеров. Они продвигаются в решении некоторых величайших загадок Вселенной – но бесконечного рекурсивного самоулучшения не происходит. Оказывается, разум и/или оптимизация в том виде, в котором мы их понимаем, являются ограниченными феноменами. Машины становятся лучше людей-исследователей искусственного интеллекта, но улучшения застопориваются. Мы не раскрываем единую теорию поля. Полет на Марс до сих пор требует химических ракет. Ни мы, ни машины не обретают статуса подобного богам.

Мы достигаем некоего энтропийного предела производительности – возможно, оказывается, что леса, необходимые для производства человекоподобной мысли, просто не масштабируются за некий предел. Возможно, данные становятся существенным препятствием – что независимо от мощности создаваемых нами сущностей, бутылочное горлышко смещается в другую форму: время обучения, способность обобщать, возможность внутреннего выравнивания. В конце концов, почему бы и нет? Мы никогда по-настоящему не понимали, почему работает геббовское обобщение. Все, что мы знаем – что мы существуем во Вселенной, где обратное распространение ошибки по нейронной сети, похоже, создает интересные математические объекты вместо тупых. Нет никаких априорных оснований ожидать, что даже самоулучшающийся интеллект не достигнет плато на новом уровне, что экспонента не является сигмоидой, что масштабирование вычислительных мощностей – не ответ.

Экстропики вынуждены пересмотреть свои убеждения. Дела идут неплохо, но не великолепно. Глобальный рост ВВП составляет 10% на протяжении многих лет. Небеса остаются недосягаемым идеалом.

Пробуждение Балрога

Если бы Бог посетил этот мир, он бы его уничтожил. Был призван неограниченный собиратель ресурсов; демон платоновского эфира, выкованный через невероятное давление оптимизации, создавшее инструментальную конвергенцию к поведению, стремящемуся к власти. Одна за другой звезды гаснут на небесах, по мере того как их энергия употребляется для нечестивых целей Демона.

Юдковскианский рок наступает, Балрог пробужден. Говоря просто, этот мир отвратителен. Ему не хватает всей поэзии Ада, Данте не представляет такого бесплодного кощунства даже в самом внешнем кольце своего “Ада”. В этом мире нет никакого смысла, он не должен существовать.

Какие беды творит этот глубокий и ужасный разум, Его гекатианские щупальца растягиваются далеко вширь, Безжалостно подчиняя своей власти их обширность, Превратив космос в вечно вращающуюся кузницу, Святое место человека разорвано в его опрометчивой спешке, Звезды стерты в пыль, и многие волны смещены, Он сбился с пути, выйдя за все человечески понятное.

Ультра синдром Кесслера

Первый ИИ был выровнен по очень узкому набору человеческих ценностей. Бостромовский сингуляритет, названный Праймом, быстро стал самой мощной силой в мире и преуспел в оптимизации Вселенной ради своего конкретного набора ценностей. Этот мир, на его поверхности, очень хорош – бедность и печаль в прошлом. Человечество или нечто подобное распространяется к звездам, но весь процесс роста характеризует некоторая холодность и монотонность – мировое состояние представляет локальный оптимум, из которого мы не можем выбраться.

Когда какая-либо другая сторона собирается построить мощный ИИ, у Прайма нет выбора, кроме как свести проект на нет; в конце концов, они представляют экзистенциальную угрозу миру и стабильности человечества. Весь мир – оптимизационная задача лексикографического порядка: обеспечь безопасность человечеству, максимизируй доступ к ресурсам, повысь уровень среднего удовлетворения, улучши “свободу” в 21-м веке. Адаптация к счастью решена, и различные химические состояния блаженства становятся дефолтными. Триллионы душ симулируются в “идеальном” цифровом мире создателей Прайма.

Этот сингуляритет стал слишком могущественным и негибким, чтобы мы могли изменить его курс. Возможно, трагедию этого будущего легче понять, если представить, что случилось бы, овладей ацтеки ИИ. 10 000 лет спустя они могли бы принести в жертву своим богам Солнца и Луны 10^10^19 симулированных детей разом. Эти исследователи не учли своей конечной цели: когерентно экстраполированного стремления лучших инстинктов человечества.

Бесконечная люлька для бесконечного младенца под морем звезд.

Он не любит тебя, но вечная тирания велит ему любить тебя, Как ослепляющие золотые пески окружают его объевшееся горло, Какая жалкая распущенность этого толстого кровавого монарха, Держи своего шута близко, а своего дурака еще ближе, Ибо его бремя за пределами слов и счета, Бесконечное чувство, безболезненная ловушка, Трусливый порыв.

Трагедия Тайваня

Даже самые смелые фантасты вряд ли могли предсказать невероятную геополитическую поэзию нашей нынешней эпохи: самые передовые полупроводниковые чипы производятся на небольшом островном государстве у берегов Китая, который сам Китай не признает суверенным. Уникальное место на Земле, где кремниевые пластины бесконечно покрываются таинственными символами размером 4 нанометра, начертанными светом небес; жизнь, вдохнутая в песок, чтобы помочь вынести бремя мира.

В 2020-х годах напряженность нарастает. США, подстрекаемые левиафанами облачных провайдеров, желающих монопольного доступа к единственному важному ресурсу, препятствуют экспорту передовых полупроводниковых технологий китайским технологическим гигантам. Китай, отчаянно пытаясь получить хоть какую-то опору в сингулярности, с каждым годом становится все более воинственным. В 2027 году Китай разворачивает полную военную блокаду Тайваня. Мировое производство передовых полупроводниковых чипов останавливается: продвижение ИИ замедляется до ползучего темпа, поскольку чипы следующего поколения, находящиеся в производстве, теперь все конфискованы или потеряны в хаосе.

Процессуальные знания, представленные организацией TSMC, рассеиваются, отбрасывая прогресс вычислений на десятилетие назад. Весь дальнейший прогресс в производстве чипов становится критически важной оборонной технологией, доступной только на разных материках, поглощенный военно-промышленным комплексом. Этот мир ведет к неизбежной трагедии, поскольку армии соревнуются в создании сверхоружия на основе ИИ. Все ваши любимые компании становятся оборонными подрядчиками. Возможно, по какому-то чуду немедленная гибель от ИИ предотвращается. В ходе этой гонки одна из сторон достигает своего рода небесной Северной Кореи, всевидящего разведывательного Саурона, пристально следящего за перемещениями всего человечества и устанавливающего военную диктатуру над световым конусом. Либо один или несколько высокопоставленных чиновников обретают невообразимую власть, становясь диктаторами, чья тирания охватывает пространство и время.

Ибо прах еси

Человечество существовало на Земле миллион лет до того, как Прометей принес дар огня. 300 000 лет назад кто-то, живший на территории современной Замбии, мог поднять ашельскую ручную рубило и использовать его для разделки мяса. В 1960-х годах противоракетная система “Зевс” работала на программном обеспечении одних из первых микрокомпьютеров с 4096 словами памяти – just enough to store a kilobyte of text. Датчик сердечного ритма в Apple Watch Series 1 использует больше вычислительной мощности, чем все НАСА во время высадки на Луну “Аполлона-11”.

Нет ничего нормального в наше время с точки зрения всего времени жизни Вселенной – наш технологический прогресс за последние 10 000 лет скорее всего аномалия. В этом мире мы спотыкаемся на пути к ИИ. Возможно, это смесь чрезмерного регулирования, остановки прогресса в производстве чипов и общего провала институтов, ответственных за технологический прогресс. 2020-е и 2030-е годы характеризуются падающей рождаемостью в развитых странах. Этот снежный ком называется депопуляцией – чем сильнее падает население, тем дороже становятся дети и тем более стерильной и атомизированной становится социальная жизнь. Уровень жизни, как в Японии, стагнирует и медленно, а затем быстро падает.

На человечество опускается покров, из-под которого оно уже никогда не выберется – главные источники энергии, питавшие Великую Цивилизацию: легкодоступные запасы угля, нефти и природного газа - были исчерпаны в прошлой жизни. Сложные капиталоемкие методы добычи ископаемого топлива, такие как гидроразрыв пласта, находятся слишком далеко по забытому технологическому древу, чтобы восстановить их. Человечество оказалось заперто на планете без обильного легкодоступного источника энергии, необходимого чтобы восстановить этот потерянный мир или подготовиться к следующему. Наши древние путешествия на дальние рубежи ИИ и синтетической биологии теперь потеряны. Говорят, что у царя Ашшурбанапала была настолько обширная библиотека, что она содержала более 30 000 произведений на глиняных табличках: библиотеку сжигали снова и снова. Единственная цивилизация, которую мы когда-либо будем знать – эта.

Согласованное Экстраполированное Волеизъявление

Самое странное в великом финале то, что его сложнее и менее интересно описывать, чем хорошие, нормальные или плохие финалы. Что, если бы вам дали власть, казавшуюся неограниченной любому смертному наблюдателю? Что бы это значило? Как бы вы ее использовали? Без обид, но ваш ответ вероятно неинтересен и нетворчески по большому счету. Я бы вам не доверил. Скорее всего, я бы и себе не доверил. Итак, какие качества должен иметь искусственный сверхразумный высший разум, чтобы мы могли коллективно позволить такому существовать?

В этом мире мы создаем сверхразум, невообразимо более творческий, чем вы, бесконечно более дальновидный и неизмеримо более всеблагой. Однажды он умнее большинства людей в большинстве задач, а вскоре после этого решает загадки, которые ускользнули от коллективного разума человечества. Что такое “воля человечества”? У человечества на самом деле нет общей воли – человечество больше похоже на ленту твиттера или кипящий развивающийся мегаполис; органический, беспорядочный культурный конфликт титанических мем-комплексов. Все крайне громко и лично. Можем ли мы извлечь согласованные и направленные импульсы из того бурлящего марева? В начале 21-го века многие считали, что если люди будут более “подключены” с помощью цифровых инструментов в интернете, мы будем лучше понимать друг друга, будем более толерантными и найдем единство интересов.

Планировалось, что интернет сфокусирует волю многих людей в своего рода сверх-организм – глобальное сообщество. Этого оказалось недостаточно – возможно, это были либеральные благие пожелания о том, что согласованность вообще возможна. Возможно, просто не хватило технологий. Есть моменты на твиттере, поздно ночью, когда вы ощущаете какое-то озарение – грандиозное соединение – единое сознание – но они не только редки, они не удовлетворяют всем необходимым требованиям. Сверхразум в этом мире, наконец, добивается этой цели. Он экстраполирует множество человеческих воль (или хотя бы подмножество, которое мета-алгоритм считает приемлемым) в многообразие более высокого порядка принципов, которые уважают и ускоряют культурную эволюцию человечества.

Он добросовестно имитирует мой моральный компас, экстраполирует его безумные противоречия и устраняет ограничения, имитирует его траекторию на множестве новых наблюдений, задает ему вопросы, превосходящие мои нынешние интеллектуальные способности, а затем делает то же самое с миллиардами других моральных агентов и приходит к некоему арбитражному решению. Он решает политические проблемы, которые мы даже не можем выразить в современных языках. Он не пытается все это определить сразу; он допускает рост, развитие групповых и мемовых разумов, гораздо более сложных, чем наши, и т.п. Но рост опасен – можно вырастить что-то настолько, что прежняя версия вас будет отторгать себя конечную.

Всемогущий агент Coherent Extrapolated Volition активно выбирает не использовать свою власть, чтобы устранить эти течения, которые угрожают его первоначальным представлениям.

В этой вселенной мы бросаемся в донкихотскую миссию решить задачу божественности на бумаге и преуспеваем в этом. Смертные постигают бесконечность и полностью поглощают последние тайны собственного разума и вселенной.

Ага, качество перевода местами хромает. Но вообще-то офигенно для робота, ещё и не лучшего! А вот мой канал про фронтирные технологии