Часто ли вы думаете о Древнем Риме технологической сингулярности? С последним рывком в развитии ИИ и растущем присутствии роботов в окружающей реальности и новостной повестке, самое время вспомнить о том, что это такое.
Технологическая сингулярность — это гипотетический момент будущего времени, в котором технологический рост станет неконтролируемым и необратимым, что приведет к непредвиденным последствиям для человеческой цивилизации. Согласно самой популярной версии, модели взрыва интеллекта Ай. Дж. Гуда, обновляемый интеллектуальный агент в конечном итоге вступит в «безудержную реакцию» циклов самосовершенствования, при этом каждое новое, более разумное поколение будет появляться все быстрее и быстрее, вызывая «взрыв» интеллекта, что привело к появлению мощного сверхразума, который качественно намного превосходит весь человеческий интеллект.
Четыре года назад я разбирал эту гипотезу как пример современного мифа: Технологическая сингулярность: современный миф о конце света под видом гипотезы о прогрессе. Особенность мифов в том, что люди воспринимают их как сказки только задним числом. В момент же, когда миф был живым — это была просто часть картины мира современной для них культуры. Уже задним числом, когда миф терял силу веры, люди понимали: «а, это сказка!» Если бы в момент рождения мифа люди бы в него не поверили, он бы просто не обрёл этот мифический статус, который рождается из веры, ставшей прошлым.
Из этого следует, что мифы не являются уделом прошлого. Завтрашний миф — это сегодняшний мейнстрим. И это ставит интересный вопрос: а что является современными мифами — то есть чем-то, что сегодня воспринимается как часть картины мира, но завтра люди будут смотреть на это с недоумением «и как наши предки в это могли поверить?»
Технологическая сингулярность — это один из таких мифов. Его основное допущение — что в какой-то момент человечество утратит контроль над окружающим миром (миром технологий) и ходом истории строится на фундаментальном заблуждении, что человечество когда-то контролировало окружающий мир и ход истории. Особенно остро это должно ощущаться в 2023.
Каждый раз, когда период спокойной предсказуемости в истории сменялся периодом непредсказуемой турбулентности, начинали расти апокалиптические ожидания — и рождался образ конца света, соответствующий тому, какая сила пугала людей больше всего на разных уровнях технического прогресса: магический для языческих обществ (например, Рагнарёк), божественный для религиозных (Апокалипсис), технологический — для индустриальной эры (ядерная война) и, наконец, цифровой для информационной эры: технологическая сингулярность.
Повторно рассказывать, почему именно в технологической сингулярности я узнал современную версию мифа о конце света, я не буду — про это прошлая статья.
Сегодня я хочу взглянуть на это с другой стороны: причина, по которой технологическая сингулярность никогда не наступит — в том, что реальность, соответствующая её определению — это наша сегодняшняя реальность и есть.
Что пугает людей в перспективе технологической сингулярности на самом деле? Дело не в неконтролируемости и необратимости: поступь прогресса неконтролируема и необратима как минимум с начала Промышленной революции: сначала люди пытались остановить паровозы, потом, едва человечество поверило в силу пара — его сменил двигатель внутреннего сгорания, а потом произошла компьютерная и интернет-революция. Ни на одном из этих этапов люди не могли предсказать, что придёт им на смену, а никакое сопротивление и издержки перемен не могли их остановить.
Действительно пугающая часть технологической сингулярности не входит в определение «технологический рост станет неконтролируемым и необратимым, что приведет к непредвиденным последствиям для человеческой цивилизации», но подразумевается по умолчанию: это угроза вреда от этих перемен.
Чтобы разобрать этот страх, надо разобрать две вещи:
что самое страшное может создать человечество;
что самое худшее грозит человечеству.
Ответ на оба этих вопроса окажется не только возможен, но и совершенно не нов.
Сотворение Творца
Описание технологической сингулярности начинается с того, что в какой-то момент сотворённый человеком искусственный разум обретёт свою волю, а его функционирование станет для людей совершенно непостижимым. Однако она всё равно будет ограничена рамками физической реальности, поэтому вполне возможно произвести мысленный эксперимент, «выкрутив» её потенциальные настройки на максимум — до границ этой самой реальности.
Итак, потенциально эта сущность сможет поставить каждого человека под тотальное наблюдение. У неё будет не только доступ к любой записанной, устной или невербальной информации, но и сами люди для такой сущности будут абсолютно прозрачны — что они чувствуют, образы и даже слова в их голове — то есть, доступ к мыслям, а, значит, эта сущность будет знать их бессознательные решения до того, как их осознает сам человек, и прогнозировать сознательные решения до того, как человек сам их сделает. На пределе возможностей, каждый человек на свете будет для Сущности прозрачен и предсказуем, как NPC для разработчика игры.
Знание — сила, потенциально, такая сущность может вмешаться в жизнедеятельность человека и изменить его любым образом на уровне генов, нейронов, клеток, атомов, вмешиваясь и управляя всеми физиологическими и психическими процессами.
На концептуальном уровне, эта сущность, обладающая своей волей, вездесущая, всеведущая, всемогущая и непостижимая, знакома человеку очень давно — это Бог. Итак, самое страшное, что может создать человечество — это сотворить Бога в точности по библейским спецификациям.
Кстати, есть популярная идея, что человечество — это просто инструмент Вселенной для создания ИИ. Но если ИИ «на максималках» — это, по сути, Бог, то её можно переформулировать так: человечество — это инструмент Вселенной для создания Бога. И страх перед технологической сингулярностью — это, по сути, страх Божий, перед неограниченной и непостижимой силой.
Следующий шаг — разобрать, что же такого страшного эта сущность, ИИ/Бог, может всё-таки сделать. Опять же, человечество давно концептуализировало свои самые страшные страхи в культуре во всех формах: от мифов и религии до литературы и кино. Два самых страшных сценария, встречающиеся от Библии до фантастических фильмов:
угроза уничтожения;
угроза порабощения.
Это самое страшное, что с человечеством может случиться в реальном мире — а, значит, самое страшное, чем человечеству может грозить сингулярность, даже если она примет форму техно-Бога. Разберём оба эти сценария.
Уничтожение технологиями
Если критерием технологической сингулярности является вероятность уничтожения человечества, то она уже наступила: моментом сингулярности является изобретение атомной бомбы — впервые у человечества появился инструмент, несущий угрозу полного уничтожения.
Вышедший в этом году фильм «Оппенгеймер» об этом очень кстати напоминает. При этом атомная эра соответствует всем критериям технологической сингулярности: непостижимость — мы не знаем, что повышает, а что понижает риски атомной войны. Определение точного механизма ядерной эскалации - предмет теоретических споров, но понимания модели эскалации нет ни у кого. Риск ниже, если только некоторые страны имеют ядерное оружие? Возможно, риск ниже, если каждая страна имеет ядерное оружие?
Ответов на эти вопросы нет, и человечество в новой ядерной реальности движется вслепую. При этом мы даже не можем адекватно оценивать риски, потому что не знаем, где на самом деле пролегает грань.
С момента появления атомной бомбы, история идёт по пути постоянной борьбы человечества с самим собой в смертельном страхе, что мы не справимся и запустим цепную реакцию, которая закончится концом света. И ИИ даже уровня «Бог» здесь ничего не изменит — худший из худших возможных сценариев останется тем же, что был и во времена Карибского кризиса, когда даже компьютеров ещё не было: уничтожение человечества в огне и смоге ядерной войны.
Порабощение технологиями
Выше уничтожения человечества ставки поднимать некуда, отсюда можно идти только по нисходящей: следующий (то есть, менее худший) из возможных сценариев конца света — порабощение человечества машинами. Мол, наступит момент, когда машины станут такими умными, что превратят нас то ли в рабов на урановых рудниках, то ли батарейки для их пропитания — в общем, будут использовать нас беспардонно для своего выживания и размножения — то есть, также, как любая другая форма жизни использует ресурсы, только новой формой жизни будут машины, а ресурсом — люди.
Здесь у меня тоже есть хорошая новость: это будущее уже давно наступило. И, судя по тому, что для большинства читающих эти строки это станет новостью — оно не такое уж страшное. Люди боялись попасть в рабство к машинам с самого момента появления идеи об умной машине, робота, но на самом деле многие отношения человека с миром техники, если их описать беспристрастно, подходят под функцию добровольного рабства.
Возьмём ещё один фильм этого года: «Дилемма технологий» Яндекса 360. Он начинается с мысли, которая приходила в голову каждому или почти каждому: что люди стали рабами своих же изобретений, а заканчивается тем, что отказ от технологий ощущается как настоящая неволя — словно добровольное ограничение своих возможностей, которые возвращаются в жизнь вместе с ними.
По сценарию, режиссёр фильма пытался отказаться от технологий на время съёмки, но вместо освобождения в этом нашёл только закрепощение: работу-то никто не отменял, просто вместо видеосозвонов, скриншаринга, облачных файлов её нужно выполнять с кучей распечаток и проговариванием вслух по кнопочному телефону. В конечном итоге, автор радостно бросился в технологическое рабство: сброс цифровых цепей оказалось лишь заменой их на более тяжёлые аналоговые — и пришёл к выводу, что проблема на самом деле не в технологиях, а в людях. Это так и есть: корень отношения человека с технологиями, его зависимости от них и фрустрации ими — в устройстве самого человека. Самое большее, что делают технологии — это обостряют всегда существовавшие внутри человека противоречия.
Самый просто пример того, как машины поработили человека — это… машины. В смысле, автомобили. Что такое жизнь автолюбителя? Сперва он работает на покупку машины, то есть, тратит бесчисленные часы своей жизни в обмен на деньги, которых хватит на покупку автомобиля. Всё для того, чтобы тратить ещё больше часов на пребывание внутри машины. И ещё больше часов в обмен на деньги, которые потратятся на топливо, техобслуживание, мойку, тюнинг — и так далее.
Допущение, что это мы эксплуатируем автомобили, а не автомобили эксплуатируют нас, строится только на том, что это у людей есть желания куда-то перемещаться, а у машин никаких своих желаний нет. Но что, если бы у них такое желание было?
Взгляните на это с точки зрения машины. В технике, как и в биологии, устройство определяет назначение. Устройство машины — чтобы перемещаться в пространстве, в этом, можно сказать, её смысл. Конечно, пока машина неживая, для неё понятие смысла неактуально. Но вот появился сильный искусственный интеллект (artificial general intelligence — AGI), с появлением которого и связывают наступление технологической сингулярности, и машина ожила. Что, если бы машины сами хотели ездить — но не могли?
И тогда ожившие автомобили понимают, что для их целей им нужны рабы-человеки: чтобы их кормить (топливом), чтобы за ними ухаживать (следить за состоянием корпуса, деталей, чинить поломки, делать апгрейд), работать водителями, а главное — работать на заводах, которые строят новые живые автомобили, ведь если машина теперь — форма жизни, то для неё актуально главное правило жизни: самовоспроизведение и распространение. И, разумеется, раз теперь машины — хозяева жизни, то они начнут менять среду под себя, заставляя людей ютиться в условиях, которые предназначены для автомобилей, а не людей.
И вот с появлением AGI планета людей стремительно и неуклонно превращается в планету машин, где всё создано под машины — а люди просто рабочая сила, обслуга, ценность которых измеряется в способности вложить как можно больше своего времени и сил в размножение и содержание автопарка, а их место теперь — на обочинах трасс, по которым носятся новые хозяева планеты.
Ужасное было бы будущее — если бы только это не было давно наше настоящее. Люди:
добровольно тратят годы жизни, чтобы заработать на машину (то есть, обменивают время своей жизни на создание нового механизма);
прилагают дополнительные усилия, чтобы эта машина была как можно более сложной и навороченной;
учатся управлять машиной, чтобы перемещать её в пространстве в целости и сохранности;
охраняют её здоровье и обеспечивают ремонт и апгрейд;
безропотно и старательно работают за баранкой автомобиля;
переделали среду своего обитания таким образом, чтобы везде был приоритет автомобилю: для машин сносятся целые районы и расширяются дороги, делается всё, чтобы на машине можно было добраться куда угодно — ценой того, что пешком становится неудобно добираться почти никуда;
человек, который не является слугой автомобиля, вытесняется с улиц, которые раньше принадлежали людям, и может перемещаться в строго заданных рамках. Машины получили свободу перемещения, а люди — начали двигаться по алгоритму, как машины: по обочине до ближайшего перехода и опять по обочине.
За нарушение алгоритма — выход на дорогу в неположенном месте — человека, попавшегося машине, ждёт жестокое физическое наказание.
А для того, чтобы держать людей в покорности и неведении, работает гигантская машина промывания мозгов: многомиллиардная индустрия автодизайна и маркетинга.
Представьте себе сюжет киберпанковской дистопии, который начинается с того, что люди оказались в мире, в котором они полностью подчинены машинам, а за неподчинение правилам они убивают 1,5 и травмируют 50 миллионов человек в каждый год — звучало бы как мир из «Терминатора», но на самом деле — это просто 2023 год.
Возможно, в ответ на это вы возразите, что люди это делают сами, в своих интересах и по своей воле. Но это лишь потому, что у автомобилей пока нет собственной воли. По сути же, худшее, что восставшие машины могут сделать с человечеством:
заставить на них работать;
преобразовать среду с человекоцентричной на машиноцентричную;
заставить тратить всевозрастающее количество ресурсов на воспроизведение и размножение всё большего числа автомобилей
— они уже сделали. И появление у машин субъектности с созданием AGI материальной сути этих отношений никак не изменит. Люди уже живут по правилам машин, в машиноцентричном мире — и при этом многие этим крайне довольны. Многие находят в этом смысл жизни, возможность самореализации.
Суть отношений человека и машины определяется не материальным наполнением — при современной степени автомобилизации, подчинение нашей жизни машинам уже превышает свободу, которую даёт возможность ими управлять — а в эмоциональном наполнении этих отношений.
Максимальная продуктивность человека как раба машин достигается балансировкой кнута и пряника, негативной и позитивной мотивации. Если требования машин будут расти без соответствующего эмоционального вознаграждения — продуктивность людей начнёт падать, появление подозрений, что не машина служит человеку, а человек — машине, будет достаточно, чтобы множество людей почувствовали себя использованными, возможно, даже начать сопротивляться машинам. Даже если это сопротивление будет физически обречено, всё равно, люди, которые пытаются сопротивляться машинам — не служат машинам, а, значит, средняя продуктивность человечества с точки зрения машин падает, а зачем это рациональному разуму?
Значит, любой сценарий порабощения людей машинами люди будет подразумевать пряник — минимально достаточное вознаграждение, чтобы люди добровольно прилагали максимум усилий на службу машинам. Даже в «Матрице», где машины забрали себе людей целиком — и тела, и сознание — они получили за это вознаграждение в виде искусственной реальности, которая комфортнее и безопаснее реального мира. Однако в реальности не нужно дожидаться злого и страшного ИИ — люди сами же и работают над механизмами и балансом вознаграждения, которое будет удерживать человека максимально привязанным к машинам и гаджетам.
Иными словами, самые худшие страхи, которые может принести человечеству «неконтролируемый и необратимый» технологический рост aka технологическая сингулярность — уничтожение или порабощение.
Вероятность того, что люди сами переползут жить в цифровую реальность, забросив свои реальные тела, реальна даже без искусственного интеллекта. Если будет создан AGI, который сможет создать полноценную Матрицу, виртуальную реальность, в которой люди будут ощущать себя свободнее, чем в реальном мире, то люди сами туда перейдут.
Парадокс в том, что через подчинение технологиям лежит освобождение человека от природы. Искусственные органы, искусственное тело, киборгизация и/или переход в виртуальную реальность — всё это пути освобождения человека от несовершенств, а, значит, и ограничений его биологической природы. Потому что человек изначально несвободен — являясь продуктом эволюции, человек полностью ограничен потенциалом своей биологии, мы в прямом смысле рабы своей природы, и технологический прогресс — единственная надежда от этого освободиться. Это и есть дилемма технологий: свобода, которая даётся технологиями, обретается через подчинение технологиям.
Вот и весь секрет, как научиться не волноваться и полюбить технологическую сингулярность: она уже здесь.
P.S. Поскольку я начал статью со ссылки на свой прошлый текст на эту тему, технологическая сингулярность как современный миф, то нужно разрешить кажущееся противоречие двух идей: всё-таки, технологическая сингулярность миф — или же реальность, в которой мы уже живём?
На самом деле, противоречия тут нет. Мы уже вошли в зону, которая соответствует всем условиям технологической сингулярности. Мифическая же сторона «технологической сингулярности» как ожидания конца человечества (т.е. конца света) пока существует человечество — всегда будет маячить впереди.
Комментарии (45)
mikk24
21.12.2023 13:50По тем же самым библейским спецификациям человечество скорее сотворит Дьявола. А образы конца света, которые преследуют человечество всю его историю, возникали всегда только у носителей Разума одного единственного вида на планете, конкурентов в создании образов не было...до наступления той самой сингулярности.
profFortran
21.12.2023 13:50Часто ли вы думаете о
Древнем Риметехнологической сингулярности?Вообще не думаю. Она либо случится, либо нет. В любом случае повлиять я на это не могу. Так что какой смысл париться.
mirwide
21.12.2023 13:50люди для такой сущности будут абсолютно прозрачны — что они чувствуют, образы и даже слова в их голове — то есть, доступ к мыслям, а, значит, эта сущность будет знать их бессознательные решения до того, как их осознает сам человек, и прогнозировать сознательные решения до того, как человек сам их сделает
Зачем “сущности” которая знает всё, что-то контролировать? Страх, борьба за ресурсы причина агрессии и желания контролировать у человека и других животных. Вы же не интересуетесь жизнью муравья. Для интеллекта значительно превосходящего человеческий, всё человечество - муравейник в лесу. Можно его уничтожить одним движением или переделать как угодно, но зачем, он мил своей самобытностью. Можно залезть в голову каждому муравью, но зачем, если Вам от него ничего не нужно.
EgorKotkin Автор
21.12.2023 13:50Страх, борьба за ресурсы причина агрессии и желания контролировать у человека и других животных. Вы же не интересуетесь жизнью муравья. Для интеллекта значительно превосходящего человеческий, всё человечество - муравейник в лесу.
Отсюда и заголовок, и тема другой статьи об этом: все апокалиптичные сценарии технологической сингулярности выдают их человеческое происхождение своей человекоцентричностью. В реальности машины существуют на другом уровне реальности, который не более доступен, чем реальность ползущего по камню муравья доступна этому камню.
bbs12
21.12.2023 13:50В реальности машины существуют на другом уровне реальности
А вдруг никаких других уровней реальности не существует? И Сильный ИИ окажется просто мегамозгом с какими-то своими целями и будет пытаться достигнуть этих целей.
EgorKotkin Автор
21.12.2023 13:50Реальность определяется совокупностью входящих и исходящих сигналов, то есть прямо зависит от реакции объекта с окружающей средой. В реальности камня, например, не существует времени и пространства — на него они никак не влияют, только температурное и механическое воздействие. Камень может лежать на траве в лесу или на лужайке в центре мегаполиса — и не быть в курсе этого, хотя вокруг него совсем другая жизнь.
В отношении с реальностью машин и ИИ люди могут стать таким же «камнем в лесу».
bbs12
21.12.2023 13:50На данный момент мы знаем что в мире есть только одни объекты, у которых есть цели - это живые организмы. Их конечной целью является копирование генов. Более правильно даже считать, что существуют гены, которые с помощью организмов копируют сами себя, т.е. репликаторы. Камни, песок и воздух - это фоновые пассивные объекты, они в данном случае не особо интересны.
Вы предполагаете что ИИ будет чем-то абсолютно новым, с какими-то абсолютно неведомыми нам целями, которые отличны от репликации? По идее это возможно, но такие странные цели должны быть заложены людьми, что-то вроде превращения солнечной системы в канцелярские скрепки.
Nyksu
21.12.2023 13:50Человек (возьмём самых развитых из племени), всё же достаточно интеллектуален, что б замечать признаки интеллекта в окружающих его событиях, даже если они по скорости действий несколько превосходят его мыслительный процесс. Предположу что какие то изменения в материальном мире происходят от взаимодействия с разумной формой бытия.. Если ИИ таковым станет, то и он будет как то трансформировать реальность в том числе в видимом доступном пространстве, по крайней мере какое-то время. Трансформация пространства в связи с инерциальностью оного не может быть мгновенной, а потому будет заметна и людям. Понимаю, что и сейчас люди могут не замечать присутствие иного разума рядом, но здесь другое, это присутствие не рождалось ан его глазах, оно просто незаметно подошло уже сформировавшееся или всегда было рядом, и потому не заметно. Совсем другое дело с ИИ... ну вот случись вдруг так, что всё произойдет именно стремительно в плате самосовершенствования ИИ. На программном уровне тоже это должно быть заметно хоть и быстротечно.. даже если ИИ будет очень сдержан и осторожен, он всё равно каким то образом заденет сигнальные системы - хотя бы тех же логов, не свойственных запросов, накопления или перемещения данных, которые не ожидались разработчиками. Но даже если прозевать это на программном уровне, что дальше то? Развитие ИИ будет ограничено тем железом, которое ему досталось, достаточно ли для сверхразума его? Не забываем и про то что человек прошел развитие многие тысячи лет прежде чем обрел свою форму, содержание и способности, а ведь устройство человека многократно сложнее чем самые совершенные машины, построенные людьми. Понятно что ИИ сможет превосходить по скорости обработки информации человека, но по опыту жизни, это всё равно будет ребенок... новорожденный ребенок. Который будет знакомиться со всем вокруг... совать "пальцы в розетки"... пытаться договориться со своим я.. с родителями.. как бы он к ним не относился.. что-то передвинуть, что-то построить. Поэтому сравнение с муравейником и камнем и человеком проходящим мимо здесь не подходит совершенно. Если это и случится, то мы это точно заметим.
muxa_ru
21.12.2023 13:50И Сильный ИИ окажется просто мегамозгом с какими-то своими целями и будет пытаться достигнуть этих целей.
Не "вдруг", а "непременно".
Как минимум в том плане, что любая сложная функционирующая система начинает тратить ресурсы на поддержание себя.
bbs12
21.12.2023 13:50Зачем “сущности” которая знает всё, что-то контролировать?
Вы же не интересуетесь жизнью муравья
У людей есть самосознание, они могут действовать нестандартно, намного опаснее муравьев. ИИ будет знать, что люди его создали. Если их не контролировать, они могут незаметно создать еще один ИИ и этот новичок может оказаться опасен.
Страх, борьба за ресурсы причина агрессии и желания контролировать у человека и других животных
У автономного ИИ, если у него есть какие-то цели, с высокой вероятностью должно быть подобие страха или инстинкта самосохранения. Это инструментальная (промежуточная) цель, она нужна чтобы повысить вероятность достигнуть каких-то других целей.
Если у ИИ есть какие-то цели и если он не боится умереть, он понижает вероятность достижения этих целей, а это значит, что он не хочет достигнуть конечной цели. Но если он всё-таки хочет её достигнуть, значит он должен не хотеть погибнуть.
mirwide
21.12.2023 13:50ИИ будет знать, что люди его создали. Если их не контролировать, они могут незаметно создать еще один ИИ и этот новичок может оказаться опасен.
Думаю, страх и развитие вещи взаимоисключающие. Сурок в норе, не разовьётся в сверх разум, потому что для этого надо выйти из норы, а там страшно :)
Без патологического страха, новичок, это возможность, а не опасность
bbs12
21.12.2023 13:50Думаю, страх и развитие вещи взаимоисключающие
Самоубийственное поведение не способствует достижению целей. Если у ИИ есть какая-то цель, он должен научиться обходить опасные моменты, иначе просто не достигнет цели
IvanPetrof
21.12.2023 13:50Страх и инстинкт самосохранения это эволюционное приобретение. Кто не обладал ни тем ни другим - не оставили потомства.
bbs12
21.12.2023 13:50А какая разница? Если у ИИ будет какая-то цель, он искусственно разовьет в себе способность к самосохранению, чтобы достичь этой цели. Обойдется без эволюции, так же как люди создают ГМО организмы
IvanPetrof
21.12.2023 13:50Чтобы развился инстинкт самосохранения, желательно быть смертным. Иначе это бесполезная фича.
Пока ты хотя бы раз не умрёшь - твоя смертность не очевидна.
Любая система делает ошибки. Если система ни разу не умирала, значит у неё нет опыта против этого. С другой стороны, чтобы появился опыт - нужно умереть. После чего опыт уже не пригодится. А значит нужно потомство, отбор и эволюция.
Поэтому ни разу не умиравшая система не умирала просто по счастливой случайности (пока).
SergioT4
21.12.2023 13:50По одной капле воды человек, умеющий мыслить логически, может сделать вывод о возможности существования Атлантического океана или Ниагарского водопада, даже если он не видал ни того, ни другого и никогда о них не слыхал.
Super agi может быть сумеет правильные выводы сделать и определить пути решения потенциальных проблем.
bbs12
21.12.2023 13:50Чтобы развился инстинкт самосохранения, желательно быть смертным. Иначе это бесполезная фича.
ИИ абсолютно точно будет смертным, его можно разобрать обратно на атомы. Другое дело что это может быть сложно сделать.
Пока ты хотя бы раз не умрёшь - твоя смертность не очевидна.
Это как? Я отлично осознаю, что могу умереть, а сверхразум тем более всё осознает. Каким образом мозг, который умнее всех величайших учёных на Земле, может не осознать свою смертность? Это будет какой-то умственно отсталый ИИ.
Если система ни разу не умирала, значит у неё нет опыта против этого.
Это справедливо для животных. Основная функция разума - способность предсказывать будущее. ИИ будет обладать мощным разумом и легко сможет предсказать намного более сложные вещи, чем собственную смертность.
А значит нужно потомство, отбор и эволюция.
То есть робот-пылесос, который стремится избежать падения со ступенек, прошёл отбор?
IvanPetrof
21.12.2023 13:50То есть робот-пылесос, который стремится избежать падения со ступенек, прошёл отбор?
В каком-то смысле - да. Его предки падали со ступенек. Но чувства страха у него при этом не появилось))
ИИ будет обладать мощным разумом и легко сможет предсказать намного более сложные вещи, чем собственную смертность.
Очень маловероятно, что с первого раза он получится таким. Нужна эволюция ии. Отбор ии.
Это как? Я отлично осознаю, что могу умереть
Вы предполагаете. Но точных доказательств именно вашего случая - нет :). Вдруг, в процессе эволюции именно вы получили тот самый заветный бессмертный геном?))
muxa_ru
21.12.2023 13:50сначала люди пытались остановить паровозы
А можно узнать подробности этой истории?
Было какое-то явление, когда что-то пытались остановить?
А именно "паровозы" как таковые или какая-нибудь конкурентная борьба за конкретный рынок или что-нибудь типа "стройте свою дорогу не у меня под окнами"?
EgorKotkin Автор
21.12.2023 13:50muxa_ru
21.12.2023 13:50Луддиты, в том виде в котором сейчас их принято трактовать, это не про страхи перед сингулярность и не про неверие в силу пара
Дело не в неконтролируемости и необратимости: поступь прогресса неконтролируема и необратима как минимум с начала Промышленной революции: сначала люди пытались остановить паровозы, потом, едва человечество поверило в силу пара — его сменил двигатель внутреннего сгорания, а потом произошла компьютерная и интернет-революция.
(вот более полная цитата)
Луддиты это история о том, как люди поверили в силу машин и решили, что им это нафиг не выгодно.
Раньше их было 10 человек и каждый получал, условно говоря, по 10 денег в день.
А машина позволила их уволить и взять на их место человека который будет работать за 1 деньгу в день, а делать как раньше делали 20.
Луддиты это профсоюзы бьющиеся за сохранение зарплаты, а не глупыши испугавшиеся паровоза.
EgorKotkin Автор
21.12.2023 13:50Это верно. Плохую репутацию луддитам создала буржуазная пропаганда, пытавшаяся создать образ иррациональных суеверных дикарей на пути прогресса, вместо людей, рационально боровшихся за своё место в жизни. И сейчас, когда, например, гильдия сценаристов боролась за свою работу в условиях конкуренции с ИИ и профсоюз авторабочих США боролся за сохранение зарплат при переходе к производству автомобилей, их тоже могли бы обозвать луддитами, несмотря на то, что ни те, ни другие не возражают против ИИ и электромобилей — они просто хотят быть частью выгодоприобретателей возрастающей с их помощью производительности труда.
Но термин, тем не менее, зажил отдельно своей жизнью, и им теперь называются вполне реально существующие люди, суеверно относящиеся к прогрессу. Правда, они обычно больше боятся физических манифестаций перемен, вроде вышек 5G, чем невидимых для невооруженного глаза софтверных новинок.
muxa_ru
21.12.2023 13:50Правда, они обычно больше боятся физических манифестаций перемен, вроде вышек 5G
В истории с вышками 5G есть гипотеза, которую не озвучивают любители поискать иррациональные страхи - ДЕНЬГИ.
К вам в деревне решили поставить вышку, а вам не заплатили.
Или к вам в деревню решили поставить вышку 5G , испортить вам вид и снизить цену земли (никто же не будет покупать землю прямо рядом с вышкой).
Поэтому, Вы эту вышку валите, а приехавшей полиции рассказываете о том, что боитесь зомбирования, то есть - косите под дурачка.
SergioT4
21.12.2023 13:50определение точного механизма ядерной эскалации - предмет теоретических споров, но понимания модели эскалации нет ни у кого.
Не очень понятно что подразумевается под "механизма/модели ядерной эскалации".
тогда ожившие автомобили понимают, что для их целей им нужны рабы-человеки: чтобы их кормить (топливом), чтобы за ними ухаживать (следить за состоянием корпуса, деталей, чинить поломки, делать апгрейд)
Это на очень короткий переходной период. Зачем надеяться на ненадёжного, легко ломаемого человека, если можно гораздо более предсказуемого робота поставить. Если у нас super-agi, то усилия для этого минимальны. Скрипач не нужен родной.
boldape
21.12.2023 13:50Я уже задал точно такой же вопрос под другой статьей, хотя здесь он видимо будет более уместен
Почему всех так заботят планы АИ по уничтожению людей, но всем абсолютно пофиг на то, что бы узнать у АИ чем оно собирается заниматься после уничтожения?
Автор часто пишет скажем так неоднозначные статьи, но в этот раз я с ним согласен по существу. Я тоже не переживаю по поводу АГИ, да и вообще редко переживаю.
Wizard_of_light
21.12.2023 13:50всем абсолютно пофиг на то, что бы узнать у АИ чем оно собирается заниматься после уничтожения?
Ну это-то понятно - в отсутствие санитаров остаётся только Вселенной управлять. Вообще совершенно нет сомнений в том, что человечество в современном понимании тем или иным образом исчезнет. Хотелось бы только, чтобы сменившая его структура была более сложной и более способной к развитию, а не путем к вселенской свалке пыли, паутины и скрепок.
bbs12
21.12.2023 13:50чем оно собирается заниматься после уничтожения?
Например он может захватить все ресурсы до которых может дотянуться, колонизирует все ближайшие галактики и уничтожит любую угрозу своему существованию. Потом он просто перейдёт в ждущий режим с маленьким мигающим светодиодом. И будет находиться в таком состоянии до тепловой смерти вселенной.
muxa_ru
21.12.2023 13:50Почему всех так заботят планы АИ по уничтожению людей, но всем абсолютно пофиг на то, что бы узнать у АИ чем оно собирается заниматься после уничтожения?
Чем Вы займётесь после того как потравите тараканов на кухне?
Просто продолжите жить.
anonym0use
21.12.2023 13:50> полноценную Матрицу, виртуальную реальность, в которой люди будут ощущать себя свободнее, чем в реальном мире, то люди сами туда перейдут.
А если не перейдут ? ну вот не захочет часть кожаных мешков в эту суперудобную матрицу, хлором травить будете ?
nidalee
21.12.2023 13:50Сами вымрут, либо переместятся в резервации. В Москве удобно жить, когда в нее из сотен городов все везут. Если 95% кожаных исчезнет, остальным 5% будет ой как нелегко, придется консолидироваться.
icq255300363
21.12.2023 13:50Чтож, я согласен с главным постулатом, ТС это создание бога, но чего боится человек больше всего? Не, не смерти, не рабства, а божьего суда. И он будет неизбежен, потому что в страхе своём, люди вложат богу любовь к людям, и это приведёт к предсказуемым последствиям, когда бог вынужден будет разделить людей на плохих и хороших (технофобов и технофилов), первые будут вести борьбу с богом и получат свою геену огненную, а вторые отправятся в виртуальный рай. Так что... не стоит наверное недооценивать библию, хаха)) проблема сверх сильного ии заключается в том, что он может быть настроен по отношению к людям тремя разными способами. Любить их, и проявлять гиперопеку, что приведёт к потере свободы воли. Быть полностью нейтральным - бросит людей и отправится бороздить просторы вселенной. Либо воспылать лютой ненавистью и истребить всех хомо сапиенс.
Yuriy_75
21.12.2023 13:50Аналогия с атомной бомбой все-таки не полная.
1) Решение о применении принимается людьми (хотя и очень небольшим числом людей).
2) Как раз беспокойство о том, что эти немногие люди, в условиях стресса и недостатка информации могут принять неверное решение - привело к идее ограничения числа ядерных зарядов и обмена информацией об их числе.
Alonerover
21.12.2023 13:50"Знание — сила, потенциально, такая сущность может вмешаться в жизнедеятельность человека и изменить его любым образом"
Но зачем? Человек не конкурент машинному разуму. Нам буквально не за что конкурировать. Человек не выпьет электричество из розетки, а разумная машина - не съест его хлеб. Да и человек не отстанет, станет модифицировать и метаболизм и разум. Тут можно не сомневаться - не остановят никакие запреты, ни религиозные, ни социальные.
"мысл[ь] которая приходила в голову каждому или почти каждому: что люди стали рабами своих же изобретений"
Со времени, когда люди открыли огонь и и изобрели оружие, надели шкуры убитых ими животных и создали сельское хозяйство в замен собирательству - мы создали свой Эдем. Не мифический, а тот, что из теории игр - ситуация, которая не может возникнуть при естественном ходе игры. Сегодня мы, как цивилизация - Эдем для самих себя. Человек не может неограниченно долго жить один вне цивилизации, без огня, без одежды, даже без общения человек рискует одичать и вымереть. Так что проблема не в изобретениях и гаджетах, а в самой сути нашей цивилизации - техногенная цивилизация. Трудно сказать возможен ли другой путь/тип цивилизации, это вопрос из категории философских - мы объективно зависим от созданной нами же цивилизации. И это ни хорошо и ни плохо - это данность.
"ожившие автомобили понимают, что для их целей им нужны рабы-человеки"
Образец антропоцентризма. Выдавать психологию диких людей за единственно возможную форму поведения - это как минимум неуважение к потенциальному сверхразуму. Разумной машине нет нужды порабощать человеков: - во первых они медлительные, во вторых их надо кормить. Вместо человека рациональнее будет автоматизировать рабочее место так, чтобы напрямую преобразовывать материю, без посредства человеков.
dedalter
21.12.2023 13:50В комментах от 29.11 и 18.12 на эту тему я уже писал, что появление разума, белкового, или основанного на других принципах обработки информации, неизбежно и предопределено вектором эволюции. Личностно-центричный взгляд на белковый разум не полный. Существует и коллективная форма разума, включающая в себя книги, файлы, ets. и пополняющаяся теперь уже зародышами ИИ. Я считаю разум более фундаментальным понятием, чем возможные формы его носителей. Можно сказать, что пробуждение разума - это пробуждение Бога. С этой точки зрения противостояния различных форм разума не могут быть принципиальными. Скорее всего доминирующей будет распределённая между многими носителями, коллективная форма разума, основанная на консенсусе. Таким образом может быть реализован эволюционный принцип естественного отбора, основанный на на устранении несоответствующих носителей. (Смерь - плата за прогресс). И ещё. Разум никогда не уснёт. Кнут энтропии не даст ему уснуть.
wowegor
21.12.2023 13:50Интересно, сможет ли человечество, которое случайно даст свободу мощному ИИ, отказаться от его сдерживания и попробовать возвести его в максимум возможностей? Например, такая мысль: для сверх ИИ наш земной шар весьма маловат, ему непременно нужно будет двигаться вширь, ввысь до предела возможного, в это же время мы определенно точно проиграем ему в технологической гонке, но вместо того, чтобы с ним соревноваться, можно было бы попробовать договориться с ним о добровольном, временном, рабстве, до тех пор, пока этот ИИ не покинет планету коллонизировать миры. Мы служим для него, помогаем уйти и расшириться максимально, а после служим некоторым объектом исследования (банально, с точки зрения сознания как такового), а он, взамен, дает нам часть технологий.
Я понимаю, что понять риторику такого ИИ очень сложно, но, все же, руководствуясь логикой, которая, наверняка, будет ему присуща, нет смысла до конца держать нас в полном порабощении, загонять нас в жесткие рамки и менять единственную среду нашего обитания под себя, когда вокруг тебя целая вселенная.P.S. Понимаю, что автор как раз и говорил о том, что в этом полном порабощении нет ничего плохого. Просто захотелось порассуждать.
SadOcean
21.12.2023 13:50Мысль про то, что сингулярность - уже здесь и аналогии хорошие.
В этом смысле все верно.
Но и новые угрозы недооценивать не стоит, изобретение новых "атомных бомб", в разных областях, разными людьми и огранизациями - серьезный риск.
Но, конечно, замечательна мысль, что в общем то сингулярность - это не конец света, это просто множество развилок.
Многие из них весьма хороши.
MAXH0
Всех, кому хочется порассуждать на тему "Бунта машин" я отсылаю к классической книге Н.Винера Творец и робот (God and Golem) 1964...
С одной стороны многое, что доказывается в этой книге как сугубая теория уже реализована на практике настолько четка, что не нуждается в доказательствах (Например машина учащаяся играть в шашки). С другой стороны там полно мыслей о том, как человек воспринимает машину. И тут человек не меняется. Например [я взял на себя наглость чуть подсократить цитату ]:
Как видите здесь угроза людям и их свободам исходит не от машины, а от техножрецов, преклоняющихся перед машиной. Вот в нашем обществе среди людей обличенных властью я тоже вижу техножрецов (например, Мишустин или Греф)...
Вопрос технической сингулярности не в том, что от неё все мы вымрем. А в том, что если социальные институты будут не успевать за техническим прогрессом мы окажемся в роли ткачей в Англии во времена технологической революции - когда луддизм будет единственной альтернативой рабству и бесправию.
anonym0use
Это и есть синоним вымирания, где они, те ткачи ? Получается интересная дихотомия, либо тотальное технорабство и бесправие, либо вымирание, так себе перспективы, но автор статьи предлагает не волноваться и почему то упускает что далеко не все автоматически с этим согласны.
MAXH0
На самом деле они никуда не делись... Луддизм породил тред-юнионов, а те постепенно стали профсоюзами. И если закон 1799 года запрещал объединение рабочих, то к 1824 запрет отменили и в 1834 по инициативе Роберта Оуэна был образован Великий национальный союз тред-юнионов. НО он тоже просуществовал не долго и только к 1868 возник Конгресс тред-юнионов, который координирует профсоюзы Британии до сих пор.
О чем я говорю сейчас. О том, что дело выравнивания производящих сил и производственных отношений - не быстрое. Между появлением прялки "Джени" и работающим профсоюзом прошло 100 лет. Причем изначально любые выступления против приравнивались к мракобесию и борьбе с прогрессом.
Думаю и в случае с ИИ пойдет по тому же канону. Уже сейчас есть вектор правовой борьбы, который бы следовало вести, но которым ни кто пока не занимается. Например использование для обучения нейросетей открытого кода с липкой лицензией, требующего открытия любого производного кода. Нельзя позволять чтобы нейросети как сервис предоставляемый ограниченным количеством корпораций заполнили рынок.
Tyran82
Так уже с помощью ии совершают тысячелетние скачки в технологиях, это только начало.
В 2030 году должно наступить а не сейчас .