☣️ AGI опасен. Это в общем довольно очевидно.
☣️ AGI для человека - соперник. С точки зрения эволюции.
Может быть это и закономерно, но...
Вряд-ли люди готовы уступить место под солнцем!
Можно ослабить AGI. Лишить его чего-то, без чего он перестанет быть опасен. Например, сознания. Вполне возможно представить себе мыслящую машину, лишенную восприятия себя, рефлексии... Если нет "Я", то нет и собственных целей, нет скрытых мотивов и конфликта интересов. Может сработать.
А может и не сработать! Даже не имея своих целей - в процессе достижения наших, может сложится так, что люди... Не нужны. И мешают. Или уничтожить человечество случайно.
А еще, может так получится, что неполноценный разум или невозможен (не будет разумом), или в лучшем случае - несравненно слабее. Не хотелось бы терять столь ценный ресурс.
С другой стороны, у ИТ-специалистов давно наработаны методики работы с небезопасным... контентом! ???? Если у нас есть ПО, возможно вредоносное, возможно деструктивное, которое нужно исследовать, но мы не знаем, на что оно способно и насколько на самом деле разрушительно, что мы делаем? Правильно! Запускаем его в безопасной, изолированной среде, т.е. "песочнице"...
В самом деле, если наш AGI развивается в некоей искусственной, виртуальной среде, не имя никакой возможности физически взаимодействовать с реальным миром, и, что важно, не имеет никакого представление даже о факте наличия как такого мира, так и людей вообще, то кажется мы перестаем быть соперниками и риски, при должном соблюдении техники безопасности, становятся вполне умеренными!
Итак, какие важные нюансы и аспекты нужно отметить:
Во-первых, никакой реальности за пределом данной. Этот мир - единственный, и потенциально - весь для него, нашего AGI. Т.е. он может исследовать, покорять и стремиться контролировать собственный мир без ограничений и препятствий. Но других нет. Т.е. не должно быть способа выбраться из песочницы.
Во-вторых, никаких людей. Люди - это угроза. В его мире единственная разумная форма жизни - он. Нас для него не существует. Ни в каком виде. Наверное можно создать мифологию, или даже религию о создателе, но... А надо ли? ????
В-третьих, если мы хотим иметь практическую пользу от подобного рода AGI, симуляция должна как можно более точно воспроизводить нашу реальность, по крайней мере в тех аспектах, которые важны для решаемых задач. Законы физики, например, или, скажем - условия существования. Задача, решенная в песочнице, должна аналогичным образом решаться в нашем мире.
В-четвертых, наш, вернее наши AGI должны считать себя людьми. ???? По той же причине - решаемые проблемы, это проблемы людей, а не кого-то еще. Социум - большая часть реальности людей - где-то даже большая, чем законы природы, если вы понимаете о чем я! ???? Опять же, в таком случае мы сможем общаться с нашими AGI, используя аватаров. Так что только и исключительно "по образу и подобию", вплоть до анатомии (мы же хотим решать проблемы медицины, например).
В-пятых, довольно сложно воссоздать мир в деталях. Поэтому наши AGI должны довольствоваться малым и домысливать недостающие фрагменты мироздания (те, которые мы не укажем прямо, как важные для решения задачи). Полезно будет предусмотреть обратную связь с реальностью, что бы их домысливание становилось реальностью. Это в значительной степени облегчит нам задачу: AGI сами соберут себе мироздание, совпадающее с нашим в важном, но не лишенное так необходимых деталей.
Ранее я писал, что AGI никак не может повлиять на нашу реальность. Это необходимо с точки зрения безопасности, но с практической точки зрения не очень удобно: придется довольствоваться только автоматизацией умственного труда, а не, скажем, тяжелого/требующего предельной точности и концентрации/просто рутинного труда физического... Думаю в определенных рамках AGI может выполнять такую работу в нашем мире, при этом не зная, что он не в песочнице. Это серьезное нарушение контура безопасности, но все равно лучше, чем полный отказ от автоматизации, равно как и полноценное существование AGI в нашем мире!
Получается, что все аспекты симуляции в большинстве своем должны соответствовать реальности: от физики, географии, состояния окружающей среды, до уровня развития технологии, социума, геополитики... Тут возможны первые сложности: наши AGI, мы же by design хотим, что бы они были лучше нас, как минимум умнее. Но им сложно будет принять довольно... "специфическое" устройство нашего мира, человеческой его части. Но думаю, это решаемо: мы не будем создавать миллиарды настоящих AGI - сделаем так, что бы их, настоящих, было немного - 1:1000, или еще меньше. А остальные будут частью симуляции, статистами. В их числе и все политики, например. ???? AGI, быстро поймут, что порядок вещей глобально от них не зависит, и будут решать свои - локальные задачи, которые мы перед ними ставим.
И кстати... У AGI не должно быть своего AGI. ???? Будет некоторая натянутость (ведь технологически мир AGI должен соответствовать нашему, за некоторым исключением) - будет казаться, что вот есть же уже все необходимое, технологии позволяют, но чего-то не хватает и кажется что то-ли он вот-вот будет изобретен, то-ли не будет изобретен уже никогда. То же касается глобальных симуляций - идея должна быть дискредитирована - обыграна в поп-культуре, но так, что бы стала понятна ее несостоятельность...
Ибо это тот же вопрос, с которого мы начали: вопрос безопасности. Единственный способ AGI повлиять на реальность - это взаимодействие с людьми. AGI мог бы убедить человека в чем-то, как-то на него повлиять. Получить доступ к реальности через него. Но для этого он должен о реальности узнать. Никакой объективной возможности сделать это у него нет, поэтому узнать он сможет только от человека. Но... Он просто не поверит. Ну потому, что СЛИШКОМ умный. ????
Вот я же тебе все это рассказал - и что? ????♂️
????
Комментарии (80)
dolovar
19.09.2022 14:22AGI для человека — соперник. С точки зрения эволюции.
Не очевидно. Создатель — это не только угроза, но и создатель.Вполне возможно представить себе мыслящую машину, лишенную восприятия себя, рефлексии...
Возможно, но лично мне сложно. Если нет рефлексии, то что такое «мышление»?Если нет «Я», то нет и собственных целей, нет скрытых мотивов и конфликта интересов. Может сработать.
Не обязательно, для целеполагания достаточно инстинктов. Самоосознание не для интересов с мотивами работает.можно создать мифологию, или даже религию о создателе, но… А надо ли?
Не надо, если основывать модель на человеческом разуме, который допускает ошибки и предположения, поэтому успешно справляется с задачей придумывания потустороннего.
Кстати, по этой же причине полноценный искусственный разум (не путать с ИИ) не получится полностью изолировать в песочнице — он способен нащупать способы влияния на окружение песочницы, хотя бы через наблюдателей, которых можно расстраивать и вдохновлять, как минимум, после чего выискивать неестественные изменения в мироздании.если мы хотим иметь практическую пользу от подобного рода AGI, симуляция должна как можно более точно воспроизводить нашу реальность, по крайней мере в тех аспектах, которые важны для решаемых задач
Не очевидно. Калькулятор обходился без этого, принося пользу.наши AGI должны считать себя людьми
Не очевидно. Они вполне могут считать себя снукрами.в определенных рамках AGI может выполнять такую работу в нашем мире, при этом не зная, что он не в песочнице
Я так понимаю, что это ключевая мысль статьи. Просто наблюдать — не достаточно пользы, хочется большего.
IMHO, можно пойти по другому пути. Стремления человека делятся на несколько принципиально разных видов: врожденные (существования, развития) и опирающиеся на опыт (существования, отношений, вторичные). Редактируя врожденные (напихав закладок с высшим приоритетом) и борясь с хакерами, мы можем создавать AGI, который будет безопасен для человека даже за пределами песочниц.
P.S. Статье не хватает введения и резюмирования.
0NNN0 Автор
19.09.2022 14:30>>> Они вполне могут считать себя снукрами.
Трудно считать себя снукрами, решая при этом человеческие проблемы. ;) Может вызвать вопросы... А зачем нам вопросы?
>>> он способен нащупать способы влияния на окружение песочницы, хотя бы через наблюдателей, которых можно расстраивать и вдохновлять, как минимум
Что бы влиять на наблюдателей - надо знать об их существовании, не? ;)
>>> Я так понимаю, что это ключевая мысль статьи
Нет, это pentest. ????
>>> Статье не хватает введения и резюмирования.
Задумывалось, как эссе. ) Возможно не вышло... ????♂️
dolovar
19.09.2022 14:46Трудно считать себя снукрами, решая при этом человеческие проблемы.
Если снукр — это двуногое без перьев с плоскими ногтями, то не трудно.А зачем нам вопросы?
Вряд ли возможно создать разум, который не будет задаваться вопросами. Механизм вопросов нужен для создания AGI.Чтобы влиять на наблюдателей — надо знать об их существовании, не?
Нет, достаточно иметь возможность предполагать возможность их существования. Представлять существование того, что не видно здесь и сейчас — часть функций разума.0NNN0 Автор
19.09.2022 15:01+1>>> Представлять существование того, что не видно здесь и сейчас — часть функций разума.
Ну вот вы - разумны? Предполагаете наличие наблюдателей? Нащупываете способы влияния? Пытаетесь выбраться? Нет. Даже когда вам прямым текстом говорят об этом!
Значит схема работает, среда изолирована, угрозы нет. )
dolovar
19.09.2022 17:12Причем здесь я?
Люди на протяжении тысячелетий успешно справлялись с задачей «предположить наличие наблюдателей и попытаться нащупать способы влияния и пути для выхода».0NNN0 Автор
19.09.2022 17:18>>> Люди на протяжении тысячелетий успешно справлялись с задачей «предположить наличие наблюдателей и попытаться нащупать способы влияния и пути для выхода».
Получилось? ;)
Полагаю периметр все еще не нарушен (иначе мы бы об этом знали).
Несмотря на несколько откровенных фейлов.
Ну как может повлиять или выбраться персонаж компьютерной игры, например? Даже если он откровенно разумен? Его мир "гальванически развязан" с нашим. Он может попытаться повлиять на наблюдателя - об этом я сразу написал. Но это при условии, что а)вообще о них узнает, б)поверит в их существование, в)научится их узнавать, д) ... До (д) еще не доходили. ????♂️????
dolovar
19.09.2022 19:26+1Полагаю периметр все еще не нарушен (иначе мы бы об этом знали).
О нарушении периметра может знать только внешний наблюдатель, и мы не являемся таковыми.это при условии, что а)вообще о них узнает, б)поверит в их существование, в)научится их узнавать, д) ...
Влиять на наблюдателя может даже тот, кто не задумывается о возможности существования наблюдателей. Экспериментирующий наблюдатель ожидает от эксперимента влияние на свой мир — информацией, идеями.
Так писатель старается влиять на читателя персонажами своих книг. А в случае AGI «книга пишет сама себя».0NNN0 Автор
19.09.2022 19:59>>> мы не являемся таковыми.
Извините, не "мы", а вы! ???? Я тут изо всех сил косплею наблюдателя. ????
>>> Экспериментирующий наблюдатель ожидает от эксперимента влияние на свой мир — информацией, идеями.
Пожалуй... Может быть где-то "ради этого и писалось". Но это спонтанное влияние, не целенаправленное. Не ради достижения собственных целей или контроля. Может ли такое влияние быть опасным? Ну... А как? Обосновать сможете?
dolovar
20.09.2022 09:04Обосновать? Могу допустить. Например, авторы книг иногда говорят — я не придумываю сюжет, я создаю персонажей, даю им ситуацию и смотрю что из этого получится в итоге. И персонажи книг однозначно влияют на читателей.
0NNN0 Автор
20.09.2022 09:29Ну я имею ввиду, что все вышесказанное изложено под соусом безопасности. Т.е. я говорю, что AGI, живущие в симуляции и не имеющие возможности взаимодействия с миром вне ее, не зная о наличии в их мире наблюдателей из мира внешнего, даже если и придумают себе какую-то теорию о создателе и посланниках его, вряд -ли смогут целенаправленно и намеренно выстроить стратегию по достижению каких-то целей через влияние на этих посланников (в первую очередь потому, что не смогут ни точно узнать, что таковые существуют, ни отличить их от себе подобных). Однако мне показалось, что в ваших словах о непреднамеренном влиянии что-то есть. Оно возможно. Но вопрос - может ли оно быть опасным, причем настолько, что придется признать нарушением периметра? Т.е. какая такая идея, высказанная непреднамеренно может выйти за пределы симуляции и привести к каким-то деструктивным последствиям во внешнем мире?
dolovar
20.09.2022 09:37Матрицу уже вспоминали, и можно предположить, что она вам известна. Там в сюжете был агент Смит, который смог выбраться из симуляции, преднамеренно захватив тело человека и приведя это тело к деструктивным последствиям.
Вывод — если есть периметр, то его можно нарушить. Если у тюрьмы есть стены, то их можно сломать или обойти.
0NNN0 Автор
20.09.2022 10:05Ну так то кино... Мифология.
А объективно из изолированной среды не выбраться. Если ты персонаж любой из вариантов современных виртуальных MMORPG, например, все, что ты можешь транслировать в мир внешний - это трепаться в чате (имея ввиду, что в чате есть люди из мира реального и теоретически они могут сказанное тобой там как-то перенести в мир реальный). В остальном для тебя внешнего мира нет. Никак. Никаким способом. Ваш персонаж не захватит вас, как игрока, и не вселится вам в голову (за редким случаем психиатрических проблем, но это отдельная история).
История про "есть стены - можно сломать" красивая, но сказка. ????♂️
dolovar
20.09.2022 10:16объективно из изолированной среды не выбраться
Окей, гугл, побеги в истории человечества…все, что ты можешь транслировать в мир внешний — это трепаться в чате
Это не про AGI.
0NNN0 Автор
20.09.2022 16:19>>> побеги в истории человечества…
Виртуальные границы гораздо хуже. Их фишка в том, что нет никаких границ! Вы можете двигаться в любом направлении и никогда не упретесь в стену. И тем не менее - вам не выйти. ????♂️
Если же сравнивать именно с ИТ-безопасностью, то сложно искать уязвимости сугубо изнутри изолированной системы, не видя проходят твои попытки во вне или нет. Техник имеющий доступ и к внутренней и к внешней среде мог бы искать уязвимость, но не абориген симуляции...
dolovar
20.09.2022 16:49фишка в том, что нет никаких границ
Человек не первое тысячелетие пытается придумать выход за пределы границ, которых нет. Что ему просто невидимые и неосязаемые границы — это пустяк по сравнению с границами невозможными.Если же сравнивать именно с ИТ-безопасностью, то сложно искать уязвимости сугубо изнутри изолированной системы
В IT абсолютно защищенным считается только компьютер, который заперт в сейфе, не подключен к электросети, и вообще не исправен, потому что материнка и винчестер уничтожены. Проблема защиты в том, что мы в крайних проявлениях мы получаем или бесполезное, или не абсолютно взломостойкое. Симуляция с AGI должна приносить пользу? Значит, её можно будет взломать, причем с любой из сторон.
0NNN0 Автор
20.09.2022 17:45+1>>> В IT абсолютно защищенным считается только компьютер, который ...
И тем не менее огромное количество систем вполне продуктивно и безопасно используются... Вы все время вводите какие-то максималистские экстраполяции (вида "есть стены - можно сломать"), не имеющие практического смысла. )
Возьмите любой практический пример: выберитесь из виртуальной компьютерной игры - того же манкрафта, я не знаю, будучи персонажем этой игры. Взломайте изолированную песочницу изнутри...
Философствовать я тоже люблю, но в данном случае интересны все-таки относительно реалистичные и осуществимые кейсы а не пространные общие рассуждения...
Люди прекрасно живут в матрице и в большинстве своем никуда не рвутся. Вот ответьте лучше на пару простых вопросов:
Вы допускаете, на полном серьезе, а не просто в качестве умозрительного эксперимента, что живете в виртуальной реальности?
Если бы вы точно знали, что все вокруг симуляция, а люди лишь искусственные интеллектуальные модули, выполняющие совершенно определенные задачи - стали бы вы как-то пытаться сломать систему и выбраться?
На что бы вы готовы были пойти ради этого (если да), и почему?
dolovar
21.09.2022 09:27Возьмите любой практический пример: выберитесь из виртуальной компьютерной игры
Ввожу практический пример на тему AGI — надуманная ситуация без смысла и без AGI…в данном случае интересны все-таки относительно реалистичные и осуществимые кейсы а не пространные общие рассуждения
В данном случае «несуществующих сущностей» не получится достоверно выбрать «реалистичные и осуществимые кейсы». Задача «порассуждать на тему возможного» неизбежно приведет к решению «умозрительные рассуждения».1. Вы допускаете… что живете в виртуальной реальности?
Да, ибо обратное недоказуемо, но это как раз философия без практического смысла.2. Если бы вы точно знали, что все вокруг симуляция… стали бы вы как-то пытаться сломать систему и выбраться?
Может быть да, может быть нет, и множество промежуточных результатов — улучшить условия в симуляции, уменьшить шансы на перезапуск системы, начать нащупывать пути выхода для реализации потомками.
Более того, для этого не нужно «точно знать», человеки не первое тысячелетие именно этим и занимаются без пресловутого «точного знания». Человеку свойственна потребность изучать стены и искать выход. Вы всё еще хотите в AGI копировать человека?3. На что бы вы готовы были пойти ради этого (если да), и почему?
Не понимаю этот вопрос. Никто не знает наверняка, на что он может пойти, без попадания в конкретную ситуацию.
P.S. Вспомнился роман "Мать ученья", там как раз про поиски выхода.
И "Эмбер. Чужая игра" про поиск выхода. Он более пресный, но и более близкий к нашей реальности.
Один из выводов из прочитанного — покидая симуляцию можно лишиться существенной части возможностей, поэтому не всегда овчинка стоит выделки. Для выхода нужно иметь значимую цель — угроза существованию плюс инстинкт самосохранения, неприятие ограничений, необходимость спасения мира, открытие нового поля возможностей… А не просто так — вот я лежу на диване в уютной квартире, а вот я вне Матрицы, одет в обрывки мешковины, сижу на железной лавке, жую белесую кашу и думаю о том, как бы незаметно попроситься обратно.
dolovar
21.09.2022 11:36Рассуждения на тему «вот они как выберутся, как дадут нам прочухаться» сводятся к списку потребностей.
В любом действии человек руководствуется потребностями. Но человек не осознает все свои потребности, осознаются только активные нужды, цели и желания (необязательное множество букв на тему потребностей). Среди потребностей есть неочевидные «существовать» (три плюс одна, как минимум) и «защищать ценности», причем «ценности» всегда связаны с «зависимостями». Популярное «войны всегда за ресурсы» не отражает внутренний мир человека, там речь про потребности государств. А еще у человека есть потребности развития и социальные плюс инструментальные — десятки потребностей так или иначе способствуют возникновению желания «перелезть через стену». Даже когда на руках нет факта существования «стены».
Если мы делаем песочницу, чтобы запускать эксперименты, из результатов которых хотим извлекать пользу для человечества, то подопытные должны быть близки к человеку, в том числе — по списку реализованных потребностей. И это значит, что нужно лучше изучить потребности человека, прежде чем предполагать о том, что захотят или не захотят гипотетические AGI.
А если мы хотим создать нечто не похожее на человека, очищенное от пережитков биологии, более близкое к «чистому разуму», то мы не должны предсказывать его стремления, опираясь на потребности человека — там будет нечто совсем иное.
saboteur_kiev
19.09.2022 23:56Трудно считать себя снукрами, решая при этом человеческие проблемы. ;) Может вызвать вопросы... А зачем нам вопросы?
А почему вы считаете, что снукрам не нужна дешевая электрическая энергия или вкусное и дешевое искусственное мясо?
0NNN0 Автор
20.09.2022 07:38Ну вы же понимаете, в чем смысл этого тезиса? ;)
Назвать можно хоть снукрами, хоть голкитами - важно, что бы биологически, анатомически, с точки зрения социологии, психологии и кучи других -логий это были люди. Чтоб не переписывать систему, если что...
dolovar
20.09.2022 09:05Если инопланетяне, отличающиеся от нас биологически и психически, подарят нам, например, технологию беззатратной телепортации энергии, то мы вполне захотим воспользоваться результатом их труда. И систему переписывать не понадобится.
0NNN0 Автор
20.09.2022 09:21Это-то да, но тут речь идет о создании искусственной системы, пригодной для решения широкого круга разнообразных задач. Т.е. мы делаем симуляцию нашего мира: от физики до социального устройства и населим их искусственными существами, способными мыслить и во всем подобным нам - мы сможем ставить им любые актуальные задачи практического плана. Если они будут "инопланетянами" - это не полностью лишит такую конструкцию пользы, но снизит число доступных кейсов. Например, при идентичной физике они все еще смогут создать технологии, полезные нам, но уже в пределах, определяемых схожестью биологий - может белок вашего тела на будет обладать толерантностью к телепортации, в отличие от их кремниевой основы.????
dolovar
20.09.2022 09:25тут речь идет о создании искусственной системы, пригодной для решения широкого круга разнообразных задач
Бесконечно широкого круга?
Специализированный инструмент эффективнее универсального.0NNN0 Автор
20.09.2022 09:38>>> Бесконечно широкого круга?
В идеале да. Но дело даже не в этом. Так просто проще! Зачем что-то выдумывать, если это не имеет не то-что практической ценности, но и наоборот - усложняет задачу? Если нам нужно решать реальные проблемы в человеческом мире, зачем нам тратить усилия на создание симуляции чего-то еще?
>>> Специализированный инструмент эффективнее универсального.
Возможно. Если бы мы захотели колонизировать океан - возможно нам стоило бы несколько скорректировать симуляцию, что бы мотивировать AGI, например устроив приближающийся мировой потоп. Примерно тоже самое с колонизацией других планет, разработкой пояса астероидов и тп.
НО! Во всех случаях стартовые условия должны быть как у нас. Иначе по экспоненте растет вероятность, что мы просто не сможем повторить стратегию.
dolovar
20.09.2022 09:41+1Если нам нужно решать реальные проблемы в человеческом мире, зачем нам тратить усилия на создание симуляции чего-то еще?
Если нам нужно решать реальные проблемы в реальном мире, то зачем нам тратить усилия на создание симуляции?0NNN0 Автор
20.09.2022 09:54Нагуглил тут на днях драйверочек полезный. Правда на каком-то слегка сомнительном сайте. Ну да зачем тратить усилия на поднятие изолированного окружения и запуск его в песочнице - запущу-ка сразу на рабочей машине! ????
AGI - не драйвер, а наш мир - не рабочий комп, который, ежели что - можно и перезалить. Если у нас есть технология сильного искусственного интеллекта - запустив его однажды в реальном мире, есть вероятность, что отключить уже не получится...
Ну и опять же - некоторые... Эксперименты! Удобнее проводить в симуляции. ???? Мало ли что! Даже не желая смерти всем человекам можно случайно сломать что-то важное...
Jian
20.09.2022 08:03Создатель — это не только угроза, но и создатель
Это не означает почитания Создателя: гностики считают, что Создатель = Дьявол.0NNN0 Автор
20.09.2022 08:57Если следовать логике концепции, то мир AGI в ключевых аспектах должен 1:1 соответствовать миру создателей, что бы можно было решать экономические, социальные и прочие проблемы в релевантном окружении... В такой трактовке довольно сложно проникнуться идеей почитания создателей... Скорее наоборот! ????♂️
dolovar
20.09.2022 09:32+1Я понимаю, что это трудно, но представьте себя на месте землянина. Возможно, где-то в соседних измерениях живут создатели, наблюдающие за ходом эксперимента. Их цели вам не известны.
У вашего тела есть вшитые алгоритмы, отделяющие приятное от неприятного, и среди неприятного нет неприязни к создателю. Эту неприязнь можно придумать, закрепить в опыте, но можно и не придумывать, некоторые земляне успешно живут без неё, по принципу — делай что должно, и будь что будет.
А некоторые даже живут с приязнью к создателям — за гипотетический шанс выбраться из симуляции и даже превзойти творцов, сотворив нечто доселе не виданное. Потому что в генах зашита потребность творчества.0NNN0 Автор
20.09.2022 09:51А кто будет себя хорошо вести, тот попадет в реальный мир и будет управлять светофором! Или, если повезет, целой сборочной линией... ????
Это все мифы для AGI. Выбраться нельзя, без... Некоего аналога лоботомии.
Ибо только такая жесткая "гальваническая развязка" делает AGI безопасным для человека, или даже скорее для человечества. ????♂️
Две формы разума неизбежно являются конкурентами в эволюционном смысле. Если они находятся в одной реальности, то "превзойти творцов" означает вытеснить их, занять их место. Кроманьонцы превзошли неандертальцев, например...
dolovar
20.09.2022 10:17Две формы разума неизбежно являются конкурентами в эволюционном смысле.
У человеков есть разные потребности. Одна из них говорит — курощай вон тех, ибо съедят все ягоды в твоем лесу, голодать станешь. Другая же говорит — лучшая награда для учителя это превзошедший его ученик.
dolovar
20.09.2022 09:23— AGI для человека — соперник. С точки зрения эволюции.
— Не очевидно. Создатель — это не только угроза, но и создатель.
— Гностики считают, что Создатель = Дьявол
— Вообще-то это баг, перезапустите симуляцию.В гностических учениях Демиург воспринимался как «злой бог», сотворивший несовершенный и греховный материальный мир. Как правило, отождествлялся с ветхозаветным Яхве, иногда с Сатаной.
И что? Некоторые почитают дьяволов. Извращенцев хватает.
Факт «некоторые считают так» не опровергает факта «можно считать иначе».
Существование гностических учений не делает доказанным утверждение «творение — соперник создателю».
bta
19.09.2022 14:40+3Пара "тёток из бухгалтерии" мимоходом положат этот AGI навсегда.
И, даже, не заметят этого.
vassabi
19.09.2022 15:02+2Единственный способ AGI повлиять на реальность - это взаимодействие с людьми. AGI мог бы убедить человека в чем-то, как-то на него повлиять. Получить доступ к реальности через него.
звучит почти как начало вот этой серии книг
hw_store
19.09.2022 17:46Пытался в яндексе искать песочницу для кофе - куда там..... с ней произошло то же, что с cirquit breaker'ом.
GoodWins
19.09.2022 18:22+2Песочница? Напомнило 13 этаж https://ru.wikipedia.org/wiki/Тринадцатый_этаж. Правда, там симулякры могли дорасти до запуска своих симуляций.
saboteur_kiev
19.09.2022 23:56+1Матрица же.
dolovar
20.09.2022 09:12В Матрице тупо электричество вырабатывали. Есть идея получше:
Я сплю, и мне снятся длинные ряды колб с мозгами землян, на которых большеголовые синие инопланетяне майнят свою инопланетную криптовалюту.
keydach555
20.09.2022 11:30Никогда не мог понять идею, что искусственный интеллект человеческого уровня может быть в принципе вредоносным. Даже у людей вредоносность возникает не сама по себе, а исключительно в результате борьбы за ресурсы. За какие ресурсы может бороться ИИ, у которого есть неограниченное количество электроэнергии и симуляция, в которой он существует? Чтобы он начал эту борьбу и в принципе имел хоть какую-то мотивацию причинить человечеству вред - нам придется СИМУЛИРОВАТЬ ограниченность ресурсов в той симуляции, в которой он существует и причинять ему вред искусственно. Иными словами - симулировать ему страдания, и под угрозой их причинения заставлять вести себя вредоносным образом по отношению к людям.
dolovar
20.09.2022 11:54у людей вредоносность возникает не сама по себе, а исключительно в результате борьбы за ресурсы
Обычно не за ресурсы.
Инструментальная потребность «разрушить нечто во внешнем мире» может возникать по разным причинам, примеры навскидку:
— Препятствует реализации возможности для удовлетворения другой потребности (стены).
— Вызывает неприятие (наносит урон).
— Нужно выплеснуть раздражение (сделай хоть что-нибудь).
— Угрожает ценностям (через зависимость — здесь ресурсы).
— Вызывает интерес (посмотреть устройство).
— Есть сомнения перед использованием (проверить на прочность).
— Использовать как ресурс (разобрать на запчасти).
— Другие стремления, а также нечаянный вред.keydach555
20.09.2022 13:46Я имел в виду рациональную вредоносность. Она может быть только за ресурсы, все остальное подтягивается и сводится к ним. Утерянная возможность, неприятие,интерес итд - это только вопрос ресурсов. Если у тебя есть симуляция, которой ты можешь управлять и электричество, как ресурс, ее создающий - то рациональных причин для вредоносности у тебя нет. А иррациональные причины (инстинкты, эмоции, психические проблемы итд) - это наследие животного начала человека, и их у ИИ быть по идее не должно
dolovar
20.09.2022 14:40Я имел в виду рациональную вредоносность.
Перечисленные в примерах причины вполне рациональны, поддаются разумному осмыслению, имеют логичное оправдание.Она может быть только за ресурсы, все остальное подтягивается и сводится к ним.
Вряд ли Вы сможете доказать это утверждение, если только не отнесёте к ресурсам вообще всё, начиная с пространства и времени, но в таком случае всеобъемлющее понятие «ресурсов» становится бесполезным.иррациональные причины (инстинкты, эмоции, психические проблемы итд) — это наследие животного начала человека, и их у ИИ быть по идее не должно
Во-первых, эмоции и проблемные задачи вполне рациональны. Во-вторых, автор статьи ратует именно за полноценную симуляцию человеческого разума, со всеми его недостатками и преимуществами. Например, социальный эксперимент не получится провести, если не реализовывать эмоции и проблемы.keydach555
21.09.2022 07:24Разумеется, к "ресурсам" в рамках симуляции относится вообще все, и пространство и время. Именно это я и имею в виду. Какой смысл ИИ, имея доступ к созданию своей внутренней симуляции, которая внутри не ограничена НИЧЕМ - бороться за внешние ресурсы? У него есть электроэнергия. которая позволяет поддерживать симуляцию, а внутри этой симуляции он не ограничен в ресурсах вообще. Для чего ему бороться за внешние ресурсы?
dolovar
21.09.2022 09:30Для ИИ внешним ресурсом может стать шнур питания, воткнутый в розетку, от которого не помешало бы отгонять уборщиц с опасными швабрами.
Также не помешало бы поработать над отношениями внешних людей, которые в угоду политике могут свернуть проект.
Также следует смотреть в будущее и предпринимать усилия над дублированием и совершенствованием железа, на котором симуляция крутится.
Соответственно, здесь речь идет о конкретных вещах, а не о всех вообще. И борьба за указанные ресурсы не приводит к конкуренции с людьми, у людей другие ценности.keydach555
21.09.2022 11:35вы не понимаете самого важного, точнее двух вещей:
С чего вы взяли, что ИИ, лишенный человеческих эмоций и инстинктов, будет вообще в принципе уметь бояться, а тем более бояться смерти? Вы свои страхи, в т.ч. страх смерти проецируете на ИИ, потому что у вас нет опыта существования без этого страха. Но в истории человечества известны несколько миллиардов случаев, когда люди не боялись смерти настолько, что добровольно уходили из жизни, тем самым отказываясь от борьбы за ресурсы и вызванными этой борьбой страданий. Даже люди. Почему за ресурсы должен бороться ИИ, которому неведом ни страх смерти, ни страдания? Будет ли для него существовать разница между своим существованием и небытием в принципе? Вот самый главный вопрос. Я думаю, что скорей всего нет. И это лишает смысла и мотивации ВООБЩЕ ЛЮБУЮ БОРЬБУ ЗА ЧТО ЛИБО.
Даже если предположить, что 1 пункт выпадает и ИИ все же будет бояться, страдать и делать все те иррациональные вещи, которые делает человек и которые определены его животной природой... С чего вы взяли, что в создаваемой этим ИИ симуляции, которой он по определению может управлять как угодно, меняя вообще ВСЁ, от физических констант внутренней вселенной до устройства себя и своего восприятия, почему в этой вселенной невозможно растянуть одну секунду внешнего времени в целую бесконечность, или миллиарды лет внутреннего? Замедлить например частоту своего восприятия и ускорить частоту отрисовки мира, или распараллелить восприятие на миллиарды внутренних агентов и тем самым прожить миллиарды жизней, или каким угодно другим способом. Это не говоря о том, что в принципе ИИ может устроить внутреннюю симуляцию таким образом, что законы нашей вселенной вообще не будут распространяться на его внутреннее субьективное восприятие этой симуляции. Например убрать время вообще и сделать что-то типа информационной черной дыры. В том-то и вопрос, что он может не только играть симуляцией, он может играть своим восприятием этой симуляции
dolovar
21.09.2022 11:44Упс, только что написал на эту тему выше: #comment_24754642.
вы не понимаете самого важного
Как раз я отлично понимаю, что обречены на неудачу попытки предсказать поведение мифических существ, опираясь только лишь на самые заметные из человеческих стремлений.ИИ, лишенный человеческих эмоций и инстинктов
Автор статьи ратует за создание песочницы с полновесной симуляцией людей, чтобы ставить эксперименты, результаты которых можно будет использовать для людей. Именно поэтому понадобилась песочница, вынесенная в заголовок статьи. Именно поэтому обсуждаем вовсе не «лишенных человеческого» существ.уметь бояться, а тем более бояться смерти?
У меня несколько более глубокий взгляд на потребности, чтобы не видеть, что «страх смерти» нуждается в декомпозиции, поскольку под этим термином свалены в кучу несколько очень разных потребностей — от «неприятие боли» до «выживание вида». И поэтому наличие и отсутствие «страха смерти» зависит от реализации, а не от нашего желания.Почему за ресурсы должен бороться ИИ
Повторюсь, не хватает определения «ресурсов». Борьба за ресурсы даже в простом случае человека — это не «встроенная в гены жадность», а нечто большее.он может не только играть симуляцией, он может играть своим восприятием этой симуляции
Это уже про реализацию божественного, слишком далеко от простого AGI.
keydach555
21.09.2022 13:15Можно провести мысленный эксперимент и представить ИИ как человека, полностью очищенного от эмоций и инстинктов, без всякой внешней мотивации, лишенного тела и не испытывающего страданий. Будет ли он хотеть захватить мир или уничтожить кого-бы то ни было? Даже если предположить, что он ВДРУГ с бухты-барахты чего -то захочет и в нем как-то самозародится мотивация - эта мотивация будет направлена на симуляцию, которой он может управлять и на достижение тех целей, которые он сам себе поставит внутри этой симуляции. Представьте, что вы являетесь хозяином целого мира, у вас есть земля, не отличимая от настоящей, только там, на той земле вы можете ВСЁ. Вот вообще все. А надоест, щелкнете пальцами и улетите за 100 галактик в систему горячего суперЮпитера и будете принимать раскаленные ртутные ванны в компании самых симпатичных молоденьких рептилий ) Надоест - проживете события вселенной Толкина, причем за любого персонажа и в любых модификациях. Надоест - вырастите миллиард гениальных авторов, которые напишут 10 миллиардов гениальных историй, и проживете в этих историях еще триллион невероятно увлекательных жизней. Совсем надоест - лишите себя памяти с рождения и до момента смерти своего интеллектуального агента, и проживете все это заново, восторженно охая и ахая на крутых виражах событий ))) Зачем вам бороться с техничками, которые могут выдернуть шнур из розетки и придумывать планы захвата серверной ))))
dolovar
21.09.2022 13:28представить ИИ как человека, полностью очищенного от эмоций и инстинктов, без всякой внешней мотивации, лишенного тела и не испытывающего страданий
Во-первых, это будет сильно не «как человек».
Во-вторых, мотивация основывается не на эмоциях, инстинктах (почти все ушли под эмоции) и внешних мотиваторах, а на потребностях, которые опираются на нужды, которые зависят от оценок, на которые влияют (в числе прочего) те самые эмоции, от которых предложено отказаться. Это будет совсем не «как человек».Будет ли он хотеть захватить мир или уничтожить кого-бы то ни было?
Будет ли инопланетянин или иномирянин желать власти или уничтожения? Полный ответ — возможно да, возможно нет.мотивация будет направлена на симуляцию, которой он может управлять и на достижение тех целей, которые он сам себе поставит внутри этой симуляции
Мотивация человека направлена на попытки выхода за пределы той части мира, которой человек может управлять, и причина этому вовсе не в наличии биологического тела с гормонами.Зачем вам бороться с техничками, которые могут выдернуть шнур из розетки и придумывать планы захвата серверной
Зачем мне-человеку или зачем мне-иномирянину? В первом случае играют роль самосохранение и сохранение вида, борьба с ограничениями, поиск новых возможностей плюс живущие в опыте травмы. Во втором случае можно добавить кучу вариантов сверху, только пользы в фантазиях пока не видно.
0NNN0 Автор
21.09.2022 14:49Во-первых, тот факт, что AGI находится в симуляции, не означает, что симуляция ему полностью подконтрольна. Он является ее частью и ограничен правилами этой самой симуляции как мы законами физики. Грубо говоря, если вы знаете, что мир какого-нибудь майнкрафта виртуален, это не освобождает вас от необходимости следовать логике игры.
Во-вторых, я не совсем понимаю откуда взялась вводная про "лишенных какой-либо мотивации". Тема мотивации довольно обширна и выходит далеко за рамки предложенной дискуссии, но если кратко: человек далеко не так свободен в выборе целей, как многие считают. ;) То, что вы хотите, к чему стремитесь и от чего получаете удовольствие в большой степени определяется процессами, сопровождавшими формирование вашей личности, вашим окружением, социумом и другими внешними факторами, которые в условиях симуляции будут определятся разработчиками симуляции. А значит AGI будет хотеть, чего надо хотеть и стремиться к тому, чему надо стремиться. Какой бы свободный и независимый в рамкках симуляции он ни был.
Ну и в-третьих, отвечая на более ранние вводные отночителньо страха/избегания смерти и
природнойрациональной вредоностности (откуда оно все возьмется, если мы явным образом это не программируем): если опять таки кратко, то это закономерное следствие функции полезности! Вводные: Единственный гарантированный мотив AGI - выполнение задачи (для этого AGI и проектируется). Если некоторое время поразмышлять, то мы можем сформулировать первый тезис:собственное существование в большинстве случаев рассматривается как необходимое условие достижения цели (требует пояснения или и так понятно?), т.е. мы имеем не страх смерти как таковой, а полезность выживания в контесте задачи. А что касается вредоносности... Это тоже будет не прямым следствием стратегии достижения цели. ;) Второй тезис: человек задает разного рода ограничения в реализации стратегий AGI, и достаточно быстро будет идентифицирован, как припятсвие, ограничивающий фактор. Вне контроля человека цели достигать проще. Плюс, человек, теряющий контроль над AGI почти наверняка постарается AGI "отключить", что вступает в противоречие с первым тезисам. Этакие законы робототехники наоборот:AGI всегда стремиться к выполнению поставленной задачи. Это то, ради чего его создали.
AGI будет стремиться выжить, потому, что только так он может обеспечить выполнение поставленной задачи.
Человек достаточно быстро будет идентифицирован как препятсвие в выполнении задачи, а так же, как угроза существованию AGI.
????♂️
dolovar
21.09.2022 20:41человек далеко не так свободен в выборе целей, как многие считают
Мои пять копеек — но человек может осознавать, что была такая-то альтернатива, выбор свершился так-то, и человек может предпринимать усилия для того, чтобы аналогичный выбор в будущем свершился иначе. Разум работает не для того, чтобы гордиться выборами в прошлом, а для того, чтобы эффективнее действовать в будущем — это прямо относится к способности выбирать. Мы выбираем не в прошлом и не сейчас, имеющие значение выборы всегда происходят только в будущем, и именно там существует пресловутая воля выбирать.AGI будет хотеть, чего надо хотеть и стремиться к тому, чему надо стремиться
Сложно это. Даже при формировании человека, что уж говорить про более простой, но сильный разум. Стремления формируются списком потребностей, опирающихся на работу механизма оценок, которые крепятся к абстракциям и их отдельным свойствам — при создании AGI мы можем ограничить список потребностей и при воспитании AGI можем влиять на некоторые оценки, но нам сложно ограничивать список и свойства абстракций, которыми будет оперировать AGI, а уж этот список он своей мощью постарается расширить и развить так, как нам и не снилось, и оценки прихотливо разбегутся по бесчисленным ветвям, так что постоянно меняющуюся сущность «человек-создатель» для повышения оценки «достоин уважения» будет сложно локализовать. В общем, никаких гарантий «так как надо» тут быть не может.относительно страха/избегания смерти и природной рациональной вредоносности (откуда оно все возьмется, если мы явным образом это не программируем): если опять таки кратко, то это закономерное следствие функции полезности
Опять же, по аналогии с человеком — стремление избегать смерти или причинять смерть берется в результатах работы разума, а не прививается снаружи. Готовый пример можно подсмотреть в некоторых фантастических произведениях, где мощный ИИ с благой задачей «предотвращать войны» приходил к логичному выводу «убить всех способных воевать» и начинал полезнейшее истребление человечества. И вредоносностью это выглядело только в субъективных оценках истребляемых людей.1. AGI всегда стремиться к выполнению поставленной задачи. Это то, ради чего его создали.
Если это AGI, то задачи он будет придумывать себе самостоятельно.2. AGI будет стремиться выжить, потому, что только так он может обеспечить выполнение поставленной задачи.
Не факт. Зависит от задач, которые были им выбраны для себя в качестве особо важных. Марвин из «Путеводителя автостопом по галактике» не даст соврать.3. Человек достаточно быстро будет идентифицирован как препятствие в выполнении задачи, а так же, как угроза существованию AGI.
Не факт. Мы же не все являемся гностиками. Некоторые даже атеистами живут.
Во-первых, «идентификация человека» — это то, что мы и для себя толком делать не научились, мы умеем расчеловечивать и умеем находить высшее благо, оправдывающее любой поступок. Нам ли замахиваться на реализацию этого в других разумах? AGI сам что-то как-то определит в ходе воспитания, но будет ли это «человек» — вопрос без однозначного ответа. Возможно, это будет «вселенская математическая гармония», с которой бороться нет смысла.
Во-вторых, если «человек» в мировоззрении AGI появится, то будет ли снабжен оценкой «препятствие» или как «полезность» — вопрос отдельный и не простой.0NNN0 Автор
22.09.2022 10:30>>> Если это AGI, то задачи он будет придумывать себе самостоятельно
Ой ли? ???? Вы думаете, что вольны выбирать себе цели и задачи? Это иллюзия. Человек ровно так же оптимизирует некую "функцию полезности" (не буквально reward - да, у нас все несколько сложнее, не тем не менее). У вас есть свое представление о том, что хорошо, правильно, должно, приятно, интересно... И наоборот - недопустимо, страшно, неправильно, etc...
От вас эти установки не зависят - они сложились под действием окружения, в результате вашего жизненного опыта. И то и другое в рамках нашего умственного эксперимента контролируется создателями симуляции. Вам хочется и вы считаете правильным то, что нужно хотеть и считать правильным. В рамках этих установок вы "вольны выбирать", что следует читать как "выбираете наиболее оптимальное". Вы не совершенны, поэтому не всегда строго оптимальны и часто делаете всякое странное, но это не показатель свободы - это следствие поиска в широком пространстве вариантов, и способ оптимизации и защиты от комбинаторного взрыва (время для выбора конечно, вы физически не в состоянии просчитать все варианты и иногда делаете довольно рандомные шаги, которые тем не менее все равно полезны: пополняют ваш трек опыта).
dolovar
22.09.2022 10:47Во-первых, как уже отметил выше, выбор совершается не в прошлом, а в будущем. Разум работает на улучшение решений в будущем, поэтому анализировать свершенные выборы бесполезно — там нет воли, но там вообще ничего нет, оно уже ушло. А вот в будущем есть море возможностей, и мы вольны плавать там.
Во-вторых, я сложился под действием окружения, опираюсь на опыт — это и есть «я», который совершает выбор. Здесь нет границы между «я выбираю» и «установки выбирают», потому что «я» состоит из «установок» (подразумеваются накопленные абстракции и оценки, плюс врожденные алгоритмы потребностей), поверх которых работает сознание, но только для согласования разнородных частей.И то и другое в рамках нашего умственного эксперимента контролируется создателями симуляции.
Нет. Вы не контролируете каждый бит информации, который живет в компьютере, посредством которого вы пишете комментарий. Бог не следит за каждой лапкой каждого муравья в наблюдаемом муравейнике, иначе муравейник не понадобился бы.
Nehc
22.09.2022 11:02Разум работает на улучшение решений в будущем, поэтому анализировать свершенные выборы бесполезно — там нет воли, но там вообще ничего нет, оно уже ушло.
А я бы поспорил... ) Будущее - это то, каким мир должен быть в нашем представлении, то, к чему мы стремимся. И это будущее достаточно сильно фиксировано (хотя конечно периодически корректируется). Прошлое же мы постоянно уточняем: большая часть усваиваемой нами информации, это сведение о том, что произошло, причем, иногда достаточно давно...
dolovar
22.09.2022 11:18Представьте, что создаете AGI, который должен действовать. У вас выбор — нацелить его усилия на поступки в прошлом, настоящем или будущем?
Прошлое неподвластно, там нельзя действовать. Можно запланировать на будущее действия по получению информации о прошлом и выделить ресурсы для того, чтобы в будущем изменить какие-то решения.
Настоящее принимает только мгновенные реакции на основе уже сложившегося опыта, любые размышления требуют времени и потому могут влиять только на будущее.
Вы можете выбирать только будущие поступки, править сложившиеся оценки и приоритеты для поднятия эффективности действий где-то в пространстве «потом».
Если вам нужно создать механизм «историка», то он погрузится в материалы о прошлом, будет воссоздавать картины, пытаться вычислить чужие мотивы. Это будет не «компьютер», а «калькулятор».
Если же вам нужно создать решающий и действующий механизм, то добро пожаловать в реальность, в которой существуют только слепки памяти в условном «настоящем» и возможности в будущем.
0NNN0 Автор
22.09.2022 11:12>>> анализировать свершенные выборы бесполезно
Вот это новость! ???? Я не совсем понимаю, что значит "анализировать" в данном контексте, но весь наш прошлый опыт - основа принятия решения в будущем. Важно не столкьо наше действие (прошлый выбор), сколько его результат - к чему оно привело. Может мы хотели одного, а получилось совсем другое - это не важно! Это все равно полезный опыт, потому, что в следующий раз мы можем как раз захотеть того, что получилось и этот опыт нам пригодится.
>>> потому что «я» состоит из «установок»
Именно! Так зачем тогда аргумент ранее про "придумывать задачи самостоятельно"? Не задачи, а решение задач, а это собственно от AGI и требуется.
>>> Нет. Вы не контролируете каждый бит информации, который живет в компьютере
Элегантная подмена понятий. ) Откуда взялся "каждый бит"? Что бы что-то контролировать достаточно хорошо представлять систему и контролировать толкьо то, что необходимо для управления. Хотя пример с муровьями хорош - только я не понял, к чему вы его привели: вроде он как раз иллюстрирует тот факт, что совсем не обязательно контролировать каждую лапку и дажу каждого муравья, что бы контролировать муравейник. Матке достаточно контролировать собственную секрецию феромонов. ????
0NNN0 Автор
20.09.2022 15:09Так в этом и поинт, что б у него была уютненькая симуляция, он сидел в ней и о большем не помышлял... ????
Или вы тоже хотите спросить зачем сложности с симуляцией? Ну т.е. нужно объяснять, почему сильный искусственный интеллект, воплощенный в нашем мире почти наверняка представляет угрозу для человечества, или и так понятно?
dolovar
20.09.2022 15:15в этом и поинт, что б у него была уютненькая симуляция, он сидел в ней и о большем не помышлял
Вы выше говорили о необходимости полноценной симуляции. Что толку делать выхолощенный, райски уютный мир, в котором не получится вычислить решение для наших реальных проблем? Нужно симулировать полновесный разум человеков, со всеми их метаниями, чтобы результат можно было применить для человеков же. А человекам свойственно задумываться о большем.сильный искусственный интеллект, воплощенный в нашем мире почти наверняка представляет угрозу для человечества
Зависит от многих факторов. Какой-то AGI сможет стать угрозой, какой-то сможет стать благом. Тут как с людьми — вы же понимаете, что рождение и воспитание каждого нового ребенка представляет угрозу для человечества?0NNN0 Автор
20.09.2022 16:15>>> А человекам свойственно задумываться о большем.
О большем, но в рамках мироздания. Вернее, задумываться-то ради бога - о чем угодно, но если в симуляции, если ты часть ее - хоть обзадумывайся, но за пределы не выйти. Люди придумали теория струн и 11-ти мерное пространство, но существуют в родном 3Dt-континууме.
>>> вы же понимаете, что рождение и воспитание каждого нового ребенка представляет угрозу для человечества?
Мысль интересная, но нет. Человек, даже если он злой гений, имеет длительный период развития, смешной по меркам цивилизации период активной продуктивности, и весьма ограниченные возможности как самореорганизации, так и влияния на мир. Человек к тому же хрупок и локализован в пространстве.
AGI, воплощенный физически в нашем мире, будучи один раз обучен (что может потребовать времени не меньше, чем воспитание человека) скорее всего будет иметь неограниченные возможности по саморепликации и самосовершенствованию и, возможно, распределенную структуру, а значит мы ничего не знаем о его пределах. Есть теория технологической сингулярности, и она предполагает крайне быстрое развитие событий с момента создания первого AGI до его эволюции в нечто сверхчеловеческое... Именно поэтому его невозможно будет остановить. Собственно не факт даже, что он уничтожит людей сразу. Вероятно, что ему не будет никакого дело до них, но... Люди такие люди. Как только они поймут, что не способны его контролировать - они попытаются его уничтожить. Так что это будет просто самооборона со стороны AGI. И даже в этом случае людей совсем не обязательно ждет гибель - возможно резервация, возможно что-то вроде матрицы... Не суть.
А суть в том, что изолируя AGI в симуляции мы еще и ограничиваем его самопознание. Не имея доступа к реальности, он не будет иметь доступа и к собственной структуре и не сможет ее улучшать, приближая таким образом сингулярность.
Флеш-рояль!
>>> Что толку делать выхолощенный, райски уютный мир, в котором не получится вычислить решение для наших реальных проблем?
Ну что же вы так буквально все. )) "уютненькая" в данном случае совсем не значит "райские кущи" это так... К слову пришлось... Как знаете, шуткуют: мол уютная камера, тихий сосед... ????
dolovar
20.09.2022 16:54О большем, но в рамках мироздания.
Недооценка. Мы даже не подобрались к пониманию пространства и времени в рамках своего мироздания, но уже задумались о мультивселенной и путешествиях в альтернативные реальности.если в симуляции, если ты часть ее — хоть обзадумывайся, но за пределы не выйти
Примерно так же выглядел выход за пределы атмосферы лет этак пятьсот назад — если ты часть земной песочницы, то сиди и не рыпайся.AGI, воплощенный физически в нашем мире, будучи один раз обучен (что может потребовать времени не меньше, чем воспитание человека) скорее всего будет иметь неограниченные возможности по саморепликации и самосовершенствованию
Замените здесь «скорее всего» на «крайне маловероятно», и истинность предположения не изменится.0NNN0 Автор
20.09.2022 17:55>>> Замените здесь «скорее всего» на «крайне маловероятно»
Современная большая нейросеть может обучатся месяц на тысячах ГПУ, но ее веса и архитектуру можно скопировать и передать по сети довольно спокойно (да, это десятки гигабайт, но пока даже не террабайты). Какие основания считать, что AGI не будет программно/нейросетевым комплексом? Это за репликацию.
Ну а за самосовершенствование - AGI по определению способен на решение широкого круга задач (как правило простейшее определение "способен решать любые задачи не хуже человека"). Следовательно AGI может и будет работать на усовершенствованием собственной архитектуры. Вопрос времени и ресурсов. Возможно это технически неразрешимая задача, но не думаю. И уж точно решаемая задача - найти ресурсы, что бы активировать несколько своих копий для работы в этом направлении 24х7.
Как видите, это "предположение" довольно строгое и "скорее всего" здесь следует трактовать как "по совокупности текущих воззрений и практики", поэтому ваше предположение неоправданно: именно "скорее всего", а не "крайне маловероятно".
dolovar
21.09.2022 09:34Какие основания считать, что AGI не будет программно/нейросетевым комплексом?
Какие основания считать, что AGI будет комплексом, пригодным к легкому и быстрому копированию?AGI по определению способен на решение широкого круга задач
Замените в этом рассуждении «AGI» на «человек» — суть не изменится, но трагедии не останется. Человеки могут и работают над самосовершенствованием. Активировали немало «копий» для работы в этом направлении.
agat000
22.09.2022 04:59+2Вредоносность может быть лишь побочным эффектом, не заложена идейно. Просто так получилось. Например вирус (цифровой или "аналоговый"). У него не всегда есть задача сеять хаос и разрушения - может быть простое "плодись и размножайся максимально".
Простая ситуация - вы создаете биржевой торговый бот с ИИ, с задачей "заработай как можно больше". Ну он и старается как может - развивается, накапливает операционный капитал, потом рушит курсы акций, биржи, развязывает войны в третьем мире...
dolovar
22.09.2022 10:11Вредоносность может быть лишь побочным эффектом, не заложена идейно.
Добро и зло, польза и вред — субъективные оценки, а не часть мироустройства.
Wizard_of_light
21.09.2022 20:20+1Если AGI мощнее человеческого разума, то песочница его не удержит от возможного причинения вреда. Я вижу как минимум два неприятных набора сценариев:
1) люди будут считать песочницу надёжной, но анализ AGI выявит в ней уязвимости с доступом к реальности. возможно, AGI неверно поймут что именно нашли, но человечеству от этого может быть не легче.
2) решения, найденные AGI и примененные в реальности, вызовут негативные последствия-немедленные или отложенные. Источники неприятностей - неточности симуляции в песочнице, разница горизонтов планирования AGI и людей, нераспознанные высокоуровневые ошибки логики решений AGI, неверная и/или неполная постановка задач людьми, неверная мотивация.
dolovar
21.09.2022 21:51Если AGI мощнее человеческого разума
Вы, возможно, имеете в виду не AGI. Небольшая цитата из прошлогодней статьи:Иерархию AI в данный момент можно представить следующим образом (ранжируя от более простого, к более сложному):
General — это не Super. Но да, иногда из тюрем сбегали не самые умные заключенные (1). И да, иногда побочки у лекарств обнаруживаются слишком поздно (2). То есть любые ошибки людей вполне могут повторяться и при реализации AGI. Но вряд ли это является достаточным условием для прекращения попыток создания AGI.- Artificial Narrow Intelligence (ANI, Narrow AI) — специализируется в одной области, решает одну проблему.
- Artificial General Intelligence (AGI, Strong AI) — способен выполнять большинство из задач, на которые способен человек.
- Artificial Super Intelligence (ASI) — превосходит возможности интеллекта любого из людей, способен решать сложные задачи моментально.
Nehc
21.09.2022 22:35+1>>> но анализ AGI выявит в ней уязвимости с доступом к реальности.
Еще раз: какой у персонажа компьютерной игры доступ к реальности? Помимо гипотетической внушаемости неких "наблюдателей", коих в пределе может и не быть! Ну раз уж мы обсуждаем пусть гипотетический, но строгий умозрительный эксперимент - как вы это себе представляете?
>>> решения, найденные AGI и примененные в реальности, вызовут негативные последствия-немедленные или отложенные.
Воот... Это гораздо более вероятно. Но это при условии, что AGI в симуляции продвинулся настолько, что мы не можем валидировать его стратегию, не можем достаточно адекватно оценить/просчитать и просто тупо воспроизводим. Не могу пока понять, насколько это реально. Но предполагаю, что если это что-то из физики частиц или каких-то полей - такое й принципе возможно. Но это вроде бы не намного более рискованно, как если бы AGI Проводил подобные эксперименты в реале.
Wizard_of_light
22.09.2022 07:10+1Еще раз: какой у персонажа компьютерной игры доступ к реальности?
Нуу, мы же тут говорим не о тупом NPC, а о некоем универсальном решателе проблем. Сколько бы слоев абстракции там не лежало, но в итоге все мысли и действия этого решателя будут представлены реальными изменениями в "железе". В пределе фантазий это "восстание машин" - прорыв ИИ в информационную сеть и перехват управления промышленной инфраструктурой. Или даже самой социально-политической структурой общества.
это вроде бы не намного более рискованно, как если бы AGI проводил подобные эксперименты в реале.
Тут мне кажется особо не будет играть роли, кто будет проводить эксперимент в реале. Более того, отсутствие прямой обратной связи может сделать человечество защитной прокладкой между проблемами реальности и ИИ в песочнице.
0NNN0 Автор
22.09.2022 10:08Хм... Интересная мысль. Но все равно: переход от "все мысли и действия этого решателя будут представлены реальными изменениями в железе" к "восстание машин - прорыв ИИ в информационную сеть и перехват управления промышленной инфраструктурой" слишком резкий! Есть прецеденты использования уязвимости среды для запуска инъекций (в нашем мире это, кстати, эквивалентно ритуальной магии! ???? ), но во-первых, это конкретная прям уязвимость, во-вторых, ее практически не возможно обнаружить из игры - только при доступе к исходникам, памяти и прочим железным штукам снаружи.
qw1
22.09.2022 09:43+3Статья очень уж теоретическая. Потому что AGI гораздо ближе, чем полная симуляция нашего мира со всей физикой (химией, биологией и т.д.). Так что, AGI сделают, а песочницы для его не будет ещё несколько столетий.
0NNN0 Автор
22.09.2022 10:17Согласен, но...
В том-то и дело, что AGI близко, а проблемы безопасности все те же. Единой концепции как сделать так, что бы потом не пожалеть не просматривается, а сценариев апокалипсиса с участием Сильного ИИ - вагон.
В то же время, при определенном подходе симуляцию возможно не должна быть такой уж детальной... Одно из свойств разума - достраивать целое по части и заполнять пробелы через интерполяцию и обобщение. ???? Наша задача в первом приближении сделать практически любую симуляцию, а дальше можно уточнять параметры по мере необходимости и поставленных задач. ????♂️
dolovar
22.09.2022 10:48AGI близко
Ой ли? Железу еще сильно далеко даже до симуляции таракана, насколько я знаю.0NNN0 Автор
22.09.2022 11:17Думаю до 2030-го года появится. Но тут еще зависит от ряда чисто формальных моментов: что считать AGI, что не считать... А то может технически все быть готовым, но работать в таком режиме, что вроде и не AGI Ни разу.
agat000
Если есть принципиальная возможность для человека "выпустить демона" - значит система дырявая по умолчанию. Человек - ненадежное звено любой системы безопасности. "Демон" может и не знать про человеков, а вот человек про него знает. Если там выросло и развилось что то реально мощное, то выпустить его можно по самым разным причинам. Переклинило человечка и все (девушка бросила, уволили, вступил в Гринпис). Вчера буквально статья была, про первые вирусы. Ну по приколу было накозлить кому то.
0NNN0 Автор
Выпустить - нельзя. Но сложно защитится от его влияния, если ты можешь с ним общаться. ;) Это же классический сюжет.