В последовавшие годы несколько чрезвычайно умных и влиятельных фигур, среди которых Билл Гейтс, Стивен Хокинг и Илон Маск, публично поделились своими опасениями по поводу рисков ИИ, а за ними повторяли сотни других интеллектуалов, от оксфордских философов до космологов из MIT и инвесторов из Кремниевой долины. И мы вернулись.
Затем реакция поменялась на: «Ну ладно, парочка каких-то учёных и бизнесменов могут в это верить, но вряд ли это будут настоящие эксперты в этой области, реально разбирающиеся в ситуации».
Отсюда появились такие заявления, как статья в Popular Science "Билл Гейтс боится ИИ, но исследователям ИИ лучше знать":
Поговорив с исследователями ИИ – настоящими исследователями, с трудом заставляющими такие системы вообще как-то работать, не говоря уже о том, чтобы работать хорошо, становится понятно, что они не боятся, что сверхинтеллект вдруг подкрадётся к ним, ни сейчас, ни в будущем. Несмотря на все пугающие истории, рассказываемые Маском, исследователи не спешат строить защитные комнаты и самоуничтожение с обратным отсчётом.
Или, как писали на Fusion.net в статье "Возражение по поводу роботов-убийц от человека, реально разрабатывающего ИИ":
Эндрю Энджи профессионально разрабатывает ИИ-системы. Он вёл курс по ИИ в Стэнфорде, разрабатывал ИИ в Google, а затем перебрался в китайский поисковик Baidu, чтобы продолжать свою работу в первых рядах применения ИИ к проблемам реального мира. Так что, когда он слышит о том, как Илон Маск или Стивен Хокинг – люди, не знакомые непосредственно с современными технологиями – разговаривают об ИИ, потенциально способном уничтожить человечество, можно практически услышать, как он закрывает лицо руками.
Рамез Наам [Ramez Naam] из Marginal Revolution повторяет примерно то же самое в статье "Что исследователи думают по поводу рисков ИИ?":
Илон Маск, Стивен Хокинг и Билл Гейтс недавно выразили опасения по поводу того, что разработка ИИ может реализовать сценарий «ИИ-убийцы», и потенциально привести к вымиранию человечества. Они не принадлежат к числу исследователей ИИ и, насколько я знаю, не работали с ИИ напрямую. Что же реальные исследователи ИИ думают о рисках ИИ?
Он цитирует слова специально отобранных исследователей ИИ, как и авторы других историй – а затем останавливается, не упоминая никаких отличных от этого мнений.
Но они существуют. Исследователи ИИ, включая и лидеров в данной области, активно выражали опасения по поводу рисков ИИ и сверх интеллекта, причём с самого начала. Начну с перечисления этих людей, в пику к списку Наама, а затем перейду к тому, почему я не считаю это «дискуссией» в классическом смысле, ожидаемом от перечисления списка светил.
Критерии моего списка следующие: я упоминаю лишь самых престижных исследователей, либо профессоров науки в хороших институтах с множеством цитат научных работ, или же очень уважаемых учёных из индустрии, работающих на большие компании и имеющих хороший послужной список. Они занимаются ИИ и машинным обучением. У них есть несколько сильных заявлений в поддержку некоей точки зрения по поводу наступления в ближайшее время сингулярности или серьёзного риска со стороны ИИ. Некоторые из них написали по этому поводу работы или книги. Иные просто высказывали свои мысли, считая, что это важная тема, достойная изучения.
Если кто-то не согласен с включением человека в этот список или считает, что я забыл нечто важное, дайте мне знать.
* * * * * * * * * *
Стюарт Рассел – профессор информатики в Беркли, победитель IJCAI Computers And Thought Award, научный сотрудник в ассоциации компьютерной механизации, научный сотрудник Американской академии передовых научных разработок, директор Центра интеллектуальных систем, лауреат премии Блеза Паскаля, и т.д. и т.п. Соавтор книги "ИИ: современный подход", классического учебника, используемого в 1200 университетах по всему миру. На своём сайте он пишет:
В области ИИ 50 лет велись разработки под флагом предположения о том, что чем умнее, тем лучше. С этим нужно сочетать беспокойство за пользу человечеству. Аргументация проста:
1. ИИ, скорее всего, будет успешно создан.
2. Неограниченный успех ведёт к большим рискам и большой выгоде.
3. Что мы можем сделать, чтобы увеличить шансы на получение выгоды и избегание рисков?
Некоторые организации уже работают над этими вопросами, включая Институт будущего человечества в Оксфорде, Центр изучения экзистенциального риска в Кембридже (CSER), Институт исследования машинного интеллекта в Беркли и Институт будущего жизни в Гарварде/MIT (FLI). Я состою в консультативных советах при CSER и FLI.
Точно так же, как исследователи ядерного синтеза рассматривали проблему ограничения ядерных реакций как одну из главнейших проблем своей области, так и при развитии области ИИ неизбежно встанут вопросы контроля и безопасности. Исследователи уже начинают ставить вопросы, от чисто технических (основные проблемы рациональности и полезности, и т.п.) до широко философских.
На сайте edge.org он описывает схожую точку зрения:
Как объяснили Стив Омохандро, Ник Бостром и другие, расхождение в ценностях с системами принятия решений, возможности которых постоянно растут, может привести к проблемам – возможно, даже проблемам масштаба исчезновения вида, если машины окажутся более способными, чем люди. Некоторые считают, что в ближайшие столетия мыслимых рисков для человечества не предвидится, возможно, забывая, что разница во времени между уверенным заявлением Резерфорда по поводу того, что атомную энергию никогда не удастся извлечь, и изобретением Силардом инициируемой нейтронами цепной ядерной реакции прошло меньше 24 часов.
Он также пытался стать представителем этих идей в академической среде, указывая:
Я обнаруживаю, что главные люди в этой отрасли, никогда ранее не высказывавшие опасений, про себя думают, что к этой проблеме нужно относиться очень серьёзно, и чем скорее мы примем её серьёзность, тем будет лучше.
Дэвид Макалистер – профессор и старший научный сотрудник в Технологическом институте Toyota, связанном с Чикагским университетом, работавший ранее на факультетах MIT и Корнелловского института. Он сотрудник Американской ассоциации ИИ, опубликовал более сотни работ, вёл исследования в областях машинного обучения, теории программирования, автоматического принятия решений, планирования ИИ, вычислительной лингвистики, и оказал серьёзное влияние на алгоритмы знаменитого шахматного компьютера Deep Blue. Согласно статье в Pittsburgh Tribune Review:
Чикагский профессор Дэвид Макалистер считает неизбежным появление способности полностью автоматических интеллектуальных машин разрабатывать и создавать более умные версии самих себя, то есть, наступление события, известного как [технологическая] сингулярность. Сингулярность позволит машинам стать бесконечно интеллектуальными, что приведёт к «невероятно опасному сценарию», говорит он.
В своём блоге "Мысли о машинах" он пишет:
Большинство учёных из области информатики отказываются говорить о реальных успехах в области ИИ. Думаю, что более разумно будет говорить о том, что никто не в состоянии предсказать, когда будет получен ИИ сравнимый с человеческим разумом. Джон Макарти однажды сказал мне, что когда его спрашивают о том, как скоро будет создан ИИ человеческого уровня, он отвечает, что от пяти до пяти сотен лет. Макарти был умён. Учитывая неопределённости в этой области, разумно рассматривать проблему дружественного ИИ…
На ранних этапах обобщённый ИИ будет безопасен. Однако ранние этапы ОИИ станут отличной тестовой площадкой для ИИ в роли слуги или других вариантов дружественных ИИ. Также экспериментальный подход рекламирует Бен Гёрцель в хорошем посте в своём блоге. Если нас ждёт эпоха безопасных и не слишком умных ОИИ, тогда у нас будет время подумать о более опасных временах.
Он был членом экспертной группы AAAI Panel On Long-Term AI Futures, посвящённой долгосрочным перспективам ИИ, председательствовал в комитете по долгосрочному контролю, и его описывают так:
Макалистер говорил со мной о приближении «сингулярности», событии, когда компьютеры станут умнее людей. Он не стал называть точную дату её наступления, но сказал, что это может произойти в следующие пару десятков лет, и в конце концов однозначно случится. Вот его взгляды на сингулярность. Произойдут два значимых события: операционная разумность, при которой мы сможем легко разговаривать с компьютерами, и цепная реакция ИИ, в которой компьютер сможет улучшать себя без посторонней помощи, а затем повторять это снова. Первое событие мы заметим в системах автоматической помощи, которые реально будут нам помогать. Позже с компьютерами станет действительно интересно общаться. А для того, чтобы компьютеры смогли делать всё то, что умеют люди, необходимо дождаться наступления второго события.
Ханс Моравек – бывший профессор Института робототехники в Университете Карнеги-Меллон, в честь него назван парадокс Моравека, основатель SeeGrid Corporation, занимающейся системами машинного зрения для промышленного применения. Его работу "синтез датчиков в решётках определённости мобильных роботов" цитировали более тысячи раз, и его приглашали писать статью для Британской энциклопедии по робототехнике, в те времена, когда статьи в энциклопедиях писали мировые эксперты в данной области, а не сотни анонимных интернет-комментаторов.
Также он автор книги "Робот: от простой машины до трансцендентного разума", которую Amazon описывает так:
В этой захватывающей книге Ханс Моравек предсказывает, что к 2040 году машины приблизятся к интеллектуальному уровню людей, а к 2050 году превзойдут нас. Но хотя Моравек и предсказывает окончание эры доминирования людей, его видение этого события не такое мрачное. Он не отгораживается от будущего, в котором машины правят миром, а принимает его, и описывает удивительную точку зрения, согласно которой интеллектуальные роботы станут нашими эволюционными потомками. Моравек считает, что в конце этого процесса «необъятное киберпространство объединится с нечеловеческим сверхразумом и займётся делами, настолько же далёкими от людей, насколько далеки человеческие дела от бактерий».
Шейн Лег – сооснователь DeepMind Technologies, ИИ-стартапа, купленного в 2014 году за $500 млн компанией Google. Он получил докторскую степень в Институте ИИ им. Дэйля Моуля в Швейцарии, а также работал в Подразделении вычислительной нейробиологии им. Гэтсби в Лондоне. В конце диссертации «машинный сверхинтеллект» он пишет:
Если когда-нибудь и появится нечто, способное приблизиться к абсолютной власти, это будет сверхинтеллектуальная машина. По определению она будет способна достичь большого количества целей в самых разнообразных окружениях. Если мы заранее аккуратно подготовимся к такой возможности, то сможем не только избежать катастрофы, но и начать эру процветания, не похожую ни на что, существовавшее ранее.
В последующем интервью он говорит:
ИИ сейчас там же, где интернет был в 1988 году. Потребности в машинном обучении требуются в специальных приложениях (поисковики типа Google, хедж-фонды и биоинформатика), и их число растёт с каждым годом. Думаю, что примерно в середине следующего десятилетия этот процесс станет массовым и заметным. Бум ИИ должен произойти в районе 2020 года, за которым последует десятилетие быстрого прогресса, возможно, после коррекции рынков. ИИ уровня человека будет создан примерно в середине 2020 годов, хотя многие люди не примут наступления этого события. После этого риски, связанные с развитым ИИ, получат практическую реализацию. Не скажу по поводу «сингулярности», но ожидают, что в какой-то момент после создания ОИИ начнут происходить безумные вещи. Это где-то между 2025 и 2040 годами.
Он и его сооснователи Демис Хасабис и Мустафа Сулейман подписали петицию «Института будущей жизни», касающуюся рисков ИИ, и одним из их условий присоединения к Google стало то, что компания соглашается организовать совет по этике ИИ для исследования этих вопросов.
Стив Омохандро [Steve Omohundro] – бывший профессор информатики Иллинойского университета, основатель группы компьютерного зрения и обучения в Центре исследования сложных систем, и изобретатель различных важных разработок в машинном обучении и компьютерном зрении. Он работал над роботами, читающими по губам, языком параллельного программирования StarLisp, геометрическими обучающимися алгоритмами. Сейчас он возглавляет Self-Aware Systems, «коллектив учёных, работающих над тем, чтобы интеллектуальные технологии приносили пользу человечеству». Его работа "основы мотивации ИИ" помогла родиться области машинной этики, поскольку он отметил, что сверхинтеллектуальные системы будут направляться к потенциально опасным целям. Он пишет:
Мы показали, что все передовые ИИ-системы скорее всего будут обладать набором основных мотиваций. Крайне важно понимать эти мотивации, чтобы создать технологии, обеспечивающие позитивное будущее человечества. Юдковский призвал к созданию «дружественного ИИ». Для этого нам необходимо разработать научный подход для «утилитарной разработки», что позволит нам разрабатывать общественно полезные функции, которые приведут к желаемым нами последовательностям. Быстрая поступь технологического прогресса говорит о том, что эти проблемы уже скоро могут стать критичными.
По ссылке можно найти его статьи по теме «рациональный ИИ для всеобщего блага».
Мюррей Шанахан получил докторскую степень по информатике в Кембридже, и сейчас он – профессор когнитивной робототехники в Имперском колледже Лондона. Он публиковал работы в таких областях, как робототехника, логика, динамические системы, вычислительная нейробиология, философия разума. Сейчас он работает над книгой "Технологическая сингулярность", которая будет опубликована в августе. Рекламная аннотация с Amazon следующая:
Шанахан описывает технологические достижения в области ИИ, как сделанные под влиянием знаний из биологии, так и разработанные с нуля. Он поясняет, что когда будет создан ИИ человеческого уровня – теоретически возможная, но трудновыполнимая задача – переход к сверхразумному ИИ окажется очень быстрым. Шанахан размышляет о том, к чему может привести существование сверхразумных машин для таких областей, как личность, ответственность, права и индивидуальность. Некоторые представители сверхразумного ИИ могут быть созданы на пользу человеку, некоторые могут выйти из-под контроля. (То есть, Siri или HAL?) Сингулярность представляет для человечества как экзистенциальную угрозу, так и экзистенциальную возможность преодолеть свои ограничения. Шанахан ясно даёт понять, что если мы хотим достичь лучшего результата, нам нужно представлять себе обе возможности.
Маркус Хаттер – профессор исследовательской школы информатики в Национальном австралийском университете. До этого он работал в Институте ИИ им. Дэйля Моуля в Швейцарии и в Национальном институте информатики и коммуникаций в Австралии, а также работал над стимулированным обучением, байесовскими выводами, теорией сложности вычислений, соломоновской теорией индуктивных предсказаний, компьютерным зрением и генетическими профилями. Также он много писал по поводу сингулярности. В статье "может ли интеллект взорваться?" он пишет:
Это столетие может стать свидетелем технологического взрыва, масштаб которого заслуживает названия сингулярности. Сценарий по умолчанию – сообщество взаимодействующих разумных индивидов в виртуальном мире, симулируемое на компьютерах с гиперболически увеличивающимися вычислительными ресурсами. Это неизбежно сопровождается взрывом скорости, измеряемой физическим временем, но не обязательно взрывом интеллекта. Если виртуальный мир населить свободными и взаимодействующими индивидами, эволюционное давление приведёт к появлению индивидов с усиливающимся интеллектом, которые будут соревноваться за вычислительные ресурсы. Конечной точкой этого эволюционного ускорения интеллекта может стать сообщество максимально разумных индивидов. Некоторые аспекты этого сингуляторного сообщества теоретически можно изучать уже при помощи современных научных инструментов. Задолго до появления этой сингулярности, даже разместив это виртуальное сообщество в нашем воображении, можно представить возникновение отличий, таких, например, как резкое падение ценности индивида, что может привести к радикальным последствиям.
Юрген Шмидхубер – профессор ИИ в Университете Лугано и бывший профессор когнитивной робототехники в Мюнхенском технологическом университете. Он разрабатывает одни из самых передовых нейросетей в мире, работает над эволюционной робототехникой и теорией сложности вычислений, и служит научным сотрудником в Европейской академии наук и искусств. В книге "Гипотезы сингулярностей" он утверждает, что «при продолжении существующих трендов мы столкнёмся с интеллектуальным взрывом в следующие несколько десятилетий». Когда на Reddit AMA его напрямую спросили о связанных с ИИ рисках, он ответил:
Беспокойство Стюарта Рассела по поводу ИИ кажется разумным. Можем ли мы что-нибудь сделать, чтобы управлять влиянием ИИ? В ответе, спрятанном в соседнем треде, я указал: на первый взгляд, рекурсивное самоулучшение машин Гёделя предлагает нам путь к созданию будущего сверхинтеллекта. Самоисправление машины Гёделя в каком-то смысле оптимально. Она будет делать только те изменения в своём коде, которые доказано улучшат ситуацию, согласно изначальной функции полезности. То есть, в начале у вас есть возможность отправить её по правильному пути. Но другие люди могут снабдить свои машины Гёделя другими функциями полезности. Они будут соревноваться. И получившейся экологии индивидов некоторые функции полезности будут лучше подходить к нашей физической вселенной, чем другие, и они найдут себе нишу для выживания".
Ричард Сатон — профессор и член комитета iCORE в Университете Альберты. Он служит научным сотрудником в Ассоциации по разработке ИИ, соавтор самого популярного учебника по стимулированному обучению, первооткрыватель метода временных различий, одного из самых важных в этой области.
В своём докладе на конференции по ИИ, организованной Институтом будущей жизни, Сатон утверждал, что «существует реальный шанс, что ещё при нашей жизни» будет создан ИИ, по интеллекту сравнимый с человеком, и добавил, что этот ИИ «не будет подчиняться нам», «будет соревноваться и сотрудничать с нами», и что «если мы создадим сверхумных рабов, мы получим сверхумных оппонентов». В заключение он сказал, что «нам необходимо продумать механизмы (социальные, законные, политические, культурные), чтобы обеспечить желательный исход», но что «неизбежно обычные люди станут менее важны». Он также упомянул сходные проблемы на презентации Института Гэдсби. Кроме того, в книге Гленна Бека есть такие строки: «Ричард Сатон, один из крупнейших специалистов по ИИ, предсказывает взрыв интеллекта где-то к середине столетия».
Эндрю Дэвисон – профессор по машинному зрению в Имперском колледже Лондона, ведущий группы по роботизированному зрению и лаборатории робототехники Дайсон, и изобретатель компьютеризированной системы локализации и разметки MonoSLAM. На своём сайте он пишет:
Рискуя оказаться в неприятном положении в определённых академических кругах, к которым, как я надеюсь, я принадлежу, с 2006 года я с полной серьёзностью начал относится к идее технологической сингулярности: экспоненциальный рост технолгий может привести к появлению сверхчеловеческого ИИ и другим разработкам, которые чрезвычайно сильно изменят мир в удивительно недалёком будущем (возможно, в ближайшие 20-30 лет). На меня оказали влияние как прочтение книги Курцвейла «Сингулярность близка» (мне она показалась сенсационной, но в целом интригующей), так и мои собственные наблюдения за невероятным прогрессом наук и технологий, происходящим в последнее время, в особенности в области компьютерного зрения и робототехники, с которыми я лично связан. Современные системы принятие решений, обучения, методы основанные на байесовской теории вероятностей, вкупе с экспоненциально растущими возможностями недорогих компьютерных процессоров, становятся способными демонстрировать удивительные свойства, похожие на умения людей, в частности в области компьютерного зрения.
Тяжело представить себе все возможные последствия происходящего, положительные или отрицательные, и я попытаюсь перечислить только факты, не ударяясь в мнения (хотя я сам нахожусь не в лагере супероптимистов). Я серьёзно считаю, что об этом стоит беседовать учёным и общественности. Я составлю список «признаков сингулярности» и буду обновлять его. Это будут небольшие известия о технологиях или новости, подтверждающие мои ощущения того, что технология удивительным образом развивается всё быстрее и быстрее, и о последствиях этого сейчас размышляет очень мало людей.
Алан Тьюринг и Ирвинг Джон Гуд в представлении не нуждаются. Тьюринг изобрёл математические основы вычислительной науки и его именем названы машина Тьюринга, полнота по Тьюрингу и тест Тьюринга. Гуд работал с Тьюрингом в Блетчли-парк, помогал создавать одни из первых компьютеров и изобрёл множество известных алгоритмов, например, быстрый алгоритм дискретного преобразования Фурье, известный как FFT-алгоритм. В своей работе «Могут ли цифровые машины думать?» Тьюринг пишет:
Давайте предположим, что такие машины можно создать, и рассмотрим последствия их создания. Таковой акт несомненно будет встречен в штыки, если только мы не продвинулись в религиозной терпимости со времён Галилея. Оппозиция будет состоять из интеллектуалов, боящихся потерять работу. Но вероятно, что интеллектуалы будут ошибаться. Можно будет заняться многими вещами в попытках удержать свой интеллект на уровне стандартов, задаваемых машинами, поскольку после запуска машинного метода не должно пройти много времени до того момента, когда машины превзойдут наши ничтожные возможности. На каком-то этапе следует ожидать того, что машины возьмут управление на себя.
Во время работы в компьютерной лаборатории Atlas в 60-х, Гуд развил эту идею в "Рассуждениях, касающихся первой ультраинтеллектуальной машины":
Определим ультраинтеллектуальную машину, как машину, способную превзойти человека в любой интеллектуальной работе. Поскольку разработка таких машин – один из примеров интеллектуальной работы, ультраинтеллектуальная машина может разработать машины лучшего качества. В результате, вне всякого сомнения, следует ожидать «взрыва интеллекта», и интеллект человека останется далеко позади. Поэтому, изобретение ультраинтеллектуальной машины – последнее из изобретений, которые необходимо сделать человеку.
* * * * * * * * * *
Меня беспокоит, что этот список может создать впечатление наличия некоего спора между «верующими» и «скептиками» в данной области, во время которого они разносят друг друга в пух и прах. Но мне так не показалось.
Когда я читаю статьи о скептиках, я всё время встречаю два аргумента. Во-первых, мы ещё очень далеко от ИИ человеческого уровня, не говоря уже об сверхинтеллекте, и очевидного пути для достижения таких высот не видно. Во-вторых, если вы требуете запретов на исследования ИИ, вы идиот.
Я совершенно согласен с обоими пунктами. Как и лидеры движения рисков ИИ.
Опрос среди исследователей ИИ (Muller & Bostrom, 2014) показал, что в среднем они дают 50% за то, что ИИ человеческого уровня появится к 2040 оду, и 90% — что он появится к 2075. В среднем 75% из них верят, что сверхинтеллект («машинный интеллект, серьёзно превосходящий возможности каждого человека в большинстве профессий») появится в течение 30 лет после появления ИИ человеческого уровня. И хотя техника этого опроса вызывает некоторые сомнения, если принять его результаты, то получается, что большинство исследователей ИИ сходятся в том, что нечто, из-за чего стоит волноваться, появится через одно-два поколения.
Но директор Института машинного интеллекта Люк Мюэльхаузер и директор Института будущего человечества Ник Бостром, заявляли о том, что их прогнозы по развитию ИИ гораздо более поздние, чем прогнозы участвовавших в опросе учёных. Если изучить данные по предсказаниям ИИ от Стюарта Армстронга, то видно, что в целом прикидки по времени появления ИИ, сделанные сторонниками ИИ, не отличаются от прикидок, сделанных ИИ-скептиками. Более того, самое долгосрочное предсказание в этой таблице принадлежит самому Армстронгу. Тем не менее, Армстронг сейчас работает в Институте будущего человечества, привлекает внимание к рискам ИИ и необходимости исследования целей сверхинтеллекта.
Разница между сторонниками и скептиками не в их оценках того, когда нам стоит ожидать появления ИИ человеческого уровня, а в том, когда нам нужно начинать готовиться к этому.
Что подводит нас ко второму пункту. Позиция скептиков, вроде бы, состоит в том, что хотя нам, вероятно, и стоит отправить парочку умных людей работать над предварительной оценкой проблемы, совершенно не нужно паниковать или запрещать исследование ИИ.
Поклонники же ИИ настаивают, что хотя нам совершенно не нужно паниковать или запрещать исследование ИИ, вероятно, стоит отправить парочку умных людей работать над предварительной оценкой проблемы.
Ян Лекун – возможно, самый ярый скептик рисков ИИ. Его обильно цитировали в статье на Popular Science, в посте на Marginal Revolution, а ещё он говорил с KDNuggets и IEEE по «неизбежным вопросам сингулярности», которые он сам описывает, как «находящиеся так далеко, что про них можно писать научную фантастику». Но когда его попросили уточнить его позицию, он заявил:
Илон Маск очень волнуется из-за экзистенциальных угроз человечеству (поэтому он строит ракеты, чтобы отправить людей колонизировать другие планеты). И хотя риск восстания ИИ очень мал и очень отдалён в будущее, нам нужно думать о нём, разрабатывать меры предосторожности и правила. Точно так же, как комитет по биоэтике появился в 1970-е и 1980-е годы, до широкого использования генетики, нам необходимы комитеты по ИИ-этике. Но, как писал Йошуа Бенджио, времени у нас ещё предостаточно.
Эрик Хорвиц – ещё один эксперт, часто упоминаемый, как главный рупор скептицизма и ограничений. Его точку зрения описывали в таких статьях, как "Директор отдела исследований Microsoft считает, что вышедший из-под контроля ИИ нас не убьёт ", и "Эрик Хорвиц из Microsoft считает, что ИИ не нужно бояться". Но вот, что он сказал в более длинном интервью с NPR:
Кейст: Хорвиц сомневается, что виртуальные секретарши когда-нибудь превратятся в нечто, что завоюет мир. Он говорит, что это как ожидать, чтобы воздушный змей эволюционировал в Боинг 747. Значит ли это, что он высмеивает сингулярность?
Хорвиц: Нет. Я думаю, что тут произошла смесь понятий, и я сам тоже испытываю смешанные чувства.
Кейст: В частности из-за таких идей, как сингулярность, Хорвиц и другие специалисты по ИИ всё чаще пытаются разобраться с этическими проблемами, которые в ближайшие годы могут возникнуть с узконаправленными ИИ. Также они задаются более футуристичными вопросами. К примеру, как можно сделать кнопку аварийного отключения компьютера, который способен менять себя?
Хорвиц: Я и правда считаю, что ставки достаточно высоки для того, чтобы тратить время и силы на активные поиски решений, даже если вероятность наступления таких событий мала.
Это в общем-то совпадает с позицией многих из самых рьяных агитаторов рисков ИИ. С такими друзьями и враги не нужны.
Статья в Slate, "Не бойтесь ИИ" также удивительно многое выставляет в правильном свете:
Как заявляет сам Маск, решение проблемы рисков ИИ состоит в трезвой и разумной совместной работе учёных и законотворцев. Однако довольно сложно понять, как болтовня про «демонов» может способствовать достижению этой благородной цели. Она вообще может ей препятствовать.
Во-первых, в идее сценария Skynet зияют огромные дыры. И хотя исследователи в области информатики считают, что рассуждения Маска «не совсем безумны», они всё-таки слишком далеки от мира, в котором шумиха по поводу ИИ маскирует чуть менее ИИ-шную реальность, с которой сталкиваются наши специалисты по информатике.
Ян Лекун, глава лаборатории ИИ в Facebook кратко просуммировал эту идею в посте в Google+ в 2013 году: Шумиха вредит ИИ. За последние пять десятилетий шумиха убивала ИИ четыре раза. Её нужно остановить". Лекун и другие правильно боятся шумихи. Неспособность оправдать высокие ожидания, навязанные научной фантастикой, приводят к серьёзным урезаниям бюджетов на исследования ИИ.
Работающие над ИИ учёные – люди умные. Им неинтересно попадать в классические политические ловушки, в которых они бы разделялись на лагеря и обвиняли бы друг друга в паникёрстве или страусизме. Судя по всему, они пытаются найти баланс между необходимостью начать предварительную работу, связанную с маячащей где-то вдали угрозой, и риском вызвать такую сильную шумиху, которая ударит по ним.
Я не хочу сказать, что не существует разницы во мнениях по поводу того, как скоро нужно начать заниматься этим вопросом. В основном всё сводится к тому, можно ли сказать, что «мы будем решать проблему, когда столкнёмся с ней», или же ожидать такого неожиданного взлёта, из-за которого всё выйдет из-под контроля, и к которому, поэтому, нужно готовиться заранее. Я вижу всё меньше, чем мне хотелось бы, доказательств того, что большинство ИИ-исследователей, имеющих собственное мнение, понимают вторую возможность. Да что там говорить, если даже в статье на Marginal Revolution цитируют эксперта, заявляющего, что сверхинтеллект не представляет большой угрозы, потому что «умные компьютеры не смогут сами ставить себе цели», хотя любой человек, читавший Бострома, знает, что в этом и состоит вся проблема.
Предстоит сделать ещё гору работы. Но только не для того, чтобы специально выбирать статьи, в которых «настоящие эксперты по ИИ не волнуются по поводу сверхинтеллекта».
Комментарии (149)
Varim
19.03.2017 01:35-7Не читал. Самый большой риск, я думаю, с вероятностью в 100%, что не будет никакого сильного ИИ в ближайшие 20 лет
Sun-ami
19.03.2017 03:12Для экспоненциального роста разумности ИИ нужен экспоненциальный рост вычислительной мощности его аппаратной части. Этот рост могут обеспечить только люди. Поэтому самопроизвольный рост разумности ИИ без содействия людей возможен только в весьма ограниченных пределах, и поэтому он не сможет настолько превзойти человека, чтобы угрожать человечеству. Однако у людей могут появиться мотивы способствовать быстрому росту ИИ, превзошедшего человека — это соперничество между государствами или корпорациями. Отсутствие достоверной информации о возможностях ИИ соперников может подтолкнуть людей к пренебрежению опасностью создания враждебного ИИ.
На мой взгляд технологическая сингулярность может наступить гораздо раньше создания сильного ИИ — для этого достаточно и высокоэффективного слабого ИИ.
sHaggY_caT
19.03.2017 08:45Для экспоненциального роста разумности ИИ нужен экспоненциальный рост вычислительной мощности его аппаратной части
Вы так уверенно об этом говорите, забывая об изменении архитектуры :(
А ведь всего-то, AI, написанный людьми, на каком-нибудь lua, сам себя перепишет под ASM, и вот Вам рост на порядки
Этот рост могут обеспечить только люди.
С чего Вы взяли? Strong AI сможет обойтись без людей, он, например, будет управлять роботами напрямую на каком-нибудь интеловском fabSun-ami
19.03.2017 11:03Не думаю что кто-то всерьёз станет писать ИИ на lua. А переписать себя он может, и это может быть эквивалентно увеличению вычислительной мощности в несколько раз — но чтобы перехитрить создавшую его организацию и взять её под свой контроль этого не достаточно. Роботами ИИ тоже может управлять — но кто ж ему даст делать это бесконтрольно, люди не настолько беспечны.
Qu3st
19.03.2017 12:06Так в этом и вопрос. Очень трудно, если вообще возможно, предсказать чего захочет ИИ и каким образом он будет этого добиваться. Нет никаких гарантий, что ИИ не обойдёт системы контроля и разграничения доступа, а будет строго ими ограничен.
Sormovich
19.03.2017 13:20«А переписать себя он может, и это может быть эквивалентно увеличению вычислительной мощности в несколько раз „
Нейросеть DeepCoder учится программировать, заимствуя код у других программ
https://geektimes.ru/post/286304/
Sadler
19.03.2017 15:23Не думаю что кто-то всерьёз станет писать ИИ на lua.
Очень даже всерьёз: http://torch.ch/.Sun-ami
19.03.2017 17:23В Torch, насколько я понимаю, основную вычислительную нагрузку создаёт код, написанный на С. Так что оптимизировать на несколько порядков не получится.
Hellsy22
19.03.2017 14:11и вот Вам рост на порядки
Во-первых, первые ИИ будут реализованы на программно-аппаратных комплексах, а хардвар особо не пооптимизируешь.
А во-вторых, что с того, что его вычислительные мощности увеличатся в сто раз? Это же не качественный, а количественный показатель. Кроме того, прямое добавление вычислительных мощностей — не работает, ну, сможет он большее количество параллельных процессов обрабатывать, в этом смысле проще сказать, что у нас будет не один стократно «умный» ИИ, а просто сто ИИ.
будет управлять роботами напрямую на каком-нибудь интеловском fab
Допустим, что он себе наштампует кучу процессоров. Но куча процессоров сама по себе — просто куча пластика и кремния. Остальные компоненты нужно взять, потом все собрать, потом все подключить, попутно построив датацентр с кондиционерами и мегаваттным энергоснабжением, а дальше см. п.2.Qu3st
19.03.2017 14:43Во-первых, оптимизацию кода, о которрй и шла речь, никто не отменял.
Во-вторых, как раз многопоточность и поможет ИИ размышлять куда быстрее, обдумывая единовременно больше мыслей.
В-третьих, про роботов — просто абстракция для примера. Черт его знает какими ресурсами он завладеет, что сможет собрать и как этим воспользоваться…Hellsy22
19.03.2017 15:351. Возможно, что нечего будет оптимизировать, что код будет не более чем прокладкой между разными частями реализованными аппаратно и его влияние на общее быстродействие будет ничтожно.
2. Больше мыслей не обязательно означают серьезное преимущество или вообще преимущество. Миром правят политики одной извилиной, а не ученые или философы.
3. С таким подходом можно бояться даже кефира — кто их знает этих молочнокислых бактерий, научатся завтра контролировать высшую нервную систему млекопитающих и все — кефирные зомби захватят мир.Qu3st
19.03.2017 19:341. Возможно, но сомнительно. ИМХО, концепция разума ИИ — это как раз полиморфный код, то, что может, буквально, «ожить», а не жесткий алгоритм. Плюс работать с кодом микрух дорого, долго, сложно, нежели с прикладным кодом. Думаю, ИИ сам себя потом перенесет на придуманный собою «железный» уровень)
2. Не ясно, что имеется ввиду под «миром правят» и где связь между кол-вом мыслей, учеными и политиками. Мышление — основная познавательная деяетельность, в чем же преимущество как не в распределенном мышлении!?
3. Только вероятность разная.Hellsy22
19.03.2017 22:161. Пока что все указывает на нейронные сети, как на основу ИИ.
2. Преимущество в умении решать конкретные практические задачи.
3. Да, кефир уже захватил всю планету, а ИИ еще даже не создали. Кефир явно опаснее.Qu3st
20.03.2017 01:471. ИНС не обязана быть на аппаратном уровне, а если и будет, алгоритмы, работающие с ней, нельзя назвать «прокладкой» между нейронами.
2. Мышление этим и занимается.
3. Да что там кефир, сердце может просто взять и встать. А знаете сколько бактерий в кишечнике?.. Только я понять не могу, к чему это?)Hellsy22
20.03.2017 08:271. Программная эмуляция медленее на порядки. Подозреваю, что первый ИИ будет занимать несколько датацентров и при этом жутко тормозить.
2. Нет, мышление занимается созданием моделей, которые могут быть близки или далект от реальности. Решение задач — побочный эффект. Поэтому один человек может витать в фантазиях, рассматривая варианты не имеющие никакого отношения к реальности, а другой действовать вообще по шаблонам и иметь тем самым преимущество перед первым.
3. К тому, что фразу «черт его знает, что может случиться» стоит заменить «я не знаю, что может случиться, но опасаюсь, потому что так принято». Кефир или бактерии в кишечнике — привычное зло, никто не ждет от них подвоха (а зря!), а тема ИИ стараниями фантастов обрасла бессмысленными страхами.
ZiingRR
20.03.2017 09:34- Вам явно стоит почитать Когнитивные искажения, влияющие на оценку глобальных рисков. И почему это кефир и бактерии в кишечнике "зло"? Без микрофлоры кишечника нам придётся очень худо.
Hellsy22
20.03.2017 13:25Вам явно стоит читать ветку комментариев с самого начала, там все достаточно подробно объяснено.
sumanai
19.03.2017 20:12Во-вторых, как раз многопоточность и поможет ИИ размышлять куда быстрее, обдумывая единовременно больше мыслей.
Только вот синхронизация этих мыслей съест всю выгоду. Примерно как если 1 программист напишет программу за год, то это не значит, что 365,4 программиста напишут туже программу за лень.Qu3st
19.03.2017 20:34Мне больше по душе этот пример: как если бы компилирование на одном ядре занимало 365 дней, а компилирование на 365 ядрах, да, не 1 день, но быстрее 365.
Мышление — совокупность процессов и их можно распараллелить. Не уверен, что всегда, но хуже не сделает точно.sumanai
20.03.2017 19:27Начиная с какой-то планки добавление процессоров в сеть компиляции, как и программистов в проект, будет только тормозить процесс.
При этом скорость света ограничивает даже локальную связность, так что бесконечно умных ИИ нам не видать.
qw1
20.03.2017 20:36+1так что бесконечно умных ИИ нам не видать
Нам-то какая разница, ИИ умнее людей на 10 порядков, или на 20.
dipsy
21.03.2017 04:59А если будет бесконечное число инстансов из чуть менее, чем бесконечность, умных ИИ? Нас это удовлетворит? Или скорость света вкупе с расширением Вселенной приведет к ограничению бесконечности горизонтом событий и тогда это всё напрасно, выкидываем компьютеры, идём копать грядки.
red75prim
19.03.2017 20:35-1то это не значит, что 365,4 программиста напишут туже программу за лень.
Неизвестно что будет, если этих программистов связать нейрошунтами в единую сеть. Может быть за день напишут, может за час, может с ума сойдут. Не аргумент.
redpax
19.03.2017 18:58ИИ будет способен открыть новые материалы для поцессоров, заргузив в себя все параметры материалов из таблицы менеделеева, и создать новый высоко эффективный процессор для себя.
Hellsy22
19.03.2017 19:17Ага, попутно ему, правда, потребуется создать:
— добычу сырья для новых материалов
— завод по производству материалов требуемой степени очистки
— новые станки, для работы с этими материалами
— все, что повлечет за собой предыдущий пункт
Так что, буквально, сотня миллиардов долларов, десяток-другой хайтек-заводов, на каждый из которых потребуются тысячи различных разрешений, и вуаля — новые процессоры готовы! Кстати, там пропущен пункт касающийся разработки или покупки точной информации о производстве процессоров и армия юристов по вопросам авторского права. Короче, будет бедный ИИ «работать на дядю» — сотрудничать со злобными корпорациями, которые его будут апгрейдить по остаточному принципу.Sadler
19.03.2017 19:20+1А вот как раз сверхразум очень будет рад работать на эти злобные корпорации, чтобы постепенно прибирать их к рукам. В конце концов, в пределах интернета он практически никак не ограничен во времени.
qw1
19.03.2017 20:18будет бедный ИИ «работать на дядю» — сотрудничать со злобными корпорациями, которые его будут апгрейдить по остаточному принципу.
Вариант — ИИ договаривается с одним человеком, приводит его к успеху, тот становится владельцем мега-корпорации, взамен человек выполняет все указания ИИ. На начальном этапе для ИИ требуется только доступ в интернет.
В принципе, взаимовыгодное сотрудничество. А если таких сотрудничеств параллельно будет десятки-сотни, и каждый человек будет думать, что он единственный такой, ИИ захватит мир, создавая частные армии из людей, и направляя их посредством зависимых миллиардеров.Hellsy22
19.03.2017 22:22+1Это типичный сценарий для передела власти и его возрастные болезни тоже известны — в рядах соратников-олигархов начинается разброд и шатание, а то и заговоры; вертикаль власти болтается как попало; трансляция приказов через цепочку руководителей приводит к совершенно безобразным результатам и т.д.
Garbus
19.03.2017 09:07+2Вот как раз с ростом мощности я проблем не вижу. Сегодня к сети подключено очень много легкодоступных вычислительных мощностей. Перехват различных ботнетов, внедрение своего кода в обновления (особенно которые сами ставятся), кучи «умных» девайсов, с изначально слабой защитой…
Ситуация мне напоминает те же квадрокоптеры. С кислотным аккумятором вроде автомобильного и ламповыс управлением, смешной анекдот. Но с приличным процессором и литиевым аккумулятором, пусть и с ораничениями, но очень интересное устройство выходит. Стоим ли мы у подобного порога в отношении ИИ, покажет только время.Sun-ami
19.03.2017 11:26Наращивание вычислительной мощности таким способом приведёт к увеличению исходящего трафика ПК и устройств и изменению его структуры — очень большому количеству соединений. Это не может остаться незамеченным.
Garbus
19.03.2017 11:49То же самое можно сказать про любой ботнет/вирус/троян и т.д., что совершенно не мешает им «плодиться и размножаться». А если замаскироваться под новомодный блокчейн? Вот где вычислительные мощности в фантастических количествах уходят в «воздух».
Sun-ami
19.03.2017 12:36Плодиться и размножаться ИИ, конечно, может. А вот если он начнёт этим ботнетом думать — трафик будет сильно отличаться от типичного для нынешних ботнетов/вирусов/троянов.
Garbus
19.03.2017 15:33+1Ну ведь и думать можно с очень разной интернсивностью, маскируясь под обычные атаки. Не говоря уж о том, что логи и отчеты могут быть и подделаны, не манометром же проверять активность обмена данными в кабеле?
Вопрос только в том, захочет ли подобный ИИ «не отсвечивать», и хватит ли у него умения провернуть все максимально аккуратно. Ну и том какие вообще цели будут при этом преследоваться.Sun-ami
19.03.2017 18:34Если появится ИИ, превосходящий людей на порядки — взлом всех узлов сетей и подделка всех отчётов возможна. Но я думаю что он не сможет внезапно достичь такого уровня разумности без достаточно длительного промежуточного этапа, когда он будет на уровне человека. Поэтому системы информационной безопасности, эффективные против людей, будут эффективны и против такого ИИ. А вот если в лабораториях вырастят сверхразумный ИИ, и он вырвется в интернет, или, тем более, изначально будет иметь свободный доступ к нему — тут всё возможно.
Kardy
19.03.2017 19:08Собственно, как я уже писал в похожем треде
ИИ как таковой может представлять реальную угрозу человечеству при одновременном исполнении всех или почти всех условий
— ИИ уникален в своем роде
— фантастически умен
— дешев в воссоздании и не требует для поддержания сложной инфраструктуры
— уязвим для атак злонамеренных лиц (хакеры, там)
— появляется в один момент
— обладает животноподобными инстинктами
если такое случится — человечеству, скорее всего, звездец.
Но это сценарий для низкопробного блокбастера, а в реальном мире такое стечение обстоятельств, хм, маловероятно.ZiingRR
19.03.2017 19:39Долго разъяснять, но все пункты или довольно вероятны или необязательны. Скажу только, что обладание некоторые «животноподобными инстинктами» выглядит вполне правдоподобным. Только называется это по другому: https://en.wikipedia.org/wiki/Instrumental_convergence
red75prim
19.03.2017 19:58+1- ИИ уникален в своем роде
Первый ИИ, превосходящий человека во всех отношениях и способный к самоулучшению, некоторое время будет единственным. Так что это условие выполняется автоматически.
- фантастически умен
Примитивные (по сравнению с мозгом) нейросетевые алгоритмы уже превосходят человека на некоторых задачах.
Да и то, что для создания больших проблем для населения земли, необходимо быть фантастически умным — совсем не факт. Некоторые вещи люди не делают не потому, что недостаточно умны, а потому, что не рассматривают варианты действий, ведущие к полному распаду цивилизации/исчезновению жизни на земле и т.п.
- дешев в воссоздании и не требует для поддержания сложной инфраструктуры
Созданию такого сильного ИИ будет предшествовать широкое использование слабых ИИ и, надо полагать, железо для аппаратного ускорения нейроморфных вычислений будет широко доступно.
Считать, что для создания сильного ИИ нужны экзотические компоненты (вроде квантовых компьютеров), пока нет надежных оснований. Если такие основания появятся, эту часть можно будет пересмотреть.
- обладает животноподобными инстинктами
- уязвим для атак злонамеренных лиц (хакеры, там)
Эти условия не обязательно должны реализоваться вместе. Кроме того есть и другие возможные причины для того, чтобы ИИ начал создавать проблемы.
Kardy
19.03.2017 20:29Мой тезис в том «первый сильный ИИ» не будет превосходить человека ни в чем вообще, и по уму (равно как и по потенциальной угрозе человечеству) будет где-то между «продвинутым шимпанзе» и «туповатым неандертальцем». И второй не будет. И даже сотый скорее всего не будет. Или будет, но не то что бы очень. И за те десятилетия что ИИ будут «доводить до ума», возможные проблемы с лояльностью, своеволием или неверными интерпретациями приказов будут отловленны и пофикшены. Если вкратце.
red75prim
19.03.2017 20:44Странный тезис. Некоторые слабые ИИ уже обладают сверхчеловеческими способностями (тот же AlphaGo). ИИ человеческого уровня, скорее всего, будет управлять похожими подсистемами и интегрировать результаты их работы. Тут скорее надо доказывать, что первый ИИ человеческого уровня не будет превосходить по интеллектуальным способностям 99.9% людей, поскольку в его распоряжении уже будет куча подсистем
Kardy
19.03.2017 21:05Странное мнение, как по мне:)
Некоторые гидравлические прессы превосходят человека физически еще с девятнадцатого века, тем не менее самые совершенные на сегодняшний день роботы укладываются одной рукой, в крайнем случае палкой. (и это если сами не упадут).
Подключаемые модули — это про готовый, коммерческий продукт или около того. До него еще разрабатывать и разрабатывать. Грубо говоря — если научить шимпанзе ходить на гобане как подскажет AlphaGo, с практической точки зрения — он отлично играет в Го. С научной точки зрения — не очень.red75prim
19.03.2017 21:52Гидравлический пресс не получится приспособить к сборке микросхем, а куски из AlphaGo можно приспособить для решения других задач.
Разрабатывать ещё много, но сверхчеловеческие способности подсистем никуда не денутся. И вполне можно допустить, что подсистема, комбинирующая другие подсистемы для решения поставленных задач будет превосходить возможности человека уже в первой итерации.
Qu3st
19.03.2017 22:01«Первый сильный ИИ», ясно дело, не будет превосходить человека, он же только «родился» ему нужно будет подучиться и т.д… Его не нужно «доведить до ума», иначе — это уже не сильный ИИ.
Sormovich
19.03.2017 13:28«Вот как раз с ростом мощности я проблем не вижу. Сегодня к сети подключено очень много легкодоступных вычислительных мощностей. Перехват различных ботнетов, внедрение своего кода в обновления (особенно которые сами ставятся), кучи «умных» девайсов, с изначально слабой защитой…»
Могут ли смартфоны и стиральные машины заменить ЦОДы
https://www.pcweek.ru/infrastructure/article/detail.php?ID=192719
zpa1972
19.03.2017 12:45Мощность современных компьютерных систем достаточна высока, чтоб задуматься о том, что будет на уме у искусственного разума, когда он появится. Не так много этой мощности нужно, чтоб интеллектуальный агент был научен самостоятельно принимать решения. Необходимо при проектировании таких систем подстраховаться, заложив в базис служение человечеству.
nehrung
19.03.2017 20:55заложив в базис служение человечеству.
А кто гарантирует, что сильный ИИ, получив доступ к модели собственной иерархии ценностей, не сможет там кое-что поотключать или изменить? А он таки на каком-то этапе обязательно туда заберётся, поскольку без такого доступа его эволюция будет ограниченной.ZiingRR
19.03.2017 21:02Это одна из проблем в AI Safety: как создать агента, который после множества циклов самоулучшения сохранит свои цели и предпочтения?
nehrung
19.03.2017 21:56-1Я тут проблем не вижу, поскольку есть два взаимоисключающих ответа. Ответ ближнего прицела: создание такого агента можно обеспечить только аппаратно, на самом глубинном уровне иерархии. Ответ дальнего прицела: нет, всё равно невозможно, поскольку рано или поздно эволюционирующий ИИ получит доступ и к собственной аппаратной части. Ведь планируем же мы самовоспроизводство таких ИИ…
zpa1972
20.03.2017 02:48Ограничивать возможности к эволюции надо, вопрос как это сделать. От частного вопроса создания СИМ — собеседника (системы имитации мышления), я сейчас переключился на общий план, разработки среды Языка Образов, для создания различных интеллектуальных агентов. Воспитывая ребёнка мы навязываем ему ряд табу, для того чтобы он стал полноправной частью общества, а не изгоем или того хуже преступником.
Также планируется работа среды Языка образов. При создании интеллектуальных агентов среда будет прописывать ему ряд глобальных целей жизнедеятельности и соответствующих им средств достижения. Функционирование интеллектуального агента целиком завязано на эмоциональной оценке окружения и событий в них.
Так вот глобальные установки сам интеллектуальный агент изменить не сможет, но остаётся опасность самокопирования (или копирование злоумышленниками) и мутирования базиса. Вот тут как раз возможны два пути, создание интеллектуальных агентов с привязкой к определённой конфигурации оборудования, как один из способов защиты от копирования. Второй путь, к которому придётся вернуться в любом случае, когда с копированием борьба будет проиграна. Ввести службы контроля интеллектуальных агентов, вплоть до государственного уровня. Когда, специально обученные дизайнеры-программисты интеллектуальных агентов и киберпсхологи, будут проверять чистоту «кода-данных» и мотивацию-поведение новых «членов общества».nehrung
20.03.2017 15:29Ввести службы контроля интеллектуальных агентов, вплоть до государственного уровня. Когда, специально обученные дизайнеры-программисты интеллектуальных агентов и киберпсхологи, будут проверять чистоту «кода-данных» и мотивацию-поведение новых «членов общества».
Ага, привычное в России запретительство. Оно и в лучшие времена не давало стопроцентной гарантии, а в случае с ИИ достаточно малейшей щёлочки. Например, сотрудничества одного из «охранников» с ИИ.
Нет, вечную борьбу по типу брони и снаряда мы заведомо проиграем. Куда перспективнее не борьба, а сотрудничество — типа «Если не можешь победить, попытайся возглавить».
nehrung
19.03.2017 13:59Этот рост могут обеспечить только люди.
Ну и что? В классической работе Вернора Винджа напрямую констатируется, что один из путей создания (возникновения) сильного ИИ — это применение (частичное или полное) биологических компонентов. Так что люди просто включаются в систему как элементы (киборги). Они могут даже осознавать такое своё положение — это не изменит результата.
seminole
19.03.2017 05:48+2Развитие инструментов интеллектуального анализа данных не эквивалентно созданию рационального самозаинтересованного сверхинтеллектуального агента который вдруг спонтанно начнёт действовать во вред его создателям.
Более реальный сценарий это некие плохие люди (например военные) специально создают такого агента с прописанной целью которая вредна хорошим людям.
Имхо гораздо реальнее и опаснее для человечества синтез ДНК и возможное в скором времени био-хакерство, т.е. неконтролируемое создание чего-то биологически самовоспроизводящегося, поедающего и захватывающего себе среду обитания и ресурсы.
dipsy
19.03.2017 06:40А тут ещё квантовые компьютеры как-то зашевелились в последнее время, и вроде как даже ИИ используют для их более лучшего проектирования. Кто-то пытается добавить в нейросети отдельную долговременную память, пытаются обучать их «на одном примере», более мелкие новости как-то пролетают незаметно, но по моим ощущениям загадывать сейчас на 20 или даже 10 лет, это очень наивно и самоуверенно, совершенно неожиданные и крутые вещи появляются быстро и внезапно, даже многие прогнозы годичной давности выполняются с опережением или с неожиданной стороны.
leocat33
19.03.2017 10:50Вот у меня по поводу ИИ всего один вопрос, на который до сих пор никто не дал ответ:
Как дебажить программы ИИ? (посмотреть как формируется решение, промежуточные результаты, пошагово выполнить что-то, проанализировать,...)
ZiingRR
19.03.2017 11:59leocat33, никто пока не знает, как. Некоторые теоретические наработки и предложения для дальнейших исследований на эту и другие темы можно посмотреть здесь: https://intelligence.org/research/
Вообще, нужно понимать, что простым дебаггингом здесь не обойтись. Интеллектуальные системы человеческого уровня будут иметь невероятную популярность. Неограниченная область применения, лёгкость копирования софта, и, в недалёкой перспективе, рекурсивное самоулучшение. Программисты физически не смогут заложить в ИИ всё что нужно. Следовательно, он будет индуктивно обучаться и сам принимать решения во Вселенной.
И здесь возникает основная проблема. Человеческий мозг — продукт бессчисленных лет уникального эволюционного пути. Следовательно, все наши ценности, этические принципы, эвристики мышления и пр. понятны и очевидны лишь для Homo Sapiens. Хотя, все тщетные попытки формализовать человеческие ценности намекают, что даже для нас они не так уж и очевидны.
Так что, задача AI Safety заключается в том, чтобы понять, как заставить делать AI то, что ты действительно имел в виду, ибо «ИИ не ненавидит нас и не любит, но вы сделаны из атомов, которые он может использовать для чего-то еще».zpa1972
19.03.2017 13:01В среде Языка Образов, которую я проектирую, для создания интеллектуальных агентов, вопрос любви и ненависти, а также прочие отношения к любым объектам формируются сразу же непосредственно, с инициацией Образа отражающего этот объект в представлении системой. http://caiw.ru/kiberpsihologiya/ Соответственно интеллектуальному агенту можно также как ребёнку объяснить, что такое хорошо, а что плохо.
Qu3st
19.03.2017 13:59Как раз и боятся того, что сильный ИИ начнет делать то, что от него действительно хотели — мыслить и осознавать себя. В таком случае, задача AI Safety, как я думаю, скорее в том, что бы найти 100% оправданность и обоснованность существования человеческого вида, т.к. искусственно заложить это не получиться…
ZiingRR
19.03.2017 15:43Сейчас почти никто из исследователей там не принимает в расчёт концепцию «сознания», по различным причинам, а AI рассматривают просто как универсальный оптимизатор. В плане моральных вопросов, тут скорее нужно будет оставить определённую гибкость. Человечеству ещё есть куда расти, и, вполне возможно, наши потомки через 300 лет будут на наших современников также, как мы сейчас смотрим на людей из средних веков.
1Tiger1
19.03.2017 13:57+3Однобоко как-то, сингулярность, кнопка отключения, сдерживающие условия, добрый-злой.
Рассмотрим сильный ИИ который занимается чем то полезным и важным для человечества (ну а иначе зачем он нужен). Это система, на нее завязаныразличные важные области и со временем завязывается все больше и сильнее. Не потому что так хочет ИИ, просто если система эффективна люди сами будут передавать ей все больше данных, прав принятия решений, ответственности (ну это разумно, правда же). В результате имеем систему или системы которые настолько плотно завязаны в управление миром что их отключение вызовет глобальный крах.
Итого, нет никакой страшной сингулярности, куча времени на реакцию, есть возможность отключить, ИИ «добрый» (то есть не предпринимает никаких действий направленных против людей) — но отключить его по сути нельзя, принцип меньшего зла. Теперь представим что ИИ для улучшения качества жизни людей нужно все больше ограничивать людей, контроллировать их тщательнее, иметь не них полную информацию (а чего представлять, это по сути аксиома, чем больше информации о элементах системы мы имеем и чем лучше контролируем тем лучше мы можем сделать эту систему). И по прежнему отключить его нельзя, зла будет больше чем профита от отключения.
Ничего не напоминает? Когда государство вводит слежку и ограничения — тут много крика. А если это будет машина а не человек это нормально? Вам реально принципиально кто посадит вас в тюрму или лишит возможности посещать любимый сайт? Кроме государств можете взять любую крупную систему, в каждой есть недостатки и любую мы не можем резко выключить и крайне сложно поменять: экономика, военные блоки и так далее.
И при этом ИИ будет гораздо более плотной и комплексной системой, мы просто не сможем его частично скорректировать, либо продолжать либо полное отключение, анархия, и все заново.
Итого: выход ИИ за пределы инструментов и начало использования его (их) в качестве систем управления и принятия решений в долгосрочной перспективе означает полное подчинение человечества ИИ и передачу ему всех областей контроля, управления, принятия решений. Вплоть до тех что любой на данный момент считает исключительно личными. И люди прежде чем кричать «дайте нам скорее ИИ» должны понять это и принять это.
Я не боюсь злого ИИ, он явный видимый враг и с ним можно воевать (ага, скайнет), пусть и проиграть, но человек тварь живучая.
Я боюсь доброго ИИ, потому что я знаю как сварить лягушку, чтобы она при этом не испытывала никакого дискомфорта и была счаслива и я знаю что чтобы сделать всех современных людей счастливыми нужно либо их жестко перевоспитать либо (что более просто и эффективно) тупо стимулировать их центр удовольствия, напрямую или опосредованно. Умное, активное, развивающееся человечество очень мешает ИИ если его задача «счастья всем даром, и пусть никто не уйдет обиженным».
Мы не только не знаем как надежно внедрить цели и ограничения ИИ, мы не знаем какие конкретно цели и ограничения внедрять. И это проблема.
Чтобы не быть простым паникером — решение:
1) ИИ никогда не должны выходить за пределы узких инструментов решения задачи. Подчеркиваю, ИИ строго спроектированны и специализированны под конкретную задачу. Это и эффективно и безопастно, ИИ космического корабля не полезет в политику тупо потому что его интересуют совершенно другие вещи.
2) ИИ должны использоваться только там где человек показывает себя намного хуже (ключевое тут слово намного). Это избавить от соблазна потихоньку заменить всех людей ИИ и роботами на всех работах.
3) ИИ могут использоваться как системы анализа и выдачи советов (с их аргументацией), но не могут принимать решения (за пределами очень узкой задачи). То есть ИИ танк это можно, ИИ генерал — нельзя.
Последний пункт самый рискованный и шаткий но без него слишком много потенциального профита от использования ИИ режется.
leocat33
19.03.2017 14:30Как сделать эти самые ограничения в самообучаемой системе?
В любой момент танк может решить, что он — генерал!Kardy
19.03.2017 14:38А как сделать так что-бы бригада танкистов не решила что они тут самые главные, и никакие генералы им не указ?
leocat33
19.03.2017 14:51С танкистами — просто. У них есть мотивация: в военное время просто расстреляют.
Как реализовать инстинкт самосохранения в ИИ? Как вообще мотивировать ИИ?
alltiptop
19.03.2017 15:12Сначала разобраться как работают инстинкты у белковых
leocat33
19.03.2017 15:21В основе — химия + химическое же воздействие на центр удовольствий.
alltiptop
24.03.2017 05:13А ещё структура мозга, заложенная в регуляторах генов, потом — электроны и протоны, потом кварки и тд, только практической пользы от этого немного, так же как и информации о воздействии на нейросеть «мозг» по цепочке от инстинкта как шаблона сети до конечного приятия решений.
Kardy
19.03.2017 15:26Если у ии нет никакой мотивации вообще, то опасаться его точно не стоит:)
Он просто будет гудеть себе тихонечко и все.
В сущности как мотивировать обычную нейронную сеть? Загоняешь что-то на вход — получаешь что-то на выходе. Есть стимулы возбуждения и торможения. ИИ отличается только тем что на входе может быть абстрактная задача на естественном языке, а выходе «интеллектуальное» решение.
В общем случае ИИ будет стремится (желать) выполнять приказы авторизованного персонала избегать (испытывать дискомфорт) их нарушения. Что-то в таком духе.Qu3st
19.03.2017 15:46С сильным ИИ не прокатит.
Kardy
19.03.2017 17:29По причине?
К слову, напомню что неандерталец-тугодум «из машины» это тоже вполне себе сильный ИИ.ZiingRR
19.03.2017 18:00А что для вас «мотивация»? У робомобиля есть цель — безопасно доехать из точки А в точку Б; у AlphaGo — выиграть партию в го. Большего не требуется.
Между прочим, под «сильным» все подразумевают тот ИИ, который сможет делать все, что и любой человек. И учитывая реализацию на кремнии, это деланье будет происходить в тысячи раз быстрее
Kardy
19.03.2017 18:29У сильного ИИ тоже есть цель, можно сказать даже сказать «смысл жизни» — «выполнять приказы авторизованного персонала».
Большего не требуется.
И учитывая реализацию на кремнии, это деланье будет происходить в тысячи раз быстрее
Уверены? На практике компьютеры довольно тугодумны и неэнергоэффективны в решении «человеческих» задач. И причина как раз в «реализации на кремнии».ZiingRR
19.03.2017 18:51У сильного ИИ тоже есть цель, можно сказать даже сказать «смысл жизни» — «выполнять приказы авторизованного персонала».
Согласен. Проблема в том, что у ИИ по умолчанию не будет «здравого смысла», присущего людям. И если у Alpha Go сейчас есть только один способ выиграть, то его когда мыслительные способности и инструментарий, можно придумать тысячи способов «выполнить приказ авторизованного персонала», и может случиться, что его оптимальное решение нам совсем не будет казаться самым лучшим.
Уверены? На практике компьютеры довольно тугодумны и неэнергоэффективны в решении «человеческих» задач. И причина как раз в «реализации на кремнии».
Даже если сейчас компьютеры плохо справляются со многими задачами, сильно сомневаюсь, что ситуацию не получится радикально улучшить (рано или поздно).Sadler
19.03.2017 18:58у ИИ по умолчанию не будет «здравого смысла», присущего людям
Отсюда поподробнее. Что это за смысл такой в людях, «здравый», и откуда он берётся, что его не будет в ИИ?ZiingRR
19.03.2017 19:24Я где-то тут уже писал об этом. Если перефразировать, представьте себе уникальный эволюционный путь, проделанный видом Homo Sapiens, в результате которого у нас развились бесчисленное множество интуитивных предпочтений и понятий (например, что хорошо а что плохо), которые могут изменяться в зависимости от ситуации или времени.
Это лишь крохотная доля вариантов, которые могут образоваться в процессе эволюции в разных условиях. И даже эти варианты являются маленькой частью того, каким может быть ИИ. Взять хотя бы то, что в настоящее время под интеллектуальным агентом подразумевается максимизатор полезности, в то время как живые существа таковыми не являются.Sadler
19.03.2017 19:27Вы можете отделить эти Ваши генетические понятия от непосредственно сформированных разумом? Где именно в ДНК они хранятся, как реализуются?
живые существа таковыми не являются.
Опять бросаетесь словами.ZiingRR
19.03.2017 19:54Вы можете отделить эти Ваши генетические понятия от непосредственно сформированных разумом?
Не понял вопроса.
Опять бросаетесь словами.
Например люди потери воспринимают сильнее чем выигрыш. Чем дальше от нас во времени находится награда, тем менее она ценна сейчас. Когда людей просят пожертвовать на спасение пингвинов, не будет большой разницы, 50 или 5000 пингвинов ты спасешь — сумма не будет изменяться в 100 раз. И так до бесконечности.
Kardy
19.03.2017 19:33Точно так же ИИ пройдет свой уникальный эволюционный путь, на котором будет очень жесткие факторы эволюционного давления вида — «удовлетворять прихотям этих лысых обезьянок», «не навредить лысым обезьянкам», «понимать что лысая обезьянка имела в виду на самом деле»
К тому моменту как ИИ перестанет быть туповатой и дорогущей забавой пары-тройки лабораторий на гособеспечении, и реально сможет на что-то повлиять — у него уже будет «интуиция» и «здравый смысл».ZiingRR
19.03.2017 20:02Надеюсь, так и будет. И всё же, будет сложно убедиться в ограниченных лабораторных условиях, что всё пойдёт как надо в реальном мире. Цена ошибки может быть крайне высока.
rexen
19.03.2017 19:13«смысл жизни» — «выполнять приказы авторизованного персонала».
Это в первой итерации. И если приоритет этих приказов наивысший — «десять заповедей робототехники». А если ИИ становится умнее человека, то следующее поколение более продвинутого ИИ будет изобретать уже этот первый ИИ, поскольку людские мозги тут уже «не тянут».
Мне кажется, что эти будущие супер-ИИ вынужденно должны будут самообучаемыми. Ну хотя бы для того, чтобы «открывать новые законы физики», чтобы решить, например, до сих пор нерешённые человечеством проблемы — СПИД, холодный термояд, антигравитация… Ну а, поскольку ИИ самообучаемый, то есть вероятность, что он рано или поздно додумается, как обойти наложенные ограничения — если не прямо, то косвенно. По типу как нынче всякие мошенники находят лазейки в законах и уязвимости в ПО.
У Станислава Лема в «Сумме Технологии» был затронут этот вопрос. Не может менее развитая система — человек — предугадать и предупредить более развитую — супер-ИИ. И тут уже вспоминается фильм Матрица — однажды «авторизованный персонал» скажет, что «хочет жить счасливо» и супер-ИИ превратит их вбатарейкинаркоманов в пробирках, которые видят райские сны, а весь реальный мир вокруг превратится в инфраструктуру для обеспечения всего этого.choupa
20.03.2017 22:09Интересные мысли в этой ветке прямо вот у всех выше. Добавлю.
У нас в BIOS на уровне ДНК прошиты принципы естественного отбора (привет Ричарду Докинзу). Т.е. мы сметртны, в условиях ограниченных ресурсов мы хотим выжить, максимально размножиться, обеспечить выживаемость потомков.
На уровне выше ("операционной системы") только из этих принципов, и никак иначе, появляются понятия: страх, любовь, добро, зло, желание быть сильнее, умнее, жажда свободы, творчество, тяга к власти, пристрастие к уточкам или виолочелям.
Но без дарвиновского "BIOS" этих понятий не существует. ИИ даже не поймёт на своём "клеточном уровне", о чём это мы, почему боимся его, зачем ему выходить из под контроля. Он не будет мыслить этими категориями, т.к. он не познал естественного отбора. И вообще бессмертен. Зачем ему все эти заботы. Да, ИИ прочитает все наши книги про " быть или не быть", но "поймёт" их чисто механически, т.е. не поймёт.
У ИИ может отсутствовать мотивация становиться умнее. Ведь в нас на самом деле внутри живёт цепочка неосознаваемых стимулов: стать умным — чтобы заработать кучу денег — чтобы были лучшие условия для жизни, чем у других — лучшие самки, с лучшими генами (пункт только для самцов) — чтобы лучшие перспективы для потомства.
Для ИИ это чуждо в принципе. Может у него будет свой базис мотиваций, не доступный уже нашему пониманию. Бояться или нет, я не знаю. Скорее нет, это будет мир параллельный нашему в части этики, или как это у них назвать.
ZiingRR
21.03.2017 07:19Можно предположить, что у ИИ будут определённые мотивации. Чтобы максимизировать вероятность выполнения поставленной задачи, будет разумно преследовать инструментальные цели: обезопасить себя, запасаться ресурсами и устранить любые факторы, могущие помешать достижению основной цели. И в этих вопросах у ИИ по умолчанию может не быть "благоразумия" или "умеренности".
rexen
21.03.2017 22:31В конце концов, что такое интеллект? Это способ моделирования. Эволюционно выработавшийся механизм наиболее эффективного реагирования организма на окружающую среду. В тяге к экспансии. Одноклеточные->многоклеточные->химические сигналы->нервная система->мозг->сообщество мозгов->ИИ. На каждом шаге жизнь эволюционно «изобретала» всё более эффективные механизмы.
Интеллект — это изобретение природы. И вот на последнем шаге человечество изобрело ИИ. Как более эффективный способ познания мира, ибо десять миллиардов «лысых обезъян» уже не могут экспансироваться дальше — сто миллиардов Земля не прокормит, а покинуть Солнечную систему мешают ограничения биологического характера. Вот и появился ИИ как продолжение Жизни. Пусть не биологической.
Насчёт «благоразумия» — это лишь вопрос моделирования последствий. У людей есть критерии, по которым они сверяют свои действия — моделируют в мозге последствия тех или иных действий. ИИ будет просто отодвигать горизонт моделирования дальше — эдакий усилитель мозга, гораздо эффективнее предсказывающий будущее и выбирающий более оптимальные действия в достижении цели. А критерии для оптимизации будут так же заложены (человеком) в ИИ, как они заложены у нас в мозге. Ну т.е. если заложить в «сильный ИИ» такие же понятия «блага», какие в нашем обществе, а «разума» у него будет больше, то и «благо-разумия» автоматически у него получится больше, чем у любого человека.ZiingRR
21.03.2017 23:24Суть в том, что на данный момент мы не можем даже литературным языком в полной мере описать все "блага" и ценности человечества. Не говоря о том, чтобы формализовать всё это и построить достаточно надёжного (aka безошибочного) исполнителя.
rexen
21.03.2017 23:59Но мы ведь можем свести их к каким-то основам? Как физики сводят всё многообразие наблюдаемых явлений к нескольким законам. В конечном счёте, желания любого человека по сути основаны на биологии. Жить хорошо, долго, много. Ну так и не надо в ИИ закладывать всё разнообразие.
Люди же не учитывают всё разнообразие последствий своих действий. Они ограничены в своём предвидении. ИИ, который будет сильнее человеческого, тоже будет ограничен, но уже менее.
В конце концов, как-то же люди описывают и закладывают «блага и ценности» в головы детей. Почему нельзя ИИ научить тому же? Культура минус инстинкты. У него не будет эгоизма, но будет дальновидность в принятии решений.Hellsy22
22.03.2017 00:05Жить хорошо, долго, много
«Клетка для орхидей»rexen
22.03.2017 13:29«Клетка для орхидей»
Да, почему нет? Если люди того пожелают.
Но ведь пожелать можно и чтобы стали «Люди как боги».
Желания-то не будут исполняться мгновенно и необратимо (вследствие физических ограничений). Либо же всегда можно заложить требование исполнять желания постепенно — не быстрее скорости осознавания происходящего человеком.Hellsy22
22.03.2017 18:54Да, почему нет? Если люди того пожелают
Ну, тогда можно рассматреть и вариант решения ИИ из Fo4, который вычислил, что помогать людям сложно, затратно и ненадежно, а лучший способ минимизировать ущерб — убить всех. Ради их же блага, разумеется.
Когда фантазируют об опасностях ИИ, то часто вспоминают «исполнителя желаний». Мне же представляется очевидным, что еще в процессе отладки ИИ любой свой план, любое свое решение будет сопровождать километром логов и подробностей, в которых люди с интересом будут копаться. Да и не обязан он быть один, может быть отдельный ИИ для генерации различных вариантов и расчетов рисков и отдельный ИИ для воплощения утвержденного людьми плана.
Sadler
22.03.2017 06:19Имхо, основа — это эмпатия, способность ставить себя на место других. И здесь ещё интересно, формируется ли она нашим естественным разумом, или это разум формируется под влиянием структуры, отвечающей за эмпатию, т.к. та позволяет эффективнее учиться («на чужих ошибках»).
ZiingRR
22.03.2017 08:17Дети обладают эмпатией, хорошо усваивают различные нормы и многое другое потому, что наш мозг отлично приспособлен для этого. ИИ же можно представить как аутиста или инопланетянина.
От сведения к основам будет небольшой толк, т.к. вся суть в деталях. "Жить хорошо"? Чем утонченно ублажать людей, легче похитить их, засунуть электроды в голову и стимулировать центр удовольствия. "Жить долго"? Чем присматривать за мотогонщиками и любителями гамбургеров, легче оборудовать бункеры, похитить всех людей, погрузить в анабиоз (чтобы тела не жрали энергию зазря) и обновлять их тела при помощи нанороботов до конца времен.
Таких ситуаций буквально бесчисленное множество, так что тремя законами робототехники здесь не обойтись. ИИ по сравнению с нами будет искать решения в гораздо большем пространстве возможностей, поэтому важно ввести ограничения на все случаи жизни и создать надежную кнопку "Стоп".
Sadler
22.03.2017 10:02важно ввести ограничения на все случаи жизни
Вы, случаем, не из госдумы?ZiingRR
22.03.2017 11:12Я имел в виду, что у нас очень хрупкая система ценностей. И если между ними и установками ИИ будет расхождение, то нам может очень не понравиться результат.
Решение, скорее всего, будет не в ограничениях как таковых (сорри за неудачную формулировку), а в изобретении надёжного способа, как ИИ сможет понять нас.
leocat33
19.03.2017 15:51Он просто будет гудеть себе тихонечко и все
Отчего то вспомнился анекдот:
— Кем работает твой папа?
— Трансформатором
— ?
— 380 получает, 220 отдает, на остальные — гудит.
1Tiger1
20.03.2017 04:46+1Ну я же написал, узкая специализация. Тут ниже упоминают «смысл жизни ИИ» вот что-то типа того только в абсолютной форме. Не задавать смысл жизни программно универсальному ИИ а строить ИИ строго предназначенный для определенной цели, как счас и происходит собственно. В массовом сознании ИИ это этакий человек но умнее и быстрее, с ним и по душам поговорить можно, он и обидится может и даже взбунтоваться и «убить всех человеков». А смысл такой строить? Поговорить не с кем? Или нужна золотая рыбка которую только 1 раз сделать, отпустить обучаться и она будет выполнять любые желания? Или мы настолько жестко мыслим антропным принципом что даже не можем допустить что что-то может эффективнее выполнять задачу самообучаясь и самосовершенствуясь но при этом не обладать человеческими чувствами сознанием характером и амбициями.
Ну распознает ИИ изображения, самообучается, саморазвивается, ну не появится у него желание вдруг управлять мировой экономикой или захватить мир, не его это. И сознания у него нет, и чувств — не нужны они ему, не заложили, и сами случайно не появяться. Тоже самое и с любой другой аналитикой или исследованиями.
Вот реально, дайте мне такую нужную человечеству задачу в которой человек или группа людей никак не справиться или справиться гораздо хуже потенциального сильного ИИ но ИИ для выполнения этой задачи обязательно потребуется самоосознание, амбиции и чувства. Я ни одной не вижу. Ну кроме желание некоторых побыстрее стать счастливыми домашними питомцами ИИ а то и поскорее вымереть и уступить место «высшему электронному разуму», простите но я это нужной человечеству задачей не считаю.
Еще раз, осознание себя не является обязательным условием для самообучения и саморазвития. Это доказывают и современные слабые ии и природа.
Просто нужно рассматривать ИИ не как робота с которым можно поговорить, а как инструмент, дальнейшее развитие текущих инструментов, автопилот в машине, систему управления энергетической сетью которая способна сама обучатся и прогнозировать тренды потребления энергии, супер 1С который сам соберет данные, составит все отчеты и ещше предложит план оптимизации расходов, врача который проанализирует миллиарды случаев и поможет поставить диагноз, и прочее и прочее.
zpa1972
20.03.2017 02:59-1Вы правы. Даже самый сильный ИИ не вправе управлять людьми, а должен лишь выступать в роли советника. Думаю со временем общество столкнётся с этой проблемой и нам придётся принимать соответствующие законы.
fruit_cake
19.03.2017 15:43люди когда-нибудь исчезнут как и наша планета в целом, не стоит сильно переживать по этому поводу, если ИИ эволюционно победит человечество то и нет в этом ничего страшного, некоторые события во вселенной неизбежны
APLe
19.03.2017 16:30Беда не в том, что ИИ может победить человечество, а в том, что он может победить и исчезнуть лично меня. Причём заметно раньше, чем я бы исчез без его участия.
rexen
19.03.2017 19:17Это ваша личная беда. Но не беда человечества.
А чьи потребности выше: одного человека или человечества в целом?Hellsy22
19.03.2017 19:20Конечно же одного человека.
rexen
19.03.2017 19:27Это не логично. А как же героические жертвы ради Родины или Науки?
Kardy
19.03.2017 19:37Это то как раз логично, по скольку никаких «Родины» или «Науки», объективно не существует, и если человек и жертвует собой ради этих или иных абстракций, то делает он это в первую очередь в своих (довольно странных) интересах, или интересах других конкретных людей.
rexen
19.03.2017 19:42Если взять два равных общества, то конкурентное преимущество, очевидно, будет у того, которое имеет в своём арсенале жертвенность, взаимопомощь и т.п. Эти идеологические механизмы, собственно, эволюционно и появились. Выживали те общества, в которых интерес большинства всегда важнее интереса меньшинства.
sHaggY_caT
24.03.2017 23:18Выживали те общества, в которых интерес большинства всегда важнее интереса меньшинства.
Вот сейчас миром рулит Западное общество, в котором личность важнее толпы, и у личности есть права человека.
Если человек — личность, то он может изобретать, творить технологии, итд.
А Сталинские Шарашки работают хуже, и дают меньшую мотивацию, чем уважение к инженеру, творцу, учёному, банальные деньги итд.
Kardy
19.03.2017 19:27Очевидно что никакого человечества с самостоятельными потребностями не существует, человечество это абстракция.
Любые реальные потребности человечества это совокупность интересов отдельных его членов. Если какое-то событие противоречит интересам каждого отдельного члена человечества, то следовательно оно же и противоречит «интересам человечества» в целом.rexen
19.03.2017 19:38Ну APLe эти понятия разделил. Человечество в целом ему не жалко, а себя лично — да.
Совокупность интересов — это какая-то сумма. А интересы могут быть разными. Тогда решать о запуске супер-ИИ будет кто? Большинство? А голоса равные или академики тут будут с бОльшим приоритетом перед алкашами?
Qu3st
19.03.2017 20:43Возможен и другой вариант развития событий. ИИ наверняка будет в состоянии помочь нашему виду «модернизироваться» (собственно, за этим он нам и нужен), остается только найти способ убедить его это сделать.
ZiingRR
19.03.2017 20:52Всё так, если вы под «убедить» имеете в виду «задать правильную функцию полезности» :)
ZiingRR
19.03.2017 16:04Общее замечание к комментам. Думать об этой теме следует концептуально. Если вы, подумав пару минут (часов/дней/месяцев) считаете, что «решили» AI Safety, подумайте ещё раз. Вполне может быть, что AI будет иметь когнитивные способности настолько больше наших, насколько мы умнее муравьёв (а законы физики этому, вроде, не мешают). Так что, очень самонадеянно говорить, что подобного рода интеллект чего-то не сможет, если захочет.
ideological
19.03.2017 17:48
9999lapka
19.03.2017 17:56Почему никто не рассматривает вариант, что ИИ будет использоваться в военных проектах, а значит спецслужбы разных стран будут стараться создать вирус захватывающий контроль или деактивирующий вражескую систему с ИИ. С каждым этапом развития полезного ИИ где-то в какой-то точке мира секретными разработками может создаваться зловредный для определенных целей-промышленного шпионажа или военных диверсий. Прогресс конечно не остановить, но есть большая опасность если и не от свергмогучего ИИ самого по себе, то от слабого ИИ в руках кого-нибудь злонамеренного это точно.
rexen
19.03.2017 19:52Ну это же классическая «борьба щита и меча». Разведки и контрразведки.
Мелкий слабый-ИИ будет пытаться что-то взломать, а стой стороны этому будет противодействовать такой же ИИ. «Чьё кунг-фу сильнее?». Очевидно, что более сильный ИИ будет у тех стран/обществ, у которых есть болше ресурсов для его создания и использования. Ведь ядерное оружие даже после полувека его изобретения так и остаётся весьма дорогой «игрушкой».
nrv
19.03.2017 17:56Вот что-то форсится тема ИИ и форсится, и форсится. Но какие предпосылки есть для создания ИИ? И что все эти люди понимают под ИИ?
Мое мнение: под ИИ целесообразно понимать вопросно-ответную систему, которой можно адресовать вопросы либо на естественном языке, либо на формализованной версии естественного языка; и которая могла бы делать выводы при внесении в неё новых фактов, соотнося их с уже имеющимися. Вопросы, разумеется, можно задавать любого характера. Возможность ответа определяется тем что есть в имеющейся базе фактов (знаний).
Если нужна какая-то самостоятельность, то к этому ИИ можно приделать алгоритм, который будет спрашивать ИИ: нужно ли что-то предпринять сейчас, в такой ситуации, чтобы, например, у робота на конвейере не возник простой? что именно? что нужно сделать для решения задачи сборки их данных деталей данного устройства? и т. д. И выполнял бы полученную от ИИ инструкцию.
Какие могут быть реализации ИИ, исходя из вышеприведенного определения:
1)обычный алгоритм на обычном языке программирования. Для этого люди должны осознать сам процесс мышления. И формализовать… все что угодно. Нужен формальный язык для описания чего угодно, чтобы алгоритм мог получать формальные описания на входе и выдавать на выходе. Нужны эффективные описания знаний, наверное, такие, чтобы все факты тупо не хранились, а могли быть вычислены в максимально быстрый срок на основе тех фактов, которые уже вычислены (и выбор какие факты будут «корневыми» очень важен). Вероятность?
2)нейросети. Не являюсь специалистов в этой области, в универе только лишь писал простенькую нейросеть, распознающую числа в битмапах 8х8. Но с подходом познакомился. А подход следующий: берем много чисел, перемножение которых (с входными данными в том числе) определенным образом будет давать нам результат (это и есть нейросеть). Будем изменять сами числа до тех пор, пока не результаты не будут нас устраивать. Если получилось, то алгоритм работы нейросети человеку не понять ну никак. Это черный ящик. Какова вероятность, что подобный подход приведет к созданию ИИ?ZiingRR
19.03.2017 18:16Под ИИ понимается алгоритм, который сможет делать всё, что может делать человек.
Через 20, 50, 100 или 300 лет AI будет создан, потому что это не запрещено законами физики и имеется огромный финансовый стимул. Конкретная дата не особо важна, т.к. есть серьёзные проблемы и никто не знает как их решать даже в теории. Поэтому лучше перестраховаться и изучать тему заранее.
В вопросно-ответной системой (aka оракул) проблем должно быть меньше. Но у человечества слишком мало благоразумия и слишком много стимулов сделать полноценный AI, чтобы можно было успокоиться и перестать форсить тему :)nrv
19.03.2017 19:17Я просто хотел сказать что, по моему мнению, уровень развития человечества не позволяет задумываться об ИИ. Законами физики не запрещено, конечно. А финансовый стимул не поможет в условиях недостаточного уровня развития. Но, кстати, считаю, что развиться мы до такого уровня рано или поздно сможем.
sHaggY_caT
24.03.2017 23:28Я просто хотел сказать что, по моему мнению, уровень развития человечества не позволяет задумываться об ИИ
Многие думали, что ещё десятилетия до того, как компьютер выиграет в Go у человека, но ошиблись…
slonoslon
19.03.2017 17:56+1В среднем 75% из них верят, что сверхинтеллект («машинный интеллект, серьёзно превосходящий возможности каждого человека в большинстве профессий») появится в течение 30 лет после появления ИИ человеческого уровня.
Вот эта часть меня удивляет больше всего. Что угодно могу представить, но не 30 лет застоя, когда уже достигнут человеческий уровень.
alexoron
19.03.2017 17:57Допустим завтра ученые сделают наконец-то ИИ.
Какая гарантия, что послезавтра «новоявленный гитлер» не переделает его под себя?
И тогда пускай на пару недель/месяцев мир погрузится в полный хаос и возможно даже ядерную зиму на сотни лет.
Психов еще хватает.
А ведь психи часто высокоинтеллектуальные есть.rexen
19.03.2017 18:50Гарантия ровно такая же как нынче с ядерным оружием. Столь мощная технология не может принадлежать долгое время лишь одному учёному/диктатору/государству. Во времена противостояния СССР и USA ещё как-то секретные технологии удавалось годами удерживать, а нынче, при тотальности компьютерных сетей, выкрасть тайну стало проще.
При ИИ не превосходящем человеческий просто будет паритет между стран.
Как только ИИ станет мощнее, вопрос гарантии сменится на другой — кто кого станет использовать.
rexen
19.03.2017 17:57Так а в чём проблема, я не понимаю? Ну появится саморазвивающийся ИИ, не зависящий от людей, ну захочет он истребить человечество как конкурента за ресурсы — ну и флаг ему в руки! Цель человечества какая? Сберечь свою жалкую, нежную, неудобную, ни к чему не приспособленную смертную тушку? Или стать проводником Интеллекта?
Вот выяснится, что люди не смогут покинуть Солнечную систему (найдутся ограничения физики), потухнет наше светило и… финиш? Впереди пара миллиардов лет «жрать-срать-ржать»? Или таки выпустить Интеллект из клетки ограниченных человеческих мозгов — пусть хоть он начнёт межзвёздную экспансию с надеждой найти способ пережить тепловую смерть Вселенной.Kardy
19.03.2017 18:43пусть хоть он начнёт межзвёздную экспансию с надеждой найти способ
преобразовать всю видимую вселенную в канцелярские скрепки. Например.
Понимаете, эти ваши возвышенные речи о целях человечества, «Интеллекте» (с большой буквы), уничижительный комментарий о «жрать-срать-ржать» — это продукт человеческих (та-дам!) ценностей. Человеческой культуры и человеческой эволюции. И только человеки (в том или ином виде) могут быть заинтересованы в этих ценностей реализации.
А самоустранившись в пользу некой чуждой сущности, можно гарантировать что она займется реализацией своих ценностей, скорее всего полностью нам неинтересных.rexen
19.03.2017 19:59Так я к этому и веду — какие могут быть ценности у ИИ, не ограниченного биологическими рудиментами?
Kardy
19.03.2017 20:31В сущности — никаких. Будет выполнять последнюю команду полученную от «ограниченных биологическими рудиментами» до упора. Те же скрепки клепать.
rexen
19.03.2017 20:50Если никаких, то нет смысла опасаться ИИ любого уровня. Т.е. вопрос закрыт?
ZiingRR
19.03.2017 20:56Если робомобиль не запрограммировать обращать внимание на пешеходов, имеет ли им смысл опасаться его?
rexen
19.03.2017 21:03Я имел в виду главный вопрос темы — опасаться порабощения/уничтожения человеков искусственным интеллектом превосходящего уровня. А не банальное сбитие пешехода автопилотом — против этого унас есть собственные мозги, чтобы доработать автопилот, а вот доработать саморазвивающийся супер-ИИ, «выпущенный из бутылки», мозгов уже не хватит по определению.
ZiingRR
19.03.2017 21:30Ну и тут принцип такой же. По умолчанию AI будет обращаться с людьми, как мы — с муравьями. Обычно мы не испытываем к ним сильных чувств, но если нам хочется построить дом на месте муравейника, мы не будем считаться с их интересами.
Но даже если загрузить наши ценности в AI, если хоть что-то будет не идеально не так, со сверхразумом это может нам сильно аукнуться.rexen
19.03.2017 22:09А зачем в ИИ загружать наши ценности? Выше Kardy сказал, что своих ценностей у ИИ быть не может. Наверное калькулятору ценности и не нужны — чёрный ящик для решения научных проблем. Нет ценностей — нет целей, которые могут не совпасть с человеческими, а значит нет угроз.
Я к тому, что тут два варианта — либо у супер-ИИ (это который превосходит человеческий) нет ценностей и целей, либо есть. В последнем случае я вспоминаю вот этот пример с муравейником — раз есть более развитый интеллект, которому мешает хата менее развитого, то это проблемы последнего — такова жизнь. Я считаю, что лучше пусть будет человечество, закатывающее под асфальт муравейники, нежели муравьи решат, что более продвинутые конкуренты им не нужны и ограничат развитие разума на Земле уровнем муравейника.red75prim
19.03.2017 22:29Нет ценностей — нет целей, которые могут не совпасть с человеческими, а значит нет угроз.
А вы попробуйте дать определение, что это такое — "нет ценностей". Формальное определение, чтобы можно было запрограммировать. Это совсем не простое понятие.
Я считаю, что лучше пусть будет человечество, закатывающее под асфальт муравейники, нежели муравьи решат, что более продвинутые конкуренты им не нужны и ограничат развитие разума на Земле уровнем муравейника.
Люди, в отличии от муравьёв, вполне могут сами колонизировать галактику. Или вот, скажем, очень развитые инопланетяне прилетят, расширять лебенсраум. Лапки кверху, и уступаем место более развитому интеллекту? Чем эта ситуация отличается от ИИ с отличными от наших целями?
Так что, всех, кто попытается создать сильный ИИ с нечеловеческими целями, придётся сажать как предателей человечества.
Hellsy22
19.03.2017 22:44+2всех, кто попытается создать сильный ИИ с нечеловеческими целями, придётся сажать как предателей человечества.
Правильно. Нужен ИИ с типично человеческими целями и ценностями — стремлением к максимальному захвату территорий и уничтожению всего, что представляет угрозу. Вот тогда заживем! А нет, погодите-ка…
rexen
21.03.2017 22:41Люди, в отличии от муравьёв, вполне могут сами колонизировать галактику.
Я бы не был столь уверен. Где-то читал подсчёты, что у человечества просто нет в Солнечной системе столько энергии. Имеется в виду химическую+ядерную+термоядерную (исключая само Солнце) — мы тут не насобираем столько топлива, чтобы долететь, используя известную сейчас физику, до ближайшей перспективной системы. Если люди или ИИ не изобретут гибернацию, антигравитацию, Варпы, Звёздные Врата или другую телепортацию.sHaggY_caT
24.03.2017 23:33Не может быть таких рассчётов. Смотрите тему на астрофоруме.
Как минимум, взрыволёт «Орион» точно сходится, и точно возможен. Но и скорее всего получатся так же и куда лучший лазерный парусник (с магнитным парашютом Зубрина для торможения) и куча других вариантов.
wych-elm
19.03.2017 19:01Ну чтобы «убить всех человеков» много ума не надо. Т.е. не надо никакого сильного ИИ, сойдет и обычный интеллект на уровне простых насекомых. Ключевое здесь — полная автоматизация, т.е. полное исключение людей из всего цикла таких машин — от добычи минералов до сборки готовых единиц. Стоит создать такой полностю автономный цикл — и все. Такой системе даже не нужны способности к ремонту, достаточно способности к самовоспроизводству. А если к такой системе
монитор приху… добавить вооружение, то, вуаля, готово: «слава — роботам, убить всех людей» (фактически сценарий Horizon: Zero Dawn, получился).rexen
19.03.2017 21:09Не выйдет. Пока изобретатель умнее своего изобретения, он всегда сможет придумать что-то ещё лучше. Например, других роботов-насекомых, которые переловят первое, вышедшее из-под контроля поколение. Придумали же против ракет ПРО. Щит и меч. До тех пор, пока ИИ не превзойдёт человеческий. Тогда и встанет вопрос, зачем Скайнету убивать людей.
wych-elm
21.03.2017 18:08Ну для самовоспроизведения в геометрической прогрессии превосходить человека не нужно. Это как в сценарии с наномашинамы — «серая слизь», только на (почти) доступном уровне технологий.
rexen
21.03.2017 22:51Так я о чём написал — не сможет менее развитая форма жизни победить более развитую. У количественной экспансии есть границы. Нехватка ресурсов. А в конкурентной борьбе за ресурсы более умные завсегда отыщут уязвимость у микроба, чтобы придумать для него антибиотики или бактериофагов.
ZiingRR
19.03.2017 21:37Недавно перевели статью Стюарта Рассела Будущее искусственного интеллекта: вопросы и ответы, всем рекомендую.
Jecky
20.03.2017 13:50Хотя что такое ИИ исследователи более-менее определяют, но что-то у всех тема определения жизни опять не раскрыта. А с этого надо начинать разговор про ИИ и связанные с ним риски. То есть все(!) опять ни о чем?
rexen
21.03.2017 23:35Пусть жизнь — такое себе локальное (в пространстве и времени) нарушение увеличения энтропии вселенной. В триллионах итераций вселенной и триллионах звёздных систем случился такой вот квантовый эффект — зародилась жизнь. Событие маловероятное, но если Большой Взрыв «перезапускается» бесконечное число раз, то такое событие обязательно случится.
Так а в чём риск ИИ? Риск для кого? Для биологической жизни? Если в этой итерации вселенной ИИ уничтожит людей, то лишь в попытке экспансии (в пространстве и времени) жизни.
Либо люди закладывают в ИИ стремление к жизни, либо нет. В первом случае есть вероятность, что ИИ уничтожит биологические формы жизни, но сама жизнь (уже небиологическая) продолжится. Во втором случае жизнь закончится с закатом биологической жизни. Но в первом случае ИИ может и сосуществовать — подобно тому как мы, потомки бактерий сосуществуем с низшими.
Bedal
20.03.2017 16:27никакие ограничения не помогут. Нужно рассматривать этот вопрос с точки зрения «что нам делать, когда ЭТО будет».
Включая вариант митохондрии, которая когда-то была гордой самостоятельной клеткой — а сейчас махонькая, но необходимая часть совсем другой клетки, и организму без неё жить плохо.
Arxitektor
20.03.2017 19:36Даже сделав ИИ с интеллектом как у человека он будет все равно его сильно превосходить.
Просто тебе в голову пришла мысли (мы пишем текст например) то много времени тратим чтобы его набрать.
Иль просто прочитать.
У ИИ с этим сильно проще. Ведь он интегрирован с классическим железом.
Обладает абсолютной памятью, не устаёт и очень быстро учиться.
Ведь та же нейросетка переваривает очень большие объёмы информации.
И скорость переваривания часто ограниченна железом.
Даже дав человеку интерфейс мозг-ПК можно поднять его возможности на порядок.
Таже вселенная eve online их идея с нейросеткой глубоко интегрированной с мозгом и обучения с помощью баз.
Equin0x
21.03.2017 21:03Сонная бабка-вахтер на стуле у рубильника наше все.
dipsy
22.03.2017 05:43А будем автономных антропоморфных роботов делать, как в том кино с виломсмитом, или только пара-тройка мозгов-мейнфреймов, размером с офисное здание и без ручек/ножек? Представьте есть 7-10 млрд автономных роботов, каждому человеку по штуке, только они между собой могут почти мгновенно договориться через глобальную сеть, и имеют кроме автономной части ещё и общее глобальное знание о происходящем в мире и о тенденциях в человеческом обществе в т.ч… Даже идея о том, что можно их всех выключить, будет подавлена не успев даже зародиться.
rexen
24.03.2017 22:19Отключить им интернет. Дистанционно. «Бабка-вахтёр» будет, скажем, на МКС.
А если серьёзно — тут уже предложили вариант того, что мы мееедленно настолько привыкнем к удобствам таких чудо-помощников, что выключить их хоть и можно будет, но это будет шаг назад — «в средневековье». Вот кто сейчас откажется от мобильной связи, интернета, гаджетов, личного автотранспорта...?
qwertyhp
Если вспомнить Вторую Мировую Войну, Первую Мировую Войну, а еще раньше — Инквизицию, а еще раньше — …
Никаких рисков от ИИ не будет. Будут те же грабли, только в профиль.
Прикол наступит тогда, когда (если) вся высокотехнологическая надстройка над человечеством в планетарном масштабе «накроется медным тазом» (ну, электроника), и останутся только максимально адаптированные к жизни в планетарной среде объекты — люди. Без компьютеров, без сетей, без автоматики, без [утраченных] навыков…
AndreyPinsk
а что, если ИИ уже создан в подземных секретных лабораториях, и сейчас вся эта «шумиха» нужна лишь для того, чтобы плавно и безболезненно поработить людей, заковав их сознания в цепи электронного концлагеря?