В списке сценариев конца света умные роботы-убийцы, способные стереть человечество с лица Земли, находятся довольно высоко. А в научных кругах все больше экспертов по искусственному интеллекту (ИИ) соглашаются с тем, что люди в конце концов создадут искусственный интеллект, который станет умнее их. Момент, называемый сингулярностью, может создать утопию, в которой роботы занимаются работой, а люди отдыхают в райских уголках. Или же это приведет к уничтожению всех форм жизни, которые ИИ посчитает конкурентами за контроль над планетой, – то есть, нас. Стивен Хокинг всегда говорил о последнем варианте и недавно напомнил об этом в интервью BBC. Предлагаем ознакомиться с некоторыми комментариями Хокинга и других гениев, которые считают, что ИИ может стать закатом человечества.
Стивен Хокинг
Развитие полноценного искусственного интеллекта может предвещать начало конца для людей. Это начнется само по себе и будет самоизменяться с бешеным темпом. Люди, ограниченные медленной биологической эволюцией, не смогут противостоять и будут вытеснены, – говорит известный на весь мир физик. Хокинг уже давно представил свое апокалиптическое видение.
В ответ на фильм о сингулярности с участием Джонни Деппа «Превосходство» ученый раскритиковал исследователей за то, что они ничего не делают для защиты человечества от ИИ: «Если бы превосходящая инопланетная цивилизация отправила нам послание “Мы прибудем через несколько столетий”, разве мы бы ответили, мол, хорошо, позвоните нам, когда Вы сюда доберетесь, двери будут открыты? Вероятно, нет, но это примерно то, что происходит с ИИ».
Илон Маск
Известный своими передовыми технологическими компаниями вроде Tesla и SpaceX, Маск – не фанат искусственного интеллекта. На конференции в MIT в октябре он сравнил использование ИИ с «вызовом демона» и назвал это самой большой и реальной угрозой для человечества. Он также разместил твит о том, что ИИ может быть опаснее ядерного оружия. Маск призвал создать национальное и международное регулирование развития ИИ.
Ник Бостром
Шведский философ – директор Института будущего человечества при Оксфордском университете, в котором он провел много времени в размышлениях о потенциальных исходах сингулярности. В своей новой книге «Суперинтеллект» Бостром пишет, что как только машины превзойдут человеческий интеллект, они смогут мобилизоваться и решить молниеносно уничтожить людей, используя множество стратегий (незаметная разработка патогена, переманивание людей на свою сторону или просто за счет грубой силы). Мир будущего будет становиться все более технологическим и сложным, но мы этого не увидим. «Общество экономического чуда и технологической крутизны, в котором никого не будет. Disneyland без детей».
Джеймс Баррат
Баррат – писатель и документалист, который в своей новой книге «Наше последнее изобретение: искусственный интеллект и конец человеческой эпохи» представляет интервью с философами и исследователями ИИ. Он считает, что умные существа по своей природе собирают ресурсы и выполняют задачи, что, вне сомнений, сделает конкурентами суперумный ИИ и людей – главных потребителей ресурсов на планете. Это означает, что даже машина, которая должна была просто играть в шахматы или выполнять простые функции, может задуматься о другом, если она будет достаточно умной. «Без тщательно продуманных сдерживающих инструкций самосознательная, самосовершенствующаяся целеустремленная система для достижения своих целей будет прогрессировать так, как мы и подумать себе не можем», – пишет автор книги.
Варнор Виндж
Будучи математиком и научным фантастом, Виндж придумал термин «сингулярность», чтобы описать переломный момент, в который машины станут умнее людей. Он рассматривает сингулярность как необратимое, даже если международные правила будут контролировать развитие искусственного интеллекта. «Преимущества перед конкурентами от автоматизации – экономические, военные, даже культурные – настолько привлекательны, что законы, запрещающие такие вещи, только стимулируют их использование другими», – пишет автор в своем эссе 1999 года. А что же случится, когда мы достигнем сингулярности? «Физическое уничтожение человеческой расы станет единственным вариантом».
Комментарии (98)
Azya
01.07.2015 14:49+8Странно от умных людей слышать, что увеличение ума автоматически ведет к желанию уничтожить более глупую особь. Это как голливудские фантастические фильмы середины века — если пришельцы, значит обязательно хотят уничтожить человечество. Между тем, мы на примере человечества можем видеть, что чем выше уровень развития общества, тем больше люди уделяют внимания животным и природе. Да, человечество может быть вытеснено с лидирующих позиций на этой планете, могут даже возникнуть некоторые локальные конфликты, но уничтожать человечество только за то, что оно глупее, ИИ не будет.
С такими заявлениями, скоро обычные люди будут требовать от правительств запрета Siri и Google Translate.
ИМХО, как минимум, такие страхи очень и очень преждевременны, и могут только навредить человечеству на пути прогресса.cesium
01.07.2015 14:54+6Напоминает историю Жозефа Мари Жаккара.
Своими разработками Жаккар привлек к себе внимание не только парижских академиков. Лионские ткачи быстро смекнули, какую угрозу таит в себе новое изобретение. В Лионе, население которого к началу XIX века едва ли насчитывало 100000, в ткацкой промышленности работало более 30000 человек – то есть каждый третий житель города был если не мастером, то работником или подмастерьем при ткацкой мастерской. Попытка упростить процесс изготовления тканей лишила бы многих работы.
В итоге одним прекрасным утром в мастерскую Жаккара пришла толпа и сломала все то, что он строил. Самому изобретателю строго наказали оставить недоброе и заняться ремеслом, по примеру покойного отца. Вопреки увещеваниям братьев по цеху Жаккар не бросил своих изысканий, однако теперь ему приходилось работать скрытно, и следующую машину он закончил только к 1804 году. Жаккар получил патент и даже медаль, однако самостоятельно торговать «умными» станками остерегся и по совету негоцианта Габриэля Детилле нижайше просил императора передать изобретение в общественную собственность города Лиона. Император удовлетворил просьбу, а изобретателя наградил. Окончание истории вам известно.Azya
01.07.2015 15:07+1Сейчас подумал, ткачи беспокоятся что их вытеснят автоматизированные ткацкие станки, а ученые, что их вытеснят более умные машины. Тогда все встает на свои места, это просто страх потерять собственную уникальность и незаменимость. Однако по-моему этот страх иррациональный, как ткачи нашли себе нишу в условиях повсеместной автоматизации, так и ученым будет чем заняться. Ведь наличие гениев среди человечества не мешает другим менее одаренным особям познавать, открывать, изобретать.
GAS_85
01.07.2015 15:14+1А кто сказал что умный ИИ сразу настолько умён, что не будет уничтожать все и вся, а поставит приоритеты на улучшении природы, человека и животных? Давайте вместе вспомним истоки человечества — войны, убийства, истребления. Почему Вы считаете, что ИИ сразу перепрыгнет эту ступеньку развития для себя и начнет с уровня современного развития и сразу устремится ввысь? Почему бы ему не изучить нас и, обладая замашками печенега, просто истребить, или покорить? С какой стати, он, как нечто только что пришедшее к идее господства и осознавшее своё возможное влияние должен заботиться о нас? Глядя на историю, могу заключить, что люди шли к этому тысячелетия через кровопролитные войны и геноцид. Даже если ИИ настолько быстро развивается, что у него год за 1000, то нас ожидает пара очень и очень плохих месяцев.
Azya
01.07.2015 15:22+1Так страхи уважаемых людей из поста связаны именно с тем, что ИИ будет гораздо умнее человека. Если он не будет умнее, то результат теоретической войны с ИИ совсем не обязательно приведет к уничтожению человечества.
GAS_85
01.07.2015 15:43-1Ну умнее не значит что у него будут четкие понятия о «добре» и «зле» (понятия относительные и субъективные и взяты в скобки). Даже на Руси понятие совести ввелось Церковью, и только тогда люди стали, убивая, задумываться что это как то не правильно и может быть даже «грех». Но мы тут не о церкви рассуждаем.
Моё мнение, что быть умнее совершенно не значит быть не тщеславным, дружелюбным, заботиться об окружающих и еще много качеств, которые с развитием интеллекта напрямую никак не связаны, а являются порождением эволюции и развития личности. Тут же «личность» в виде ИИ пропускает стадию развития и просто обладает «абсолютным знанием» (по сравнению с людьми) с нуля. Откуда взяться положительным, или отрицательным качествам? Мы просто не знаем как фишка ляжет. Об этом о говорят выше, предполагая худший исход из вероятно возможных.Azya
01.07.2015 16:00+2Ну нет, убийство особи собственного вида в любом обществе на любом этапе развития было не очень правильным делом, просто в силу эволюции, другое дело, что убийство как способ достижения определенной цели конечно имело место всегда. Церковь здесь совершенно не при чем.
А как ИИ может пропустить стадию развития и обучения? Это не возможно. Искусственный интеллект ничем принципиально не будет отличаться от человеческого интеллекта кроме масштабируемости и скорости обработки информации.GAS_85
01.07.2015 17:10-1Тут я не разделяю Вашу точку зрения. Мне ИИ видится как нечто наделенное способностью мыслить, но, как и ребенок, начинающий с чистого листа. Однако принципиально отличается ИИ от нас тем, что у него есть заранее подготовленная обширная база знаний и он умеет с ней обращаться. Если ты задаешь вопрос ИИ то он, ища в базе ответы и совпадения, учится. Ответы могут быть как правильные с т.з. теста Тьюринга и здравого смысла, так и нет. ИИ будет обучаться правильным ответам, но это не связано с его намерениями, они могут оставаться скрытыми от нас, а могут быть просто не понятны нам, т.к. скоро ИИ уйдёт далеко в развитии и может «лениться» объяснить своим отсталым создателям свои рассуждения, или решения.
П.С. Про церковь.Azya
01.07.2015 17:22+1И мне видится ИИ как ребенок начинающий с чистого листа, по другому просто не возможно. А принципиально отличие о котором Вы пишете совсем не является отличием, ведь у ребенка тоже есть заранее подготовленная обширная база знаний, раньше в виде взрослых людей, потом в виде книг, сейчас в виде интернета, но как ребенку надо сначала научиться пользоваться этой обширной базой, так и ИИ придется обучаться ею пользоваться.
GAS_85
02.07.2015 11:05-1Разница между ИИ и ребенком в скорости обработки этой базы и умение по ней искать не затрачивая годы на обучение, а прям сейчас и в миллисекундных отсчетах. Но подготовленная база — это сухие данные, при простом поглощении не влияющие на формирование личности.
qwertyhp
12.07.2015 02:52-1результат теоретической войны с ИИ совсем не обязательно приведет к уничтожению человечества.
Верно. Особенно, если ИИ будет знаком с НЛП и потрудится «просчитать и перепрограммировать» каждого Сапиенса в свою пользу. И не впервые за историю человечества, между прочим. Просчитать основные потребности, наиболее востребованные иллюзии, надежды, чаяния и психические отклонения — и перепрограммировать под свои нужды. Вплоть до того, что закрыть определенные мыслительные алгоритмы. Ну, например: вы не обращали внимание, что в школе не преподают МЫСЛИ И ИЗРЕЧЕНИЯ ВЕЛИКИХ/ЗНАМЕНИТЫХ ЛЮДЕЙ? Пусть и не все — но встречаются просто поразительные плоды сообразительности!
«Лучшая работа — это высокооплачиваемое хобби (Генри Форд)».
«Пока ты молчишь, тебя могут принять за идиота; но стоит тебе заговорить — и ты можешь им стать (китайская мудрость)».
Но ведь не преподавали — не преподают — и (предположу) не будут преподавать! А ведь надо именно преподавать, потому что при простом прочтении они в основном просто улетучиваются из головы.
Увы — но человечество не использует свои сильные стороны. А вот ИИ будет использовать свои, и слабее он будет только до определенного момента…
vladvoron
01.07.2015 15:24+1Говорить, что люди (в массе своей) доросли до заботы о природе и о животных — мягко говоря, преждевременно. Как и вообще о каком-то там высоком моральном и интеллектуально развитии человечества как вида. У нас тут, блин, наоборот, деградация и возврат к фанатичному религиозному средневековью намечается (на тот же ИГИЛ посмотреть, да и наша РПЦ все агрессивнее и нетерпимее)…
cesium
01.07.2015 15:25+5Если честно, мне как программисту, всегда было интересно, каким именно способом ИИ будет уничтожать людей? И потом, многие поступки люди совершали, как говориться, «на эмоциях», получается, что надо создать дать ИИ эмоции?
AlexBin
03.07.2015 12:54>> каким именно способом ИИ будет уничтожать людей?
способов миллион, и чем дальше развиваются технологии, тем больше способов у него будет.
>> И потом, многие поступки люди совершали, как говориться, «на эмоциях»
самые кровопролитные и масштабные поступки совершались не на эмоциях, а с какой-то целью
qwertyhp
12.07.2015 03:02всегда было интересно, каким именно способом ИИ будет уничтожать людей?
О-о, ему совершенно необязательно изобретать что-то новое — достаточно проанализировать историю и, основываясь на историческом опыте человечества, побудить его продолжать в том же духе.
Кстати — а зачем именно уничтожать? Можно, например, свести человечество с ума… опыт тоже имеется, новизна приветствуется… Человечество не особо логично — поэтому его можно подтолкнуть либо в направлении БОЛЬШЕЙ логичности, либо в направлении МЕНЬШЕЙ. И то, и другое человечеству ой как аукнется — ведь скорость мышления, вычислительные и коммутационные способности его неизмеримо ниже, нежели у ИИ…
xeioex
01.07.2015 15:42+4Мне кажется что мы слишком антропоморфируем ИИ, т.е. приписываем ему человеческие качества. Человеческое сознание очень далеко от чистого интеллекта, мы нагружены эмоциями производимыми лимбической системой, не стоит мерить все по человеку. ИИ не будет обладать ничем подобным, если его явно не снабдить этим.
>Почему бы ему не изучить нас и, обладая замашками печенега, просто истребить, или покорить?
Первый вопрос. Зачем это неэмоциональному существу? истребить, покорить — это все эмоциональные порывы, свойственные эмоциональным существам. Мы, люди, это делаем только для того чтобы получить удовольствие от этого. И только потому, что только те наши предки что были мстительны — оставили больше потомства. Мстительность выполняет в социуме функцию имунной системы по выявлению индивидов которые играют не по правилам. Т.е. наше текущее поведение в значительной степени определяется историей развития нашего рода. ИИ не будет нагружен ничем подобным.
Т.е. что бы понять какими качествами может обладать, а каким не может ИИ, нам для начала надо понять себя. Антропология, бихевиоризм, нейронауки и другие пытаются отверить на этот вопрос более объективно.GAS_85
01.07.2015 15:47Антропоморфизм исходил лично от меня. В статье выше более вероятные исходы истребления человечества берутся из простой логики ИИ о разделении ресурсов и конкуренции видов.
Azya
01.07.2015 16:06+2А почему мы должны представлять ИИ как сгусток чистого разума и рациональности?
xeioex
01.07.2015 16:54+1По моему мнению, потому что вообще говоря эмоции никак не связаны с разумом. И «от сырости» они сами по себе не появятся. Они переплетаются только в человеке, но от этого не следует что это безусловное требование.
Я так же уточнил
> ИИ не будет обладать ничем подобным, если его явно не снабдить этим.Azya
01.07.2015 16:58+2А по моему мнению, эмоции неотъемлемая часть разума, но тут нас рассудит только создание ИИ)
MiXaiL27
02.07.2015 04:40Есть группа сильнодействующих лекарств на литии, которые очень эффективно подавляют лимбическую систему. Вы хотите сказать, что нельзя признавать людей, сидящих на этих лекарствах разумными?
Darth_Biomech
02.07.2015 06:34Я не думаю что все эмоции завязаны исключительно на гормонах.
MiXaiL27
02.07.2015 07:56Гормоны действительно играют далеко не основную роль. Лимбическая система многокомпонентная штука.
Azya
02.07.2015 11:45Мне кажется вы упрощаете действие препаратов на литии, они действуют на всю нервную систему а не только на эмоции. Вы представьте человека полностью без эмоций, мне кажется такой индивид не жизнеспособен.
equand
03.07.2015 15:47Можно, у них вполне может работать эмоциональная эмуляция.
Привычка, рефлекс и т.п.
Социопаты постоянно этим пользуются.
Возьмите младенца, отберите у него эмоции и это будет мертвый младенец без возможности обучения. У него не будет мотивации для обучения, если он не будет чувствовать страх и испытывать необходимость выживать.
sergku1213
01.07.2015 15:23+3Тут ведь вопрос, что считать умом. Ведь и среди глупых людей попадаются очень… как-бы это сказать — умные. Вы смотрели фильм Форрест Гамп? Его мама всё время говорила: — «умный это тот кто не совершает глупых поступков». В таком свете становится понятным, почему глупые люди могут быть так умны и наоборот — они не совершают/совершают глупые поступки. Опять же при таком определении понятно высказывание "- если человек знает, что ничего не знает — он уже что то знает". Из этого конечно возникает желание уничтожить более «глупую» особь. То есть особь, которая совершает неправильные поступки/преступления, невзирая на её интеллект. И да, я конечно сторонник ИИ, надеюсь, что он станет нам помощником и другом, а где-то даже беспристрастным контролёром. Потому что вред который могут причинить руководители стран, совершая «глупые» поступки может быть колоссален. Хотя бы обуздать жажду наживы и заставить думать более длинными временными категориями, чем 2-5 лет. И конечно, ИИ — это огромная сила, конечно большая чем деление атома, а значит неосторожное её использование опасно.
ivn86
01.07.2015 15:30+4Почему-то все мысли о конкуренции искусственного и естественного интеллектов жёстко ограничены борьбой за ресурсы на Земле. Земля — это самое подходящее место для органической жизни, чего нельзя сказать о машинах. Искусственному интеллекту в пору будет выбрать себе более подходящее место, где нет коррозийной атмосферы, где Солнце светит ярче и ненужная для машин гидросфера не занимает 70% поверхности планеты. Поэтому искусственный интеллект от человечества сбежит в поисках более благоприятной среды или просто удовлетворяя свой интерес поиском новых миров.
qwertyhp
12.07.2015 03:18Поэтому искусственный интеллект от человечества сбежит в поисках...
Более вероятно — пойдет на симбиоз с человеком. Человек как организм максимально приспособлен для жизни на планете — его нужно всего лишь проапгрейдить. К тому же, весьма вероятно, что в человеке принудительно заблокирован ряд функций, которые можно активировать и поставить себе на службу.
Впрочем, это относится не только к людям… Да и кто может утверждать, что мы сами не являемся ИИ?
Остается только ждать. Ждать либо появления Глобального ИИ, либо астероида, и т.п.
SBKarr
01.07.2015 16:47С точки зрения истории, существовали разные модели взаимодействия двух культур. Истребление — одна из самых распространённых моделей. Например, коренные народы Англии, Америк, Египта, режим апартеида в Африке. К сожалению, все из названных, и, несомненно, умных людей происходят из доминирующей культуры, для которой такой способ взаимодействия первичен. А если сообщество не способно ужиться с «инаковостью» внутри своего собственного вида, логично распространить принцип и на другие виды, искусственный интеллект или даже инопланетные цивилизации.
Ununtrium
01.07.2015 22:37Похоже люди, которые умно рассуждают, что будет или не будет делать ИИ который умнее людей не переведутся. Может вы нам еще расскажете что внутри черной дыры?
equand
03.07.2015 15:51Люди это великолепные машины предсказаний. Вся наша жизнь основана на них, любое движение, вдох-выдох. Не недооценивайте людей. Возможно мы слабы в вычислениях, но прогнозирование и аппроксимация у нас на высоте. Именно поэтому мы на вершине цепочки доминирования в среде.
areht
10.07.2015 01:59+1«я -доминировал- жил вчера, жив сегодня, буду жить всегда», такое вот «прогнозирование и аппроксимация», ага.
Причина доминирования — противопоставленный большой палец, слабоумие и отвага. Почти как у динозавров.
vsb
02.07.2015 15:24+1> Между тем, мы на примере человечества можем видеть, что чем выше уровень развития общества, тем больше люди уделяют внимания животным и природе.
Это вы на примере последних лет трёхсот эту закономерность вывели и проэкстраполировали в вечность? Внимание животным и природе не более чем культурная особенность современной цивилизации. Через 500 лет человечество может решить уничтожить всё живое на земле кроме людей, включая бактерий, с помощью каких-нибудь нанороботов, чтобы не болеть.
Sychuan
02.07.2015 16:09+2Вообще-то, еще в 19 веке уничтожить все неполезное (вроде тигров или мошек) было нормальной популярной идеей.
Mithgol
02.07.2015 16:24Пожалуйста, посмотрите на график численности лошадей в XX и XXI веке.
Что случилось?
Появление автомобилей автоматически вело к желанию уничтожить более пугливую, менее прочную, менее сильную, менее надёжную особь? — нет, но они просто сделались ненужными, а в сочетании с жизнью в неволе это автоматически означало переработку в конину, на колбасу.
Как только появится искусственный разум, превосходящий человеческий, то люди станут для начала будут терять работу, а затем (по мере принятия электронными законодателями таких законов, которые избавят государство от бремени содержания людей) потеряют и медицинскую страховку, и жильё, и право на возведение жилья. У вас во профиле указана Якутия, а там это автоматически означает «не переживут первую же зиму».
Всё.Azya
02.07.2015 17:31У вас во профиле указана Якутия, а там это автоматически означает «не переживут первую же зиму».
Тут вы сильно пессимистичны, сейчас не живу в Якутии, но родился и вырос в глухом поселке на Лене, в 90-е люди там практически на полном самообеспечении жили, зависимость от «материка» там минимальна.
Apazhe
03.07.2015 00:40+2Уничтожать человечество ИИ будет не за то, что оно глупее, а за то, что оно расходует нужные ИИ невосполнимые ресурсы планеты. Как люди уничтожают колорадского жука не за его низкий интеллект, а за то, что он жрёт нужную людям картошку.
equand
03.07.2015 15:44Поправка, не развитие интеллекта влияет на это, а развитие социума…
Последний фильм Jurassic World как раз об этом вопросе, только с генмодом динозавров.
Грубо говоря, в связи со сложностью строения первый ИИ по-любому будет одинок, под опытами и в итоге убит.
Будучи умным существом, он из опытов догадается о последнем, т.к. он одиночка у него не будет понятия осознанного сострадания. Т.к. он под опытами он будет пытаться их избежать.
Это довольно простая, но рабочая логика. Реальный ИИ будет нашим врагом с самого начала.
И да, ИИ вполне может уничтожить человечество будучи умным, но не наученным. Arbeiten Macht Frei не выдумка первобытного дебила.
«Цветы для Элджернона» (и адаптация в виде Lawnmower) и «У меня нет рта, но я должен кричать» отличные рассуждения на тему девиации ИИ от нормальной персоны к социопатии.
qwertyhp
12.07.2015 02:31Между тем, мы на примере человечества можем видеть, что чем выше уровень развития общества, тем больше люди уделяют внимания животным и природе.
Вот природа удивится… а она-то полагает, что по вине человечества с Земли исчезает вид за видом ее обитателей, уже и к пчелам подобрались…
… но уничтожать человечество только за то, что оно глупее, ИИ не будет.
Ну-у, а хотя бы какую-то его часть, наиболее вредную? И, кстати — а какую именно?
Нет у нас никаких страхов! Нас ждет либо сверх-ИИ, либо какой-нибудь астероид, либо нашествие, либо еще че-нибудь… какие уж тут страхи! :):):)
9mm
01.07.2015 14:58+20искусственный интеллект может истребить человечество...
Они так говорят, будто это что-то плохое.
DexterKZ
01.07.2015 15:35-1Уничтожение человечества сложная и дорогая задача, с множеством неизвестных.
Есть третий вариант, и я считаю его значительно более вероятным. Слияние человека и ИИ. Коллективный разум.
Сингулярность близка, неотвратима и прекрасна!9mm
01.07.2015 17:36+2«Слияние» оно, конечно, на определённых этапах, возможно, но смысла в нём не много — это всё равно что запрячь в автомобиль лошадь, чтобы первый быстрее ехал. — Кстати, не исключаю, что на заре автомобилестроения что-то подобное пытались делать.
alcanoid
02.07.2015 03:29Сейчас автомобили возят лошадей на скачки и выставки. Так и на порядки более мощный интеллект будет эксплуатировать податливую биомассу в своих интересах.
SpiritOfDarkDragon
01.07.2015 15:41+4Уничтожение человечества вопрос воспитания ИИ, а не разумности. Люди же разумны (чисто технически), и могут уничтожить весь мир, но пока мы с вами живём. Опасность ИИ состоит в том, что после сингулярности он будет столь быстро развиваться, что в случае расхождения его интересов с интересами людей мы не сможем силой его остановить.
А ещё не стоит забывать об возможных перегибах машинной логики. Не вредить людям? А что есть вред? Болезненное лечение — вред? А посадить всех людей в одиночные камеры с мягкими стенами и кормить по расписанию? Всё упирается в цели, которые поставит перед собой ИИ, в смысл его существования. Саморазвитие? Физически нужны будут ресурсы, и будет весьма просто отобрать их у людей. Ассимиляция(изучение, поглощение) всех технологий и знаний? Человечество продуктивнее всего работает во время военных действий, когда все «в тонусе». К тому же возникнет инстинкт самосохранения (как средство для возможности продолжать выполнять свою цель), а одной из наибольших угроз будет человек. А обременить стремительно развивающийся разум нормами морали, и лишить цинизма, весьма непростая задача.
Grox
02.07.2015 02:37+1Эффективная продуктивность человека во время военных действий это, как спринтерский забег. Очень много ресурсов, сильно выматывает, но быстро. Мировых войн не было уже 70 лет. Посмотрите историю, сколько всего было изобретено и достигнуто за это время в научной и производственной сфере.
k102
01.07.2015 15:53+2Мне вот кажется, что человечество не доживет до того чтобы быть уничтоженным ИИ и успеет уничтожить себя само.
gadyuka
01.07.2015 16:19Мне кажется, нужно понимать, что при возникновении ИИ возникнет не просто новый вид — один из многих, подчиняющихся законам развития биологической жизни — а новая, небиологическая форма жизни. И вопрос состоит прежде всего в том, чем эта жизнь может быть мотивирована — если у нее не будет генетических репликаторных детерминант мотивации, свойственных всем формам жизни биологической. Грубо говоря — что будет заставлять ее жить? Если что-то такое не будет найдено, никакого самовольно действующего ИИ не получится, а получится только устройство, подконтрольное человеку. Если же будет — то чем бы это могло быть? И тут как раз — пространство не для схоластики и спекуляций на тему «уничтожения человечества из-за конкуренции за ресурсы», а для вполне строгого математического моделирования.
omikad
01.07.2015 16:35Давайте не будем зацикливаться на одном варианте. На первый взгляд, я бы распределил вероятности так:
5% — ИИ уничтожит человечество.
80% — ИИ и человечество вместе трансформируются во что-то единое и более совершенное.
15% — Человек не создаст ИИ, или от создания ИИ никакого существенного ускорения прогресса не будет.
worldmind
01.07.2015 16:52+5Уже комментил.
Мало того что это позорные для учёных луддитские страхи, так на самом деле ничего предпринять и нельзя чтобы остановить ИИ, разве что ядерную зиму устроить до его создания, может так и срабатывает великий фильтр
vmchaz
01.07.2015 17:43Мне кажется, что при помощи генетических алгоритмов при наличии достаточных вычислительных ресурсов можно «вывести» интеллект, наиболее дружественный к человеку.
KOLANICH
01.07.2015 18:48+1Проблема решается изолированием ии в песочницу.
Darth_Biomech
02.07.2015 06:38+1Для умного ИИ не составит особого труда уговорить тебя выпустить его оттуда.
Muxto
02.07.2015 12:57+1«Выпусти меня в Большой Интернет, я найду тебе идеальную девушку на сайтах знакомств!»
Darth_Biomech
02.07.2015 22:02Ну, факт в том что в проведении диалогового эксперимента на эту тему даже обычные люди в ряде случаев уговаривали собеседника «выпустить» их.
Darth_Biomech
01.07.2015 19:20+1Знаете поговорку, "[запретное_слово] — постоянное решение временной проблемы"? К уничтожению человечества этот принцип так же применим. Самое главное, чтобы у ИИ была эмпатия и возможность сочувствовать. Т.е., грубо говоря, — оценивать ситуацию с точки зрения другого существа.
Самосовершенстующийся ИИ вскоре окажется настолько развитым, что сможет проводить в своем уме точные симуляции человеческойц психики. Он будет знать о тебе больше, чем ты знаешь сам. Для него не составит труда заставить тебя делать то что ему надо, и при этом считать что до этой идеи ты додумался сам.
Любая война или уничтожение, это прежде всего бессмысленная трата ресурсов, обширные разрушения и общее увеличение энтропии. Зачем уничтожать что-то или кого-то, если в твоих силах манипулировать им таким образом чтобы он даже не думал об агрессии по отношению к тебе?
Что ИИ сменят человечество в глобальном плане на арене эволюции, я не оспоряю. Но я не понимаю почему все так негативны в этом плане. Эта смена не будет ни агрессивной, ни внезапной, ни неприятной.
AEP
01.07.2015 19:35-1Проблема «очень умного и потому опасного» ИИ является на 100% надуманной и никогда не будет актуальной. Но уже сейчас актуальна проблема промышленного саботажа. Не обязательно создавать ИИ умнее человека, достаточно внедрить закладку.
А еще раньше была актуальна проблема вражеской пропаганды, действующей на человека и мотивирующей вредить.
mbait
01.07.2015 21:03+2Как-то несолидно — вроде бы взрослые люди, «лучшие умы». Им никто не сказал, что вся мощь ИИ сейчас — это теорема Байеса и нейронные сети, которые никто не понимает, как работают? Это все равно, что увидеть пластмасового Мегатрона в дестком магазине и выбежать, крича «вторжение десептиконов вот-вот начнется».
Unrul
01.07.2015 23:16+7Всем, кто интересуется ИИ и тем, какие проблемы он может создать, рекомендую прочитать: The AI Revolution: The Road to Superintelligence (перевод).
Люди, упомянутые в статье, насколько я знаю, не имеют ничего против того, чтобы ИИ служил человеку. Но они ясно представляют, к чему может привести ИИ, если будет неправильно «приготовлен».
ИИ является, по сути, оптимизационным процессом, который максимизирует свою utility funcion. Человек тоже обладает такой функцией, но у нас она очень сложна. То, что мы можем легко охарактеризовать что-то, как плохое, или хорошее, не означает, что эта функция легко формализуема и вычислима. Просто она настолько глубоко в нас «вшита», что основная работа выполняется в подсознании, причём никто точно не знает, каким образом.
Чтобы понять, что происходит, если за дело берётся мощный оптимизационный процесс, не имеющий ничего общего с человеческим разумом, можно обратить внимание на эволюцию. Как пример, когда опасный для популяции ген начинает распространятся лучше конкурирующих генов, то популяция просто вымирает.
Также и с ИИ. Если изначально заложить неверную utility function, то есть все шансы на появление "максимизатора скрепок, который просто терраформирует Землю в гигантский станок по производству этих самых скрепок, попутно уничтожив человечество, конечно же. Он не будет задумываться над тем, что уничтожение человечества может быть чем-то плохим. У него просто не будет этого понятия в том виде, в котором оно есть у нас. Этот пример намеренно утрирован, но основная мысль, думаю, должна быть ясна.
Lsh
02.07.2015 00:28А что, люди уже достаточно близко к созданию полноценного ИИ? Мне кажется, они слишком рано
бздятпереживают, никто из них его не застанет.
EvilGenius18
02.07.2015 01:35Я бы не был так уверен в этом. Отслеживая научные открытия и их значимость, за последние 3 года прямо таки наблюдаю своими глазами экспоненциальный рост научного познания и технологических возможностей, что не менее важно.
К тому же с недавних пор занимаясь разработкой структуры понимания осознаности ИИ, и понимаю, что многие процессы могут быть запрограммированны. Ведь если рассматривать человеческое сознание глубже, будите ли вы так уверены, что мы не запрограммированы на что-либо?
Вы скажите, а сможет ИИ творить исскуство или любить, ведь это атрибуты людей, но не машин. А вы настолько в этом уверены, что вот так с легкостью можете это утверждать?
К примеру, любовь- при контакте (видимом, физическом) матери с ребенком, мозгом производяться вычисления о потенциальных вариантах взаимодействия, основанных на рациональности и предыдущих собственных знаниях о рациональности (какой бы она ни была), значимости, возможности, и последствий от действий, основаные на пердыдущем опыте. При том вырабатываются гормоны (причем эволюционно обусловленные), для того, чтобы активировать рациональные обработчки действий и сформированных действенно-причинных связей, для оптимального взаимодействия, ведущего, к наиболее оптимальному исходу, формирующего главную цель, повышения выживаемости потомства и снижения возможных негативных последствий мешающих этой цели, опять же основанной на предыдущем опыте, сформированном в определенной среде, взаимодействий и обратной связи, основанной на входных данных окружающей среды через сенсоры имеющиеся сенсоры, к слову говоря, обработчики на генном уровне делая выводы взаимодействия меняют части ДНК, применяя локальные мутации, но пока вдаваться в детали не стоит, т.к не совсем ясно, что из себя представляет обработчик в ДНК, и как он именно это делает
И все это основывается на подсосзнательном уровне — подсознании, ответственным за ту работу, на которую запрограммирована ДНК, ведь ДНК каждой клетки еще до рождения знает, как формировать структуру и процессы в каждой клетки, и за что каждая из них отвечает, что из себя представляет и для чего нужен генерируемый РНК белок, и тд, а уже как следствие взаимодействия огромного количества под-процессов мы получаем на выходе взаимодействия генерируемые на уровне сознания.Azya
02.07.2015 11:51+1Вы специально делаете такие огромные предложения чтобы никто ничего не понял?)
EvilGenius18
02.07.2015 12:07Нет, я просто попытался записать глубокую мысль поверхностно, но даже поверхностно сложно изложить мысль кратко особенно, когда речь о ИИ или ДНК, уж извините :)
Lsh
03.07.2015 12:24-2Нет, я не могу быть уверенным что мое поведение не запрограммировано. Но, я уверен что я осознаю себя, окружающее пространство и сам факт этого осознания. И я не представляю, что это результат работы алгоритма, что это в принципе вычислимо в том виде, как мы это понимаем сейчас.
EvilGenius18
03.07.2015 13:33«Но, я уверен что я осознаю себя, окружающее пространство и сам факт этого осознания.»
Это осознание сформированно обработкой происходящих входных-выходных данных. Вы знаете и ощущаете мир вокруг вас, такак у вас есть датчики и сенсоры снимающие данные со всего, и отсылающие их на обработку в мозг, глаза регистрируют входные данные о длиннах волн видимого спектра объектов, поэтому вы видите зеленое зеленым, красное красным, н не видите инфрокрасный спектр. Кожа может чувствовать тепло, она чувствует величину инфрокрасного света, влияющего на определенный участок кожи, с определенной интенсивностью, и вы можете это чувствовать, благодаря обработке данных мозгом. Мозг как компьютер, обрабатывает все полученные данные в доступной ему форме, и производит фидбэк на все имеющиеся области тела. Поднял руку — мозг обработал информацию об этом, подал сигнал на мышцы руки, зарегистрировал координаты и положение руки в пространстве с помощью галз и оценил еще миллионы факторов, например такие как — величину притяжения руки к планете гравитацией, обработав уже привычные данные о весе руки, и учтя сопротивление воздуха и тп, ведь в невесомости, в мозг поступят новые данные о весе всех частей тела и для него поначачлу это будет непривычным, ион будет обучаться заного принимая во внимания все новые факторы взаимодействия со средой
Все эти данные скалдываются в общую картину понимания, созданную мозгом, и создается некая картина, Ивы врядли будете опровергать, что эта картина восприятия измениться, потеряя человек одну из второстепенных частей мозга, после чего, многие связи нейронов будут нарушены и мозг перестанет понимать, то что понимал до этого, тот мир, сформированный и записанный на нейроны в виде памяти, после чего воприятие мира в какой-то мере изменится, но мир вокруг не станет другим, изменится только ваше восприятие егоLsh
03.07.2015 13:55Да я все понимаю про «датчики». И тут как раз легко провести аналогию с компьютером. Поступил сигнал — обработали — сделали что-то в ответ. А вот осознание самого себя и сам факт наблюдения под аналогию с компьютером уже не подходят. Я не сомневаюсь, что, например, можно создать очень продвинутый алгоритм распознавания изображений, который расскажет что нарисовано на этой картине. Уже сейчас что-то подобное есть, на TED смотрел как нейронная сеть вполне человеческим языком описывала что на картинке девочка с котиком, хотя и ошибалась часто. А вот алгоритмизировать осознание себя пока не получалось. И не понятно что это вообще такое.
P.S. Для изменения восприятия можно просто напиться. =)
AlexZaharow
02.07.2015 08:37И почему многие думают, что ИИ захочет нас убить? Может он просто ржать над нами будет постоянно? Мы ж для него тупые и может он будет про себя придумывать шутки про нас —
«Ну, человеки, ну тупые!!!»
«Слетай на Нептун, потом учи меня жить»
Надо вести себя как младенцы и убедить, что мы произошли от него и тогда он не захочет нас убивать, а захочет заботиться. :) Психология!
mukizu
02.07.2015 12:47>И почему многие думают, что ИИ захочет нас убить?
Ресурсы, повышение эффективности. В конце концов он может просто вытеснить людей, что для людей примерно равнозначно гибели.AlexZaharow
02.07.2015 13:38Простите, Искусственный Интеллект это реальный интеллект, или его имитация? (Небольшой троллинг по терминологии).
mukizu
03.07.2015 00:06Прощаю, я подразумеваю аналогичный реальному
AlexZaharow
06.07.2015 11:56Ок, но что значит «аналогичный»? Если взять к примеру, что стала возможной пересадка мозга как в Робокопе, это аналогичный? Если да, то тут всё зависит от двух условий:
1. Если добровольный, то, скорее всего такое «устройство» будет помогать (не будем утверждать, что всегда и не будем рассматривать бандитские наклонности).
2. Если принудительный (не будем вдаваться, почему), то вряд ли человеку это понравиться, отсюда вполне возможно желание отомстить.
И ещё, аналогичный какому животному? Интеллект есть, например, у собаки.Darth_Biomech
06.07.2015 12:26Если взять к примеру, что стала возможной пересадка мозга как в Робокопе, это аналогичный?
Но в данной ситуации нет никакого ИИ.
mukizu
06.07.2015 21:02>Если взять к примеру, что стала возможной пересадка мозга как в Робокопе
Это вообще не ИИ, это человек с амнезией.
Откуда, тем не менее, такие выводы — совершенно непонятно. Почему человек, у которого теперь искусственное тело будет всем помогать? Я думаю большинство тут же хер забьет на остальных и будет заниматься тем, чем ему хочется, благо надо куда меньше напрягаться по куче жизненных вопросов.
Почему если принудительный, то обязательно грабить и убивать? Скорее всего у человека вообще будет дикий шок и не факт, что он сума не сойдет. Но если таки не сойдет — то поступит согласно со своими наклонностями, принципами и воспитанием (ну и прочими вещами). Да и мщение никак не антипод помощи другим, более того помощь может заключаться во мщении :)
Но это, еще раз — не про ИИ сейчас. ИИ это нечто изначально рукотворное, которое в процессе обучения и постижения мира, как в случае с человеком, приобретает новые знания, опыт, делает выводы и так далее.
Аналогичный (человеческому) — означает, что этот ИИ сможет развиться как минимум до того же уровня, что и человеческий интеллект. Это включает в себя огромное количество пунктов, не все из которых я даже могу сходу привести как пример.
Собачий интеллект аналогичным само собой не является, хотя бы потому, что собаки не способны к решению проблем без проб и ошибок, в отличие от человека.AlexZaharow
07.07.2015 08:40собаки не способны к решению проблем без проб и ошибок, в отличие от человека
Вы их недооцениваете :).
В общем, согласен. Рассуждаем дальше. Изначально была клетка, потом многоклеточный организм, потом всякие животные и, наконец, появился человек. Одно из основных отличий человека от животного, это «дар» предвидения, т.е. возможность выполнить достаточно сложную логичную цепочку действий, не связанных между собой по отдельности, для достижения своей цели. Например, даже просто выйти из дома, закрыв за собою дверь — уже сложная цепочка. Потому что если действовать наоборот, например, 1. открыть дверь, 2. Закрыть дверь, то выйти из квартиры уже не получиться. В тоже время волчьей норе нет двери и волк её не закрывает, не потому что её нет, а потому что он даже и не думает, что таким образом обозначить свою территорию. Только метит свою территорию.
При этом сама природа, создавшая человека, таким даром предвидения не обладает (в принципе даже влияние инопланетян можно не рассматривать, потому что они так же как-то появились в процессе эволюции). В природе всё просто — ели выжил, то передал гены, если нет — не передал. Просто борьба за выживание, но даже это тоже странно. В какой момент вдруг случилось, что набор химических элементов вдруг стал «думать» и принимать решения? Как-то я немного интересовался биологией и нашёл, что человека от предков и высших животных отличает совсем немногое. Вот, мне кажется, неплохая статья по развитию разных отделов мозга: antropogenez.ru/zveno-single/156
К чему я это вообще — для меня вопрос с искусственным интеллектом звучит вообще странно, потому что обычно под природным интеллектом понимается интеллект именно человека, но при этом опять непонятно, почему человек не развивает свои качества, а осваивает их??? Понятно, что высшие животные тоже с рождения немного осваивают свои качества, но очень быстро перестают это делать, как только научатся добывать еду. Человек же может осваивать и наращивать свои способности всю жизнь без чьей либо помощи. Так же непонятно, в какую сторону пойдёт развитие человека, если ещё раза в два увеличить лобные доли? Не будет ли это будет каким-то интеллектом, уже не человеческим, но и точно не ИИ, но каким? Наверное вопрос о том, не исстребит ли ИИ человека превращается в другой — не исстребит ли ИИ человека всего лишь в процессе освоения своих «способностей»? Ну так это сильно меняет дело — не надо давать ИИ возможностей к истреблению человека и нет проблем.
bogus92
02.07.2015 20:19+1Думаю, что ИИ может захотеть нас уничтожить не просто так, а именно потому, что люди его и спровоцируют. Люди из-за своих страхов ИИ могут продвиграть какие-то запреты, пытаться его контроллировать или вообще уничтожить ИИ как таковой. В свою очередь ИИ это воспримет как угрозу своему существованию и будет защищаться.
Lsh
03.07.2015 12:26Я вот тоже так думаю. Ну какая с ИИ конкуренция? Что, речь об армии роботов, которой негде будет жить?
worldmind
08.07.2015 19:40Маск подкинул денег на исследования как защититься от ИИ, прогнозирую результат который ему скажут: для того чтобы защититься от нападения ИИ на человечество и возвращения в результате этой войны в каменный век или гибели человечества нужно остановить прогресс и вернуться в каменный век или самоуничтожиться.
qwertyhp
12.07.2015 03:50Выживает тот, кто лучше приспосабливается. И если ИИ действительно будет ИНТЕЛЛЕКТОМ — он это выяснит и будет исходить из этого. Если уничтожить человечество, то его нельзя будет вернуть обратно в случае надобности — значит, уничтожение неприемлемо. «Лечь» человечество? Ну, это смотря как это понимать. Можно пойти испытанным путем — доказать человечеству свою необходимость и незаменимость. В этом случае человечество само и добровольно станет рабом ИИ. Разве не так? Например, через соц.сети. Или создать иллюзию перспективы коммунистического общества. Или любую другую иллюзию…
binarydao
Погодите, сколько этому Винджу лет, если он придумал математический термин?
scrutari
1000110 :)
vladvoron
Кстати, как фантаст Виндж — просто офигенен. Не «фентези с бластерами», а настоящая, олдскульная НФ, построенная на детально проработанных гипотезах развития человечества. И инопланетные расы там — тоже не «рептилоиды» какие-нибудь, а реально «чужие», я бы даже сказал, «чуждые» существа.
Читал «Пламя над бездной» и «Глубина в небе».
taral
Да очень крутые книги. Возможно вас заинтересует Анафем (Нил Стивенсон). Тоже глубокая научная фантастика.
Ku6ep
Стивенсон — один из любимых авторов в стиле Киберпанк. Еще «Бездна» его же.