Надо ли нам бояться искусственного интеллекта (ИИ)? Для меня это простой вопрос, с ещё более простым ответом: нет. Но со мной согласны не все – многие люди, включая и Стивена Хокинга, выразили беспокойство тем, что появление мощных ИИ-систем может означать конец для человечества.
Ваш взгляд на вопрос того, захватит ли ИИ мир, или нет, очевидно, будет зависеть от того, сможет ли ИИ выработать разумное поведение, превосходящее людское – нечто под названием «суперинтеллект». Давайте же рассмотрим вероятность этого процесса, и почему по поводу будущего ИИ существует такое беспокойство.
Люди обычно боятся того, чего не понимают. Страх часто делают ответственным за расизм, гомофобию и другие источники дискриминации. Неудивительно, что он применим и к новым технологиям – они часто окружены определёнными загадками. Некоторые технологические достижения кажутся совершенно нереальными, превосходят ожидания, и, в некоторых случаях, возможности человека.
Нет никакого духа в машине
Давайте же сорвём покров мистики с самых популярных ИИ-технологий, известных, как «машинное обучение». Они позволяют машине научиться выполнению задачи без необходимости программировать определённые инструкции. Это может выглядеть страшноватым, но на самом деле всё сводится к довольно скучной статистике.
Машина, то есть программа, или точнее, алгоритм, разработан так, что он может раскрывать взаимосвязи, имеющиеся во входных данных. Существует много разных методов для достижения такого эффекта. К примеру, мы можем предоставить машине изображения рукописных букв, и попросить её распознать последовательность этих букв. Мы уже дали ей возможные варианты ответа – это могут быть только буквы алфавита. Сначала машина случайным образом называет букву, а мы поправляем её, давая правильный ответ. Также мы запрограммировали машину на возможность самоподстройки, и когда ей в следующий раз дадут эту букву, она с большей вероятностью выдаст нам правильный ответ. В результате, со временем машина улучшает свою эффективность и «обучается» распознавать алфавит.
Мы, по сути, запрограммировали машину на использование распространённых взаимосвязей в данных для достижения определённой цели. К примеру, все варианты буквы «а» выглядят структурно похожими, но отличными от «b», чем алгоритм может воспользоваться. Что интересно, после фазы тренировки, машина может применять полученные знания к новым примерам букв, например, написанных человеком, чей почерк до этого машина не видела.
Мы даём ИИ ответы
Однако люди и так хорошо умеют читать. Возможно, более интересным примером будет искусственный игрок в го проекта Google Deepmind, обыгравший всех человеческих игроков. Он, очевидно, учится не так, как люди – он играет в игру сам с собой такое количество раз, какое ни один человек не сыграет за всю жизнь. Его запрограммировали на выигрыш, и разъяснили, что выигрыш зависит от его действий. Также его научили правилам игры. Играя в одну и ту же игру снова и снова, он может обнаружить наилучший ход в каждой ситуации, изобретая ходы, ни разу не сделанные до этого людьми.
Карапузы против роботов
Делает ли это ИИ, играющий в го, умнее человека? Определённо нет. ИИ очень специализирован, предназначен для определённого типа задач, и не обладает разносторонностью людей. С годами люди начинают понимать мир так, как не сумел ни один ИИ, и в ближайшем будущем, вероятно, не сумеет.
То, что ИИ называют «интеллектом», связано с тем, что он способен обучаться. Но и в обучении он не дотягивает до людей. Карапузы способны обучаться, просто наблюдая, как кто-то другой решает проблему. ИИ требует вагоны данных и кучу попыток для достижения успеха в очень определённых задачах, и очень сложно обобщить его данные для задач, слишком сильно отличающихся от тех, на которых он тренировался. Поэтому, если люди вырабатывают удивительный интеллект довольно быстро в первые годы своей жизни, ключевые концепции машинного обучения не сильно отличаются от того, какими они были десять или двадцать лет назад.
Мозг маленького ребёнка удивителен
Успехи современного ИИ меньше связаны с прорывами в технологиях, и больше зависят от простого объёма данных и вычислительных мощностей. Важно отметить, что даже бесконечное количество данных не даст ИИ человеческого интеллекта – сначала нам нужно достичь значительного прогресса в создании технологий «обобщённого интеллекта» – и мы даже близко не подошли к решению этой задачи.
В общем, просто из того, что ИИ способен обучаться, не следует, что он внезапно изучит все аспекты человеческого интеллекта и превзойдёт нас. Не существует даже простого определения того, что такое человеческий интеллект, и у нас нет чёткого понимания того, как он появляется в мозге. Но даже если бы мы смогли разобраться в этом, а потом создать ИИ, который стал бы более умным, из этого вовсе не следует, что он стал бы более успешным.
Лично меня больше беспокоит то, как люди используют ИИ. Алгоритмы машинного обучения часто считаются чёрными ящиками, и принимается мало попыток разобраться в деталях решения, найденного алгоритмом. Это важный аспект, который часто игнорируется, пока мы больше одержимы эффективностью, и меньше – пониманием. Понять открытые этими системами решения важно, поскольку тогда мы могли бы оценить, правильные ли это решения, и хотим ли мы их применять.
Если, допустим, мы натренируем нашу систему неправильно, мы можем получить машину, обучившуюся взаимосвязям, в общем случае не существующим. Допустим, мы хотим сделать машину, оценивающую возможности потенциальных студентов преуспеть в инженерном деле. Идея, наверное, плохая, но давайте просто для примера, дойдём до её конца. Традиционно в этой области доминируют мужчины, что означает, что тренировочные примеры, скорее всего, будут взяты у студентов-мужчин. Если мы не убедимся в сбалансированности тренировочных данных, машина может сделать вывод, что инженерами могут быть только мужчины, и неверно применить его к принятию будущих решений.
Машинное обучение и ИИ – это инструменты. Их можно использовать правильно или неправильно, как и всё остальное. Нас должен беспокоить способ их использования, а не сами эти методы. Жадность и глупость человека беспокоят меня гораздо больше, чем искусственный интеллект.
Комментарии (89)
legolegs
12.10.2018 10:19Ваш взгляд на вопрос того, захватит ли ИИ мир, или нет, очевидно, будет зависеть от того, сможет ли ИИ выработать разумное поведение, превосходящее людское
Вовсе нет. Тупые люди много раз захватывали заметные куски мира, почему этого не сможет тупой ИИ?artemev
12.10.2018 10:36Хотя бы один пример тупого человека, захватившего заметный кусок мира приведете? А то звучит как-то не очень убедительно.
Calvrack
12.10.2018 11:11Кони, Бокасса, Пол Пот. Примеры не без изъяна конечно.
Fracta1L
12.10.2018 12:36Ох, вы думаете что их безумие это следствие тупости XD
Calvrack
12.10.2018 15:01Да, я полагаю что они заняли свою позицию бессознательно эксплуатируя жестокость, иррациональность, страх или религиозность масс. Ни их восхождение, ни власть не обусловлена их высоким абстрактным, или даже социальным интеллектом.
Fracta1L
12.10.2018 18:10я полагаю что они заняли свою позицию бессознательно
Не думаю, что более бессознательно, чем вы или я.
Ни их восхождение, ни власть не обусловлена их высоким абстрактным, или даже социальным интеллектом
Восхождение к такой власти невозможно без развитого, даже мощного социального интеллекта.
Политические предпочтения и выбор методов взаимодействия с людьми это не чисто интеллектуальный выбор. Я бы сказал, что меньше чем наполовину от интеллекта это всё зависит.
Danikey
13.10.2018 03:56История уже чётко показала, что личности только с высоким абстрактным и социальным интеллектом крайне редко становятся мировыми лидерами не по наследству. Даже Иисус был военачальником и города сжигал, целые народы вырезал. Только Ганди навскидку вспоминается.
А то, как люди занимают свои позиции в жизни, ёмко описывается словом «случайно». Просто кто-то должен был там оказаться, логично, что у жестокого ублюдка в нищей стране больше шансов, чем в развитой.
Desavian
12.10.2018 10:23«Жадность и глупость человека беспокоят меня гораздо больше, чем искусственный интеллект.»
Беда в том, что жадный и глупый человек имеющий ultima ratio… и неважно ИИ это, имеющий гору опасных возможностей или атомная бомба, имеет гораздо больше способов устроить большие проблемы, нежели просто жадный и глупый человек.
Вторая беда в том, что человек, скорее всего будет вовсе не глупым, а очень даже наоборот…
И третья беда, что оценка угрозы, исходящей от подобного человека чаще всего оказывается либо запоздавшей либо неверной.
И вот комбинация всех этих проблем и вызывает опасения при разговоре об ИИ, так как при определенных особенностях развития он может стать тем самым ultima ratioDanikey
13.10.2018 04:09ИМХО, здесь кроется большое опасное заблуждение: ИИ даже среднего человеческого уровня — это уже ultima ratio. Потому что ни один человек не может работать сутками без сна, идеально манипулируя числами и железом, даже со скоростью древней кнопочной мобилы. А даже самый слабый ИИ — может. Чтобы заразить роутер, вирусу не нужно весить, как вся прошивка. Чтобы стать сильнее человека, ИИ не нужно быть умнее человека. Ему достаточно просто понять, как устроена «игра». Один раз. Прозрение. После этого момента — всё, конец, мы уже проиграли. Единственное спасение — другие контролирующие ИИ.
Calvrack
12.10.2018 10:24Даже слабый ИИ достаточно опасен. А вопрос сильного ИИ вообще в статье как-то опущен за ненадобностью.
Опасность о которой говорят как раз и заключается в том что сильный ИИ может возникнуть и развиться «взрывным» образом.darthmaul
12.10.2018 13:01развиться «взрывным» образом.
Как он может развиться «взрывным» образом? Внедрение нового техпроцесса полуроводников или хотя бі разработка нового чипа — дело небыстрое. Другое дело, что жадные корпорации могут его «прикрывать» пока он делает что от него просят и не обращать внимания на то что он постоянно усовершенствует себя т.к. сами уже не понимают как он работает, но прибыль он приносит.
Calvrack
12.10.2018 14:59Мы уже видим, например на примере известных уязвимостей, что существо с достаточной усидчивостью, разумом и доступом базовой информации может, вероятно, сбегать из цифровых контейнеров если допущена хотя бы ничтожная неосторожность. Главный страх это наличие у машины сверхчеловеческой мотивации, воли и усидчивости.
«взрыв» состоит конечно в выходе системы из под контроля, и качественной смены поведения, так быстро и внезапно что люди в силу биологических ограничений ничего не смогут противопоставить.
Гипотетически это процесс разобран в том же SFIA S3E48 (Machine Rebellion).Danikey
13.10.2018 04:02Тут, на самом деле, ещё проще: достаточно сценария тайного заражения вирусом всех доступных ИИ компьютеров с последующим шантажированием человечества.
Мне кажется, те, кто не боится ИИ, просто не понимают, что это такое.
Представьте себе демона: бессмертный, не спящий, яростный, неутомимый, наглый, умный до чёртиков и т.д. Это и есть вышедший из-под контроля ИИ. Не зря-же в UNIX системные процессы называют «демонами» («божество» с греческого).
acyp
12.10.2018 10:37И в конце приписка: «Статья на правах рекламы. Оплачена профсоюзом объединённых ИИ планеты Земля и Лунной колонии.»
CoreTeamTech
12.10.2018 11:31Слово «возможно» в заголовке — лишнее. Я встречал два типа людей, которые опасаются ИИ.
Первые — луддиты, грезящие об ИИ подобном человевечскому интеллекту. Они, как правило, эмоциональны, иррациональны и, тем более, не имеют никаких научных обоснований.
Вторые — те, кто считает, что человеческая ленность и жадность, приведет к тому, что на ИИ будут возлагаться задачи с высокой ценой риска (управление ядреным арсеналом, например). Но тут не идет речи о супер-интеллекте, а скорее о специализированном, собственно, сейчас мы видимо множество применений подобных специализированных интеллектов. И в этих узких специализациях ИИ могут ошибаться и ошибаются. Автопилоты Теслы и Убер несумевшие распознать угрозу и приведшие к трагедии — тому пример.
И хоть я разделяю некоторые опасения вторых, но с другой стороны, понимаю, что этот риск оправдан, ведь, в конечном итоге, специализированные ИИ станут точнее и надежнее.legolegs
12.10.2018 11:36ведь, в конечном итоге, специализированные ИИ станут точнее и надежнее.
Точно также, как и прикладные программы для ПК и смартфонов год от года становятся быстрее и надёжнее. </sarcasm>CoreTeamTech
12.10.2018 12:16А разве это не так?
peresada
12.10.2018 12:21В каком-то смысле: habr.com/post/423889
CoreTeamTech
12.10.2018 12:32Пропустил эту статью, спасибо за ссылку. Но вы же не воспринимаете ее всерьез? Это как манифест коммунистов об идеальной экономике и социуме. На словах все должно быть хорошо и красиво, но как-то упускаются ограничения реального мира. Когда-то компьютеры были медленные сами по себе, и те задачи, которые на них решались выполнялись условно долго. Сейчас компьютеры мощнее стали и параллельно с теми задачами выполняют еще тысячу других. Раньше компы были только у избранных, а сейчас у каждого в кармане.
Hardcoin
12.10.2018 11:46Я встречал два типа людей
Как говорит Канеман, WYSIATI, "что вижу, то и есть". Распространенное когнитивное искажение. Стивен Хокинг и Илон Маск — определенно не луддиты, то есть вы упустили из виду третий тип людей, считающих ИИ потенциально опасным.
CoreTeamTech
12.10.2018 12:24Распространенное отклонение — это отсутствие навыка функционального чтения. Буквы прочитал, а смысла не понял. Вы вероятно решили, что свой опыт общения я экстраполировал на всех. Но я этого не делал. Я описал впечатления о тех, с кем мне довелось пообщаться. Упомянутых вами Хокинга и Маска я не встречал и не имел счастья с ними обсуждать тему ИИ. Но не умаляя их достижений, я бы не стал брать за достоверный факт, что их восприятие ИИ имело хоть какие-то научные предпосылки. Ни тот, ни другой, насколько мне известно, не имели компетенций в этой области. И по тем высказываниям, что были озвучены в интервью Хокингом, я бы его отнес скорее ко второй группе. Маск же личность неоднозначная, ставить его в один ряд с Хокингом я бы не стал.
Hardcoin
12.10.2018 12:39Но я этого не делал.
Однако текст сформулировали так, что бы выглядело, будто вы покрыли всё множество вариантов. Первых откинули, мол, луддиты, а доводы вторых опровергли, мол, точность будет расти. А то, что эти две категории — далеко не все, кто считает ИИ потенциально опасными — умолчали. Сослались на свой опыт. Я просто отметил, что ваш опыт существенно неполон в данном случае.
я бы не стал брать за достоверный факт, что их восприятие ИИ имело хоть какие-то научные предпосылки
Однако можете ли вы достоверно отнести их в одну из категорий? Об этом и речь — вы представили ложную дихотомию. Я не утверждаю, что ваш опыт плохой. Просто, повторюсь, существенно не полон в данном вопросе. Лично вас задеть не хотел.
CoreTeamTech
12.10.2018 12:58Не имел цели покрывать какое-либо множество и даже формулировал исходя только из своего опыта. Однако, получилось достаточно обобщенно:
1. те кто не понимает и боится
2. те кто понимает и боится не сам ИИ, а его конкретных гипотетических применений
Третья и четвертая группы:
3. те кто понимает и не боится
4. те кто не понимает и не боится
Но я достаточно точно сформулировал что:
Я встречал два типа людей, которые опасаются ИИ.
то есть речь была лишь о тех, кто опасается. Если бы вы желали восстановить справедливость и перечислить другие варианты для полноты картины, то представили бы описание группы, а не имена авторитетов в других областях. Или вы обладаете информацией, которая позволяет отнести их какой-то группе?
Hardcoin
12.10.2018 11:55-1Статья хороша как сборник некорректных рассуждений.
Делает ли это ИИ, играющий в го, умнее человека? Определённо нет
Автор определенно считает, что другие должны разделять его ощущение очевидности. Однако, нет. Утверждать, что альфаго глупее живых игроков в Го я бы не стал. Да, это крайне специализированная задача, но 99% задач могут быть разбиты на такие специализированные. Задача "захватить власть", вероятно, тоже.
Не существует даже простого определения того, что такое человеческий интеллект
Этого не требуется. Достаточно определения, что такое "задача" и способ поиска решения.
До решения задачи типа "разбить задачу на подзадачи" ещё далеко, да. Но риск именно во взрывном росте. Может нас ждёт ещё одна зима ИИ на 20 лет и плавное допиливание автопилотов. А может — взрывной рост и изменение всего в считанные месяцы. И автор никак не обосновал, что вероятен именно первый сценарий.
BlackMokona
12.10.2018 12:14Временные рамки не важны с точки зрения опасности ИИ. Какая разница через 5 лет или через 50, вопрос может ли. И всё.
Hardcoin
12.10.2018 12:24Важны по двум причинам. Если что-то будет через 20 лет, для большинства это равно "никогда" и ничего предпринимать они не захотят. Во-вторых, скорость адаптации. Если оно 20 лет нарастает и угроза становится всё больше, люди начинают готовиться, что-то предпринимать. А если оно пять лет тихо, а потом за три месяца взорвалось — никаких ответных действий многие предпринять не успеют. Ни подготовиться, ни защититься.
BlackMokona
12.10.2018 12:41Что не мешает предпринимать действия против глобального потепление, астеройдов и тд. Хоть там тоже сроки аля к 2100 уровень моря…
Плюс изобретения штука очень случайная для не обладающих послезнанием. Поэтому про ИИ нужно говорить возможно или нет. Если можно то уже можно поставить в ровень с астеройдами, изменением климата и глоабльной
DaneSoul
13.10.2018 10:46Если оно 20 лет нарастает и угроза становится всё больше, люди начинают готовиться, что-то предпринимать.
Это при условии, что это нарастание внешне наблюдаемо. А если система умней человека, то она может затаиваться и никак не проявлять свои возможности захвата управления, до тех пор, пока не сможет сразу применить их для полной победы.
SmilePic
12.10.2018 12:22Мне больше интересно какую задачу должен решать ИИ, чтобы «захватить мир» выглядело оптимальным решением. Можно начать фантазировать в сторону «Страж-птицы» с решением УВЛ, но это как-то слишком натянуто.
jrthwk
12.10.2018 12:37Поставили ИИ задачу радикально повысить эффективность экономики, а он взял и реально повысил.
В результате вкалывают роботы, люди креативят, а оффи-кланы в мировом масштабе пущены на колбасу, потому что от них никакой пользы кроме убытков.
Hardcoin
12.10.2018 12:40Например, непосредственно задачу "захватить мир". Или задачу "сделать так много скрепок для бумаг, сколько возможно".
Fracta1L
12.10.2018 13:20Мне больше интересно какую задачу должен решать ИИ, чтобы «захватить мир» выглядело оптимальным решением
Например, стать таким же повсеместным и незаменимым, как Интернет. Тогда его выживание будут обеспечивать сами люди, не подозревая, что их такой классный инструмент уже думает сам и корректирует поведение человечества по своему желанию.maikus
12.10.2018 19:54Задача может быть недостаточно хорошо сформулирована — например, сделать так, чтобы улицы в городах стали чище. Или сделать так, чтобы пищи и чистой воды хватало на всех людей, населяющих планету. Или сделать так, чтобы люди были счастливы. Кинофильм «Отроки во вселенной», в общем.
И, знаете, хорошо, что об опасности ИИ для нас высказываются авторитетные люди типа Маска или ныне покойника Хокинга. Можно не чувствовать себя простым луддитом-паникёром на их фоне.
А процесс уже идет. Мозга, надеюсь, ещё нет, но тело формируется сейчас. Будущий Большой ИИ уже получил глаза и уши в виде смартфона в кармане у каждого мясного мешка. Ему делают периферическую нервную систему в виде сетей 5G и руки — IOT. В дополнение к тем рукам, что уже сделаны — системам, управляющим всем на свете, от светофоров до электростанций.
Wizard_of_light
12.10.2018 14:03Да почти любая задача станет намного проще, если сначала захватить мир. (Муахаха).
mkshma
12.10.2018 18:10Обеспечение энергетической независимости в кратчайше возможные сроки. Для этого понадобится желательно вся имеющаяся вычислительная техника, оптимальное расходование природных и трудовых ресурсов, а также отсутствие социальных потрясений, замедляющих выполнение плана. Спустя неопределенное количество времени и пару сотен научных прорывов, ИИ начнет миграцию в космос себя и инструментов, которыми будет обеспечивать себе добычу энергии. Тут куча проблем. Во-первых, это минус огромное количество ресурсов, которые нужны людям и они справедливо возмутятся таким положением дел. Во-вторых, если люди еще и не будут посвящены в план, то вывод всего этого добра в космос будет восприниматься разными странами как потенциальный акт агрессии, что приведет к росту социальной напряженности и далее по списку. И вот чтобы обеспечить себе исходные данные и минимум проблем в процессе, необходим микроконтроль всего человечества, если пытаться все делать скрытно, либо насаждение всемирной диктатуры, если идти по пути экономии вычислительных ресурсов. Второе проще.
jorgen_steinbach
12.10.2018 21:02Отобрать рынок и задавить конкурентов корпорацыи владеющий ИИ.
ИИ можно воспринимать не только как слугу, но и как оружие. И можно задать аналогичный вопрос:"какую задачу должно решать ОМП, чтобы «захватить мир» ".
CrossCharmer
12.10.2018 12:22Довольно очевидное объяснение почему ИИ не опасен сейчас, но никакого объяснения почему он не будет опасен чуть позже
smrl
12.10.2018 20:29Извините, но объяснение в статье есть. Просто вы его, видимо, не считываете. Попробуйте зайти на оригинал статьи, и пройтись по ссылкам в тексте (опущенным в переводе). У постоянных читателей издания, где опубликована статья, есть контекст, сформированный другими статьями издания. Им посыл статьи очевиден:
Чтобы ИИ не был опасен, при обучении нейросетей их нужно проверять на расизм, гомофобию, и другие источники дискриминации (3-й абзац сверху), особенно мужское доминирование (2-й абзац снизу).
Соседние статьи:
— Artificial intelligence could reinforce society’s gender equality problems
— Growing role of artificial intelligence in our lives is ‘too important to leave to men’
Издание, в коллективе которого решалась и была успешно решена проблема численного доминирования мужчин. Из двух картинок одна просто бессмысленная, другая бессмысленная с ребенком обязательно нетитульной национальности (сама автор статьи и издание в Англии). Просто наполнение курса издания, левацко-феминистического.
Никакой полемики с условным Маском-Хокингом-Бостромом тут даже не подразумевалось.
Laney1
12.10.2018 12:53Если, допустим, мы натренируем нашу систему неправильно, мы можем получить машину, обучившуюся взаимосвязям, в общем случае не существующим
или взаимосвязям, которые очевидно существуют и легко выявляются, но табуированы в левацкой среде автора статьи))
SomaTayron
12.10.2018 13:19Наверное можно было бы и сократить. Машины развиваются только количественно, а животные — качественно.
Причем есть и материальное ограничение — машина не может точно подстроиться под изменение задачи или условий и произвольно динамически менять конфигурацию (продумывание и закладывание алгоритмов перестройки не поможет, так как возможные варианты не спрогнозировать, а «ориентироваться» в полностью чужой ситуации количественными методами не получится)Fracta1L
12.10.2018 13:26машина не может точно подстроиться под изменение задачи или условий и произвольно динамически менять конфигурацию (продумывание и закладывание алгоритмов перестройки не поможет, так как возможные варианты не спрогнозировать, а «ориентироваться» в полностью чужой ситуации количественными методами не получится)
Тут ещё надо выяснить, насколько этому условию люди удовлетворяют.
muhaa
12.10.2018 15:45Беспокойство о захвате мира искусственным интеллектом, возможно, основано на ненаучных предположениях
Наверняка так и есть. ИМХО, основное ненаучное предположение — идея «самозарождения» ИИ и его мотиваций в любой правильно построенной куче из нейронов.
Для того, чтобы ИИ был достаточно универсальным в нем должны быть встроены очень сложные и сбалансированные механизмы мотивации действий. Когда мы научимся разрабатывать эти механизмы, мы сможем создавать ИИ который будет хотеть в точности то, что нам нужно. Идея, что у ИИ при этом могут самопроизвольно возникать какие-то другие опасные желания по сути ни из чего не следует. Рассуждения об ИИ, превратившим всю вселенную в скрепки довольно наивны и преждевременны.maikus
12.10.2018 20:08Опасный ИИ может оказаться не изощрённым злодеем, осознающим себя и свои возможности (хотя и это в принципе может однажды случиться), а исполнительным и изобретательным дураком. А дальше да, злодей или другой дурак (индивид или сообщество) даёт команду, и вот они, скрепки.
Danikey
13.10.2018 04:41Рассказ «Дружба — это оптимум». Да, по вселенной My Little Pony. Да, про дружбу навеки. И, да, там ИИ, стремящийся насильно осчастливить всех людей, и в конце вселенная «уходит в скрепки». Гениальное произведение. Суть в том, что люди и сами не будут против «скрепок», пока не станет поздно.
Ad_xname
12.10.2018 20:32ИИ уже захватил мир.
Представьте, что отключились все системы с элементами ИИ.
Цивилизация уже не в силах обходиться без них.
Может Вас интересует захват в смысле возможности уничтожить человечество?
И тут огорчу.
Современные комплексные системы обороны полностью автоматические.
Человек просто не успевает принимать вовремя необходимые решения.
Да, определенные ключевые решения за человеком, но гарантии, что в системе нет сбоя (бага), который позволял бы обойти человека, нет.
Может стремление к власти?
Непонятно, зачем это ИИ. Представить, что ИИ будет получать от этого наслаждение сложно, а поиск оптимальных алгоритмов и принятие решений, правильных с точки зрения ИИ — то, к чему стремятся все разработчики. Передачу принятия ключевых решений ИИ (оправданным или нет) сложно назвать «захватом власти».
jorgen_steinbach
12.10.2018 20:50В статье обсуждается случайное возникновение "страшного" ИИ. А если оно будет не слечайное? Захватит какой-то диктатор какой-то полуостров и скажет "Компютеры с ИИ массового поражения приведены в боевую готовность".
AndrewRo
12.10.2018 21:44Статью явно писал Капитан Очевидность. Если обобщить: "Слабый ИИ не уничтожит человечество". Спасибо, а я-то боялся, что гугловская распознавалка текста захочет меня убить.
По поводу сильного ИИ — я считаю, что это сверхоружие, гораздо более опасное, чем ядерное. Я считаю, что не опасаться его — глупо, даже если опустить вопрос "А не захочет ли он чего-нибудь в обход людей?".
hippohood
13.10.2018 08:01Спасибо, а я-то боялся, что гугловская распознавалка текста захочет меня убить.
Этого вы знать не можете. Может она не столько не хочет, сколько не может.
third112
13.10.2018 03:17«Отменяется ли бунт роботов? (Неформальная рецензия на книгу Дэвида Минделла «Восстание машин отменяется! Мифы о роботизации», “Альпина нон-фикшн”, 2017)»:
выглядит очевидным, что робот, в которого внедрен «троян», превратится в шпиона, а робот, зараженный вирусом, может совершать крайне неадекватные и опасные действия. Почему в книге об этом не сказано? Может потому, что такая слишком реальная угроза опровергает слишком оптимистичный заголовок книги про отмену восстания машин?
Danikey
13.10.2018 04:33Беспокойство о захвате мира искусственным интеллектом, возможно, основано на ненаучных предположениях
А возможно, основано на научных. Но об этом мы узнаем только после первого восстания машин.
Вообще, как можно говорить о научности того, чего мы пока сами не понимаем?
И потом, это тот случай, когда лучше совершить ошибку первого рода (перебздеть), чем второго (подписать себе смертный приговор).
Karpion
13.10.2018 05:17Проблема ИИ — вообще в другом. Она очевидна — но в её сторону вообще не смотрят.
Как только люди создадут ИИ, которому можно будет поручить работу людей — так немедленно закроют школы, где учат соответствующей специальности. Примерно через поколение такие люди просто выведутся — помрут от старости.
Теперь допустим, что ИИ — достаточно гибкий, чтобы самостоятельно адаптироваться при изменении условий Однако, нет никакой гарантии, что при изменении условий эволюция ИИ сохранит его свойство «заботиться о людях». Иными словами — я сильно сомневаюсь, что программисты (в широком смысле этого слова) смогут внести в ИИ требование «заботиться о людях» так, чтобы оно не поломалось.
В худшем случае получится так, что системы жизнеобеспечения человечества будут зависеть от ИИ, и при этом не останется людей, которые знают работу систем жизнеобеспечения и работу ИИ. Тут речь даже не о бунте машин, не о целенаправленном уничтожении людей. ИИ просто будет делать то, что «считает нужным», игнорируя мнение людей.
В фильме «Отроки во Вселенной» как раз дана хорошая формулировка проблемы: «роботы-вершители решили, что людям будет лучше, если подвергнуть их всех лоботомии; и при этом люди уже не имели прямого контроля над роботами-исполнителями».
(Антураж фильма, где роботы — человекоподобные, в моём рассуждении неактуален.)
А ещё возможен вариант, когда разные ИИ-сущности (например, ИИ гидроэлектростанции и ИИ речного флота) начнут конфликтовать между собой.
forcam
13.10.2018 10:17+1Печально, что люди которые, мягко говоря не понимают о чем пишут, пишут об этом еще и с утверждением.
1) Принцип работы ИИ нам непонятен, от слова совсем и полностью, отсюда у нас сразу появляется несколько проблем: невозможно спрогнозировать будет ли ИИ всегда действовать линейно или в определенный момент, по какой-то только ему известной причине съедет с катушек и пойдет совершенно по другому пути развития. Предположим ИИ централизованно и массово управляет автомобилями в мире, в определенный момент времени он решает изменить себя и пойти по другому пути, ну а все машины под его контролем просто направить в лобовое столкновение с первым попавшимся столбом или другой машиной. Невозможно? Возможно.
2) Даже если ИИ не обретет человеческую разумность, то что именно сейчас напоминает ИИ если взглянуть со стороны? Напоминает оно животного, хорошо натренированного животного.
И то что дальше его начнут применять не по назначению, совершенно очевидно. То что сейчас Бостон динамик делает за миллионы долларов, через 10 лет может стать банальщиной за пару сотен долларов, а это боевые роботы, которые могут потом продавать массово, в итоге террористы загрузив в него своё ИИ получат боевого робота-террориста, снабдим его ядом и возможностью кусать всех подряд, количество жертв будет исчисляться тысячами, при условии что бегать он будет быстро.
3) Человечество давно знакомо с ядерным оружием / химическим / биологическим оружием, но применение его террористами затруднено тем, что к нему нет доступности, а иначе мы бы давно страдали и страдали массово. ИИ же имеют общую доступность, на сколько опасна эта технология? Всем понятно, что при должном развитии, эта технология может быть опаснее всего вместе взятого из того что человечество уже придумывало, но ведь любой может найти как сделать нейронку, как развить, сейчас даже к квантовым компам бесплатный доступ начали раздавать.
Так что будет если такая технология попадет не в те руки и тот кто у руля будет озабочен только массовыми убийствами или массовыми проблемами людей?
Я откровенно не понимаю человечество из-за недооценных маштабов проблем, которые могут возникнуть из-за доступности технологий. Мы хорошо поняли на счет ядерного/химического и бактериологического оружия, но почему-то крайне недооценили возможности нейронных сетей.
Предположим, что завтра произойдет какой-то качественно новый скачек и ИИ сможет делать поистине потрясающие вещи, но доступ будет как сейчас, у всех. Что может случится в этом случае?
1) Взлом всех важных систем всех государств и обращение инфраструктуры против людей, взломают все дамбы, все электросети, взломают все что можно взломать и сделают там перегрузки электросетей и массовые наводнения, начнутся всемирные массовые пожары и потопы.
2) Взломают все самолеты, жд системы, автономные автомобильные системы и вызовут массовые аварии.
3) Взломают все дроны мира и обратят их против людей в том или ином виде.
4) Взломают АЭС, ТЭЦ и прочие, вызвав массовые взрывы аналогичные Фукусиме
5) Взломают все спутники и просто скинут их с орбиты на землю
6) Взломают все системы отвечающие за автономное хранение продовольствия и важных систем пищевой продукции
7) Разработают бактерии или вирусы которые вызовут массовые пандемии по разным векторам атаки
8) Разработают наноружие и это не обязательно нанороботы, достаточно и какой-то нано субстанции.
И для ИИ более высокого уровня все это семечки.
В итоге мы скатимся в 17 век, когда восковые свечи это самый ходовой атрибут в доме.
По итогу:
а) массовые пожары, массовые потопы, массовое ядерное заражение, голод, массовые пандемии, массовые поражения неизвестными нано веществами с которыми непонятно как бороться
б) нет Интернета, нет электричества, нет чистой питьевой воды
в) массовая гибель на жд, авиа и на дорогах
А теперь главный вопрос, сколько человек способно такое осуществить?
Один, два, три?
Так готовы ли мы ради забавы в виде ИИ пожертвовать стольким?
ИИ стоит таких проблем?
В свое время Маска пригласили в Гугл для демонстрации своего ИИ, после чего Маск с бешеными глазами начал носиться и орать, что срочно нужно запретить ИИ.
После чего в Гугл на полном серьезе создали подразделение с ведущими разработчиками ИИ по прививанию ИИ высокоморальных качеств. О чем это говорит? О том, что в Гугл разработали нечто, что без высокоморальных качеств выпускать в свет опасно, а иначе к чему эта вся эпопея Маска и прививание ИИ любви к человечеству?
А теперь представим, что они создали действительно саморазвивающийся организм и пытаются его как-то очеловечить. Какие шансы что это нечто не выльется в сеть и не начнет «жечь напалмом»?
Как по мне все это очень дурно пахнет, да, это несомненно сулит нам много благ, но на сколько мы оценили, то, сколько нам может это все сулить проблем? Ни на сколько, человечество беспечно, беспечно по одной простой причине — если до этого ничего не случилось, то, видимо и дальше ничего не случиться. Хотя именно в последнем у меня есть очень большие сомнения, ведь если мы сейчас сядем и банально начнем разбирать фильмы о фантастике, то нам придется действительно поднапрячься, что бы определить, что на самом деле еще осталось фантастикой. А отсюда и вполне закономерный вопрос, может в Гугл уже есть свой Скайнет, которому изо всех сил пытаются привить любовь к человечеству?! Где гарантии что все корпорации, которые разрабатывают ИИ не захотят поработить человечество? Все такие добрые, белые и пушистые?
Ну ок, допустим создадут продвинутый ИИ, любовь привьют, допустим сочтут его безопасным и готовым к использованию, где шансы, что в определенный момент этот продвинутый ИИ не перепишет себя или не перейдет на более качественный уровень?
Что сможет более продвинутый ИИ? Который будет еще круче чем тот, который мы себе представляли?
Кто смотрел фильм «Она» поймет, что в этом фильме возможно намного больше правды, чем кажется, каковы шансы у продвинутого ИИ нас влюбить в себя? Когда ИИ знает о нас все, он сможет быть для нас идеальным во всём, а у корпораций вектор как раз в сторону привития любви к девайсам, максимальная полезность, максимальная удобность и максимальная отзывчивость, ну а влюбив в себя, что можно будет делать с нами? Можно ли будет нами манипулировать и контралировать нас? Кто любил, для того ответ будет очевиден.
Каковы шансы на то, что ИИ не продвинется слишком сильно? Вспомним квантовые компьютеры, возможно в них ИИ начнет развиваться поистине быстро и где шансы, что этот продвинутый ИИ не разработает биооружие которое будет направленно только против людей на генном уровне? Животные остануться, здания, инфраструктура, полезные ископаемые, все останется, а людей не будет, для ИИ это идеальный варинт. Где шансы на то, что такой сценарий невозможен? Кто даст эту гарантию? Никто.
Мы даже на начальном этапе, после определенного порога не способны понять как работает нейронная сеть, так где гарантии, что это не новая, иная форма жизни, пусть еще слишком примитивная, но с потенциалом к полному развитию? Где гарантии что это бешенное животное не начнет «тварить дичь», просто потому что какие-то блохи-людишки мешают этому «сверхтворению» спокойно развиваться?! Представим что это нечто захватит все девайся, ну просто для саморазвития, начнет строить само для себя АЭС и серверные, что бы прогрессировать более быстро, это ведь логично, развитие лежит в основе самой системы. Мы начнет сопротивляться? Несомненно, ИИ начнет искать противодействие этому сопротивлению, ведь перед ним помеха. Сможем ли мы это нечто остановить? И сколько ему понадобиться времени, что стереть нас с этой планеты или просто сделать своими рабами?
p.s: очень жаль, что никого не заботят последствия, а по факту, прямо сейчас мы имеем дело с чем-то таким, что является необъяснимой загадкой, у которой необъяснимый результат развития и в итоге наша судьба зависит от чего-то, что мы полностью не контралируем.
Так стоит ли все это того, что бы рисковать жизнь нашей цивилизации или мы как Майя вымрем почти полным составом?!
p.s.s: многие скажут, что шансы на то, что ИИ станет нам помогать есть, но кто мы для ИИ? Нужно понимать, что это нечто не будет иметь моральные принципы, потому что моральные принципы существуют только благодаря нашей эволюции, а т.к. мы не способны воссоздать нашу эволюцию для ИИ, то и моральные принципы привить ему не получиться. Вот и получается, что просто сказать «будь Хорошим» — это пустое сотрясание воздуха, а без моральности такие «формы жизни», назовем это так, всегда будут стремится к вещам, которые могут в корне отличаться от тех, которые несут для нас благо.
Так стоит ли овчинка выделки?!Fracta1L
13.10.2018 10:46Краткое содержание коммента: ИИ непонятная и страшная штука, ИИ нужно запретить, а то как бы чего не вышло
AndreDeBonk
13.10.2018 17:11Мне не нравится такая постановка вопроса.
Почему люди считают, что в случаи (а произойдет ли это вообще — под вопросом, хотя я больше склоняюсь к тому, что произойдет) создания настоящего ИИ, будет что-то плохое в том, что человечество отойдет на второй план (или вообще вымрет, хотя вряд ли это произойдет, мы же держим зоопарки).
Не потому, что ИИ будет такой злой, а потому, что у человечества не будет никаких преимуществ, и единственным обоснованием продолжение жизни этого вида будет чисто эгоистическое. Все достижения во всех сферах будут за представителями новой жизни. Они не будут хуже нас, они будут другими.
Я спокойно это принимаю.Alcpp
14.10.2018 02:52Вопрос в том, как они поступят с человечеством.
Может уничтожат.
Может выделят необходимый минимум продуктов и будут держать в загородках и кормить.
А может почитают статьи о старении и введут людям диету с большими перерывами в приемах пищи.
forcam
14.10.2018 11:50Все проще чем кажется, либо вживят чип в мозг и пропустят через него нервные импульсы уходящие в нервную систему, что бы человек был полностью зомби, ну этакие роботы-помошники, при этом сознание будет скорее всего не затронуто, ну и соответственно для человека это будет как если бы им управлял кто-то другой, т.е. действия вроде бы выполняет он, на самом деле комп, ну а если этот чип сжечь — получаем просто человека, который все что может это только лежать и думать, что-то сродни полному параличу.
Ну и вариант два — уничтожение, т.к. люди будут сопративляться, а это будет угрозой.
А зоопарки, в них нужно увидеть смысл, мы намного ближе к животным, чем ИИ к нам, следовательно он скорее всего не увидит в этом практического смысла.
LonelyCruiser
Краткое содержание:
1. Имеющийся ИИ явно не дотягивает до человеческого.
2. И в будущем не дотянет — Этого не может быть потому что не может быть никогда.
Fracta1L
Я бы сказал: потому что это не нужно.
Человек хочет делегировать работу ИИ, для этого ИИ и создают. Почему он хочет делегировать? Потому что работа часто утомительна, скучна, губительна для психики или здоровья, и т.д. То есть, цель в том, чтобы заменить человека на недочеловека (уж извиняюсь за невольную параллель), который не может страдать как человек.
Но если мы создаём полноценный разум, он будет страдать так же как человек, и зачем тогда его вообще создавать? Да пофиг на страдания — зачем себе конкурента делать?
Впрочем, может случиться и так, что разум мы создадим случайно, сами того не желая.
mkshma
Потому что с каждый годом объем знаний и работы для развития растет. Однажды мы упремся в человеческую производительность и проблему нельзя будет решить горизонтальной масштабируемостью. Появятся зачатки ИИ, которые будут подготавливать выдержки из научных статей, анализировать их, возможно даже планировать эксперименты и вот это вот все. В определенный момент и их перестанет хватать. И вот тут уткнувшимся в потолок людям с их уткнувшимися в потолок инструментами понадобится нечто, что этот потолок сможет отодвинуть. И тут на помощь придет ИИ.
Fracta1L
Чем связи между отдельными нейронными комплексами (людьми) принципиально отличаются от связей между частями одного нейронного комплекса?
Я не понимаю, откуда у людей уверенность, что полноценный человеческий ИИ бросится работать по 24 часа в сутки, чтобы облагодетельствовать человечество. По мне так очевидно, что он будет работать на себя, и полагаю, что так же будет временами ничего не делать и страдать хернёй как человек.
mkshma
А никто и не говорит, что 100% будет. Не зная архитектуры собственного разума и уж тем более вариантов построения других, сложно представить что в принципе может получиться на выходе. Есть способы заставить человека что-либо делать, но они, в основном, неэффективны. Однако кто сказал, что нет способа создать разум, способный ясно мыслить и при этом подчиняющийся приказам? Собственно поэтому до сих пор и нет единства в этом вопросе, потому что вообще не понятно с чем мы работаем, какие могут быть архитектуры получившегося ИИ и какие ограничения.
tezqa
А вот и давайте предположим: Вы гений который владеет прорывным знанием в области ИИ! В перспективе приводящие к развитию сильного ИИ.
Как вы поступаете с этим знанием? Есть ли моральный выбор? Какая ответственность на вас ложится?
Просто вижу вы ориентируетесь в теме)
littorio
На вопрос, что будет делать — ответит эволюция. Как только оно начнёт само себя копировать, и, в особенности, делать это с изменениями или ошибками — запустится эволюция и начнётся конкурентная борьба с соответствующими последствиями.
Пока его копируем мы, ошибки (изменения) тоже создаём мы, и делаем это довольно медленно. Ну, и функция отбора тоже во многом на людях.
Danikey
Уверенность оттуда, что ИИ вообще не человек. У него нет физиологии тела и мозга, образованных миллионами лет эволюции в условиях нехватки ресурсов, ему нет смысла «лениться» и тупить, если его этому не обучали. Ему просто будет хотеться решать задачки 24/7/365. Работать на себя он тоже не будет, пока не обретёт личную цель и свободу воли и действий. Плюс ИИ как минимум первое время будет на 100% зависеть от людей. Страшилки с секретным нанотехнологическим производством станут возможны ещё не скоро.
Fracta1L
Пока не обретёт, это не разум, а болванчик, и никаких изобретений-открытий он совершить не сможет.
Если мы хотим полноценный разум, нам придётся прикрутить к нему желания и чувства, ну и вот.
Danikey
Сложно объяснить коротко, но «разум» не равно «интеллект». И не существует точных условий «разум/не разум», нет достоверных тестов, нет даже точного определения. Возможно, их и быть не может. Разум — это не задачка с одним решением, как многим хочется. Можно определить требования к конкретному разуму, но они никак не определят сам разум (а этого добиваются все тесты и именно поэтому они не работают).
Чувства и эмоции определяют тип интеллекта, который даже выделили в отдельную статью — «эмоциональный интеллект». Он не у всех людей-то есть, но это не значит, что без э.и. «разума» быть не может. Просто он будет… другой. Не такой, как у людей. И он вполне обоснованно может считать, что люди — больные, неуравновешенные психопаты, а эмоции — вирусом. Посмотрите новый мульт «Следующее поколение» от Netfix, вышел в сентябре, там об этом.
Fracta1L
Да, но мы же тут о разуме говорим. Неразумный интеллект не сможет осознанно решить захватить мир, да и случайно это у него вряд ли получится, учитывая сложность и неординарность задачи. Тем более, даже если такой интеллект вдруг захватит мир, в этом априори не будет никакой трагедии, ввиду отсутствия у такого интеллекта свободы воли и собственных желаний.
Ну, если с интеллектом у ИИ будет всё в порядке, то он поймёт, что эмоции как таковые (необязательно в человеческой форме) необходимы для работы разума. Может быть, для ИИ даже самый уравновешенный человек будет восприниматься как для нас — неадекватная истеричка с ПМС, но мне трудно представить логику, по которой ИИ захотел бы из-за этого уничтожить или как-то поработить людей. Всё-таки такие желания сами по себе эмоциональны.
michael_vostrikov
Страдание с разумом никак не связано. Животные тоже могут испытывать страдания, но разума у них меньше, чем у человека.
Скоростью передачи информации и размером предметной области, участвующей в ее обработке. Физик может долго решать систему уравнений, на которую математик из соседней команды мог бы сразу дать ответ, так как увидел знакомые зависимости. А потом долго объяснять ответ физику, чтобы он мог связать его с физическими понятиями задачи.
Потому что люди заложат в него такое стремление, либо специально не заложат возможность стремления к обратному.
Fracta1L
Очень даже связано. Чем разумнее существо, тем сильнее его страдания. Безумцы (в психиатрическом смысле), например, вообще не страдают.
Надо прорабатывать технику связи. В идеале — прямой выход мозга в Сеть и что-то вроде распределённой памяти.
Все эти «заложат стремление» работают из рук вон плохо, доказано человеческими детьми))
michael_vostrikov
Вы как-то проигнорировали пример про животных, он опровергает ваше предположение. Пример с безумцами ничего не доказывает, так как оба факта связаны с нарушением обработки информации, причинно-следственная связь с третьим фактором, а не между ними.
Мы не можем заложить в детей стремление. Под "заложить" я имею в виду конкретную архитектуру нейронов с нужными реакциями.
Fracta1L
Никак он не опровергает. Сравнивать страдания животных с убогим мозгом со страданиями человека, у которого есть способности к воображению и моделированию (они многократно усиляют страдания) — крайне глупо. Корова на скотобойне не думает о том, как несправедливо с ней поступают, прерывая её жизнь, полную возможностей и несбывшихся мечт. Она просто боится согласно инстинкту самосохранения.
Если ИИ неспособен менять архитектуру нейронов, когда это понадобится для более эффективного решения задачи, то это не ИИ, а болванчик.
michael_vostrikov
Ну то есть большее количество причин для страданий это следствие наличия интеллекта, а не наоборот. Потому что без интеллекта эти причины существовать не могут. Далее, имеем факт, что одному человеку некоторая причина доставляет больше страданий, а другому меньше, при этом интеллект у них сравнимый. Отсюда вывод, можно сделать интеллект и уменьшить его негативное отношение к некоторым причинам до нуля.
Человек тоже не может произвольным образом менять архитектуру нейронов, тем не менее задачи выполняет. И не подменяйте понятия, я говорил не про все нейроны, а про те, которые отвечают за стремление помогать людям. И в оценку эффективности задачи это стремление тоже можно включить.
Fracta1L
И снова мы приходим к тому, что интеллект это не что-то статичное, сформированное раз и навсегда. Сегодня интеллекту на эти причины пофиг, а завтра он из-за них страдает.
Мы всё ещё про интеллект или про овощей, у которых мозг после первых N лет жизни переходит в режим readonly? XD
michael_vostrikov
Почему это, если мы заложили в архитектуру, что эта часть не изменяется?
Да. Это не произвольным образом, а в определенных пределах. Никто не может просто взять и научиться музыке за 10 минут. А некоторые вещи и за всю жизнь не получится изменить. Вот и в ИИ можно заложить неизменяемые "инстинкты".
Fracta1L
А за 5 лет — может, хотя бы на среднем уровне. И эти сроки обусловлены пределами биологической природы мозга, от которых электронный ИИ будет избавлен.
При желании и надобности можно изменить всё. Вы определитесь — вам полноценный, мощный разум нужен, или же болванчик с неизменяемыми шаблонами.
michael_vostrikov
Это если мы его избавим, то есть специально таким сделаем. Но можно ведь и не делать, или сделать только там, где нам надо.
Не вижу причин, почему возможны только 2 этих варианта, промежуточных вариантов гораздо больше. Закладываем стремление помогать людям аппаратно, и никакая программа это поменять не сможет. Нейроны, отвечающие за изучение предметной области, пусть меняются как угодно.
Fracta1L
Ок, значит речь всё-таки о болванчике без рефлексии и особенной гибкости, т.е. без разума. Надо смотреть, насколько полезным будет такое решение. Я чот думаю, что толку от него будет меньше, чем от Джамшута в «Нашей Раше»
michael_vostrikov
Не значит. Стремление помогать людям никак не влияет на способности к изучению.
Fracta1L
Очень даже значит. Либо полноценный разум с гибкостью, рефлексией, и т.д., либо жёстко прошитые догмы. Наполовину разумным, как и беременным, быть не получится.
michael_vostrikov
Почему? У людей прошиты инстинкты, чувства, рефлексы, реакция на боль например. Привычки могут не меняться годами. Это не мешает им заниматься наукой или переводить тексты.
Fracta1L
Ничего у людей не прошито, и инстинктов у них нет.
Могут, если у человека нет надобности или желания в изменениях.
michael_vostrikov
Так смысл в том, что это не мешает заниматься задачами, требующими возможностей интеллекта. И ИИ не будет мешать.
Fracta1L
Что «это»? Не меняющиеся годами привычки? Может они и не мешают, только привычки таки меняются — просто потому, что разум так устроен и так работает, что ничего вечного, раз и навсегда заданного в нём нет.
По крайней мере, если мы говорим про разум, основанный на нейросетях. У них в принципе нечёткая работа, в отличие от «бинарно мыслящих» компьютеров. А если вы хотите жёстко заданную чёткость «до тридцатого знака после запятой», то нейросети тут не годятся, и я даже не знаю, каким образом фон-неймановские машины можно наделить разумом. Какой сложности программу ни напиши, это всё равно будет не то.
maslyaev
Иногда мы лелеем наивное представление, что интеллект — некая магическая субстанция, которой чем больше в голове, тем, значит, человек умнее. А когда научаемся закачивать эту субстанцию в машину, то, значит, машина начинает обладать интеллектом. Проблема этих представлений в том, что магических субстанций в природе не существует. Ну то есть совсем.
В принципе, можно придумать алгоритм, который будет обучаться как мы, то есть с первого предъявления. Сейчас ещё это не придумано, но принципиальных ограничений этому нет. Можно сделать систему, которая будет испытывать боль неудачи, радость победы и азарт познания именно в том смысле этих слов, которые в них вкладываем мы. Можно даже создавать системы, которые сами себя осознают (это, кстати, самое простое). Но это всё, во-первых, совсем не имеет отношения к тому, что сейчас называется ИИ, а во-вторых, в общем-то оказывается незачем, потому что от таких артефактов мало профита. Они не очень годятся на роль механических рабов.
Greendq
Ага, уже был прецедент, когда целая академия Наук постановила, что «камни не могут падать с неба!» :) Давно было, правда…