Хокинг: искусственный интеллект — угроза человечеству
Создателя Linux рассмешили страхи Стивена Хокинга и Илона Маска
Стивен Хокинг:
Такой разум возьмет инициативу на себя и станет сам себя совершенствовать со все возрастающей скоростью. Возможности людей ограничены слишком медленной эволюцией, мы не сможем тягаться со скоростью машин и проиграем.
Линус Торвальдс:
Это из раздела научной фантастики. И, стоит признать, фантастики не лучшего качества. На каких препаратах сидят эти люди? Программист не считает возможным развитие искусственного интеллекта, который действительно мог бы поработить человечество. Вместо размышлений на эту тему Торвальдс предложил обратить внимание на любой из существующих искусственных интеллектов и оценить его действия. Как правило, это очень ограниченные и не способные к саморазвитию программные продукты, помогающие переводить речь с одного языка на другой или планировать расписание на неделю.
По мнению Торвальдса, максимум, на что способны подобные системы, уже доступно в Google Now и Siri — распознавание голоса, текстовых обращений и картинок, обработка полученных данных для выполнения простых указаний человека. И он не видит ситуации, в которой посудомоечная машина заставила бы своего владельца обсуждать с ней труды Сартра.
Возьмусь утверждать, что несмотря на все заслуги, как Стивен Хокинг, так и Линус Торвальдс демонстрируют наивность. Хокинг переоценивает возможности интеллекта, а Торвальдс недооценивает.
Искусственно созданный носитель интеллекта возможен, но он не будет всемогущ в своём самосовершенствовании. На каком основании Хокинг решил, что машина способная осознать себя и выдать подобное: 'Мыслю, следовательно существую', будет способна на неограниченные возможности?
Самоосознание — лишь вершина айсберга в работе сложнейшего устройства — ЦНС. И очень сложные процессы и алгоритмы находятся вне поля нашего сознания, зачастую мы не можем вмешаться в их ход. А если осознанно попробуем вмешаться, то это может привести к нарушению естественных процессов, ведь всем известно, что когда не задумываешься, то легче получается.
Естественный носитель интеллекта — homo sapiens, разве он всемогущ в своём само-модифицировании? Развитие навыков — небыстрый и ресурсоёмкий процесс.
Кстати в теории мозг человека можно подключить через нейроинтерфейс например к базе данных, даже напрямую проводами к областям мозга. Думаю, что подобный эксперимент ожидается. И через упорную практику, тренировку, многократные повторения, мозг адаптируется к извлечению информации. Процесс подобен обучению езде на велосипеде или управлению самолётом, осознанные попытки постепенно корректируются в правильном русле, а затем навык доводится до автоматизма, который человек выполняет, даже не задумываясь. Возможность подключения к базам данных, конечно, усилит возможности нашего естественного интеллекта, но не бесконечно.
В общем, когда искусственный носитель интеллекта будет создан. Кстати одномоментно это не произойдёт, процесс растянется от нескольких лет — до нескольких десятков лет. И тогда, когда он будет создан, и в какой-то мере будет более эффективен, чем естественный, то в теории ничто не мешает, на той же элементной базе подмонтировать 'расширители' к личностям естественного интеллекта, через организацию плотной нейросвязи и заменой каких-то технических областей мозга. База нашей личности сохранится, но эффективность увеличится.
Вот так…
Кстати вот история:
В аудитории полной студентов и преподавателей. Выступал японец, профессор Хироси Исигуро. Рассказывал о будущем кибернетики. Во время лекции встал вопрос об отличие человека от робота. Профессор заявил что его нет. Из зала раздался вопрос:
— Как так? Поясните свою мысль! Это ведь…
— Ну, вот смотрите, Вы повредили руку, Вам её заменили протезом. Вы от этого стали роботом?
— Нет!
— Прошло время, заменили вторую руку, ноги, сердце, печень. Вы ведь до сих пор человек?
— Да, человек.
— Один орган, другой, третий. В результате вы стали механической оболочкой, фаршированной мозгом в черепе. Но вы ведь не стали роботом?
— Нет, я остаюсь человеком, скорее киборгом, но все-таки человеком! Мозг ведь у меня мой, и самосознание мое.
— А вот теперь смотрите, ваши нервные волокна в мозгу поизносились, и крохотный кусочек этого волокна заменили искусственной тканью. Вас это сделало роботом?
— Да нет вроде… — Голос теряет уверенность.
— Одно волокно, второе, третье, без нарушений функций работы. Теперь ваш мозг полностью состоит из пересаженных искусственных материалов. Вы еще человек?
Аудитория молчит.
— А теперь я делаю полную физическую копию вашего носителя и делаю «копировать — вставить». И где Вы настоящий?
Комментарии (107)
sets
04.08.2015 17:43+6Возьмусь утверждать, что несмотря на все заслуги, как Стивен Хокинг, так и Линус Торвальдс демонстрируют наивность. Хокинг переоценивает возможности интеллекта, а Торвальдс недооценивает.
И оба очень-очень любят людей.
Ungla
04.08.2015 17:52+15«А теперь я делаю полную физическую копию вашего носителя и делаю «копировать — вставить». И где Вы настоящий?» Если обе копии будут обладать самосознанием, что крайне маловероятно, то очень даже будет два настоящих меня, которые начнут различаться как только придут в себя, так как находясь в совершенно разных системах отсчета относительно себя будут получать уникальный опыт.
cjfynjy
04.08.2015 20:37+1Не знаю, за что вас минусуют, по-моему, вы правы. Если каким-то магическим образом клонировать живого человека, то в первый момент времени они, действительно, будут одинаковы, а потом начнут накапливаться разные изменения. Скажем, одну копию этого человека можно взять и сильно напугать, и эта копия будет невротиком после этого, а вторая — нормальной. И обе этих копии будут вами (в значении «версия человека, произошедшая из более давней (прошлой) версии этого человека»), точно так же, как вы в 60 лет — это такой же вы, что и в 20 лет, только с учетом накопившихся изменений.
Другое дело, конечно, что это лишь косвенно связано с вопросом «какая из копий будет self-aware» или там «какая из копий будет фейком» (по-моему, ответ на первый вопрос — обе, на второй — никакая).horlon
05.08.2015 09:23+2А потом обе копии «слить» в одну — и это снова Вы с опытом двоих. :)
mukizu
05.08.2015 13:56+1А заодно с высокой вероятностью целого букета психологических расстройств, лол.
Darth_Biomech
05.08.2015 13:57Будет лишь дезориентация и путаница в памяти, но я полагаю что если форкаться активно, то рано или поздно научишься с этим справляться.
HeadOnFire
05.08.2015 18:38Атомарные коммиты в помощь. И надо постоянно синхронизироваться)
Duduka
06.08.2015 06:21А толку? Тут всегда два(и более) ответа на любой вопрос, любая линеаризация приведет к «клинической» личности. Попробуйте создать семью в которой оба родителя имеют одно мнение, но разные личности, ваш вариант — это запичнуть такой коллехтиф в одну голову.
horlon
06.08.2015 08:18Почему же? В каждом человеке живет несколько личностей (см. психологию) эти «личности» «дают» одну результирующую (если существуют все вместе отдельно — это уже пациэнт психдиспансера). Дело в том, что сливать в одну нужно правильно (как именно? исходя из современных знаний о мозге, думаю, мы можем только гадать). В результате получится одна результирующая личность с воспоминаниями двух. Единственный вопрос, который выбьет из колии личность: «где ты был в это время?», но не думаю, что это приведет к психическим расстройствам, но придется привыкнуть к мысли «вездесущности».
Duduka
06.08.2015 11:04несколько в одном — возможно, но не одновременно, личность всегда одна, даже больше, конфликт мнений и приводит к психиатрическим… проблемам. Могу согласиться с тем, что если одна не будет знать про других, то и не будет внутреннего конфликта.
Darth_Biomech
06.08.2015 16:56Конфликта мнений не может быть. Обе эти личности — ТЫ. Обе эти личности придут к одинаковым выводам в одинаковых условиях на основе одинакового опыта. Это не слияние двух абсолютно разных людей, это слияние двух людей которые идентичны на минимум 80%, и различаются только приобретенным, в течении определенного t, опытом. Конфликту неоткуда взяться, тем более что при слиянии будет объединяться не только результаты в виде оформленного голого мнения, но так же и опыт приведший к его формированию.
Duduka
07.08.2015 05:13Конфликта мнений не может быть? Мы не можем договориться не смотря на то, что каждый востпринимает себя как «ТЫ», и на основании оценки минимально отличающегося востприятия небольшого набора символов. Нас спасает только растояние, воспитание(опыт) и… от того чтобы не перейти на агрессивное животное поведение, отстаивания своей точки зрения. «Слияние» человека в «обществе» происходит каждый миг, и не редко он происходит с культурным шоком, аутической реакцией и… т.д. Мы дуальная система (Я и Мы), в котором происходит постаянная рефлексия и интроспекция, если на Ваше «мигание» бутут дико реагировать, какое пространство построит эта личность?
Darth_Biomech
07.08.2015 06:07Вы не поняли. Абсолютно. Речь идет не о слиянии двух разных людей, я повторяю это во второй раз. Речь идет о слиянии двух копий одного и того же человека. И я говорю не о общении, а о психофизическом объединении сознаний. У вас часто случаются такие конфликты с собственными мыслями и выводами, что у вас случается аутизм и культурный шок? Речь ведь не о том чтобы поговорить со своей копией и придти к консенсусу мнений, речь о том чтобы ты и твоя копия, обе мыслящие абсолютно одинаково и имеющие практически одинаковый опыт, объединили свои различия в этом плане, став одним объединенным сознанием. И в этом плане не должно быть причин, потому что обе копии будут воспринимать себя либо оригиналом, либо принимать что они равнозначные копии, и соответственно при объединении никто не будет тянуть одеяло на себя — объединяешься же не с кем-то, а с самим собой.
HeadOnFire
06.08.2015 17:03По сути — согласен. А предыдущий коммент — юмор. Смайлик там не просто так затесался.
futureader
04.08.2015 17:54-2> — Одно волокно, второе, третье, без нарушений функций работы. Теперь ваш мозг полностью состоит из пересаженных искусственных материалов. Вы еще человек?
А вот ни кто не делал ведь еще? С протезами — понятно, уже есть опыт. Но с мозгом? Ну хоть кто-то сделал пересадку мозга? Или, встроил функциональную часть, которую мозг смог бы использовать (не датчики/сенсоры, а именно замену).
Пока нет ни какого свидетельства о том, как себя ведет сознание при попытке заменить часть мозга искуственным. А на счет спора — Торвальдса и Хокинга, Торвальдс не ученый. Он смотрит на искуственный интелект в количестве строк кода. И то количество, которое он оценивает является непреодолимым для него. Хокинг, как блестящий ученый, мыслит шире.YouraEnt
04.08.2015 21:32+2Согласен. Не понятно откуда такая уверенность, что при всех этих «незаметных» пересадках, личность останется не тронутой как ни в чём не бывало. Сознание на сегодняшний день — это чёрный ящик. Просто наивно делать такие утверждения. Никто на самом деле не показал ещё, что знает как и где растворено сознание.
Что касается Торвальдса, он в своих высказываниях показал некоторую осведомлённость о текущем положении дел. Но он действительно мыслит в краткосрочной перспективе. А вообще, похоже все эти известные личности понимают под ИИ что-то своё. Что конечно странно. И может говорить о том, что ИИ будет ещё не скоро…
BalinTomsk
05.08.2015 05:10+2---Хокинг, как блестящий ученый, мыслит шире.
Хокинг испугался ИИ когда ему поменяли его говорилку на новую, с автоматическим предсказывателем окончания фразы.
Имхо, сам он по знаниям далек от понимания что такое ИИ, разве что как общечеловек.YouraEnt
05.08.2015 09:25-1Хокинг далёк от понимая ИИ как выдающийся учёный, который доказал свою способность заглядывать вперёд.
fivehouse
04.08.2015 17:57-2Сам искусственный интеллект никому не угрожает и угрожать в принципе не может. А вот реальные проблемы начнутся, когда некто злонамеренный прикажет реальному настоящему искусственному интеллекту взламывать компьютеры по всему миру, искать уязвимости и писать вирусы. Ради развлечений.
Или прикажет воровать деньги со счетов. И искусственный интеллект это сможет сделать в 1000 раз более изощреннее, чем армия самых отъявленных киберпреступников сегодня.
Или создать армию из 1000 автономных боевых роботов, а потом прикажет захватить контроль над ними.
Неутомимость в задачах проектирования, программирования, планирования боевых задач быстро покажет что с чем.bejibx
04.08.2015 18:10+2Сам искусственный интеллект никому не угрожает и угрожать в принципе не может.
С чего вы это взяли?fivehouse
06.08.2015 19:38Для того, чтобы угрожать кому либо нужно иметь такую функцию или необходимость. У чистого искусственного интеллекта нет ни такой функции ни такой необходимости. Ему даже все равно будет ли он завтра существовать.
bejibx
06.08.2015 21:05+1Ровно тот же вопрос, почему вы сделали такие выводы? Откуда информация? У вашего интеллекта же есть функция «угрожать» (вы можете ей и не пользоваться), так почему у ИИ её не может быть? Почему у него не может быть необходимости угрожать? ИИ может быть не ограничен в своих целях. По какой причине ему даже все равно будет ли он завтра существовать? Вам же не всё равно. Или…
fivehouse
11.08.2015 19:12Я унаследовал все эти цели (функции) в мозге от родителей. А мои родители от своих родителей. В этой цепочке рождений и смертей эти функции сформулировал и намертво прописал в ДНК и в структуре мозга естественный отбор, как явление самоорганизации. От кого эти цели (угрожать, существовать, и т.д.) унаследует ИИ? Каждая функция должна быть явно прописана и реализована. Если ее нет в системе, то и функции не будет. Сама функция из воздуха не возмется. Мне почему-то казалось, что это должно быть ясно.
bejibx
11.08.2015 22:35Мы же сейчас говорим о сильном искусственном интеллекте? Вообще с точным определением понятия «сильный искусственный интеллект» сложновато, но вот вам цитата из вики:
Предлагалось много определений интеллекта (такие, например, как возможность пройти тест Тьюринга), но на настоящий момент нет определения, которое бы удовлетворило всех. Тем не менее, среди исследователей искусственного интеллекта есть общая договоренность о том, что Сильный ИИ обладает следующими свойствами:
Таким образом, даже если ИИ не «унаследует» всё это от рождения, то что мешает ему научиться этому? Просто вы утверждаете что ИИ не может представлять угрозы «в принципе», однако это не так. Это всё равно, что утверждать, что бензопила в принципе не может угрожать тому, кто ей работает — при соблюдении техники безопасности так скорее всего и будет, однако не всегда ТБ соблюдается, также не исключена возможность внезапной поломки, которая приведёт к травме даже при условии соблюдения ТБ. А вы это утверждаете про ИИ — понятие в миллионы раз более сложное, чем какая-то там бензопила.
Принятие решений, использование стратегий, решение головоломок и действия в условиях неопределенности;
Представление знаний, включая общее представление о реальности;
Планирование;
Обучение;
Общение на естественном языке;
И объединение всех этих способностей для достижения общих целей.
Ведутся работы для создания машин, имеющих все эти способности, и предполагается, что Сильный ИИ будет иметь либо их все, либо большую часть из них.
ИИ — это некий концепт, пока никто не знает каким он будет в точности. Вы, вероятно, представляете себе ИИ как в ранних рассказах Азимова, когда 3 закона робототехники были неотъемлемой частью математического аппарата, на котором работали мозги роботов, что не позволяло им причинять человеку вред. Но кто сказал, что ИИ будет именно таким? Это уже не говоря о том, что сам Азимов в более поздних рассказах описывал недостатки своих законов.
Так что безоговорочно утверждать что ИИ ни при каких обстоятельствах не будет представлять угрозу для человека и человечества. на мой взгляд, крайне некорректно.fivehouse
12.08.2015 09:57Вы исказили мою точку зрения, а потом этой же искаженной точке зрения и ответили. То есть ответили сами себе. Я утверждаю, что сам по себе искуссвенный интеллект не может никому угрожать. «ни при каких обстоятельствах» это вы сами придумали и мне приписали. Чтобы интеллект комуто угрожал он должен явно обладать такой функцией или внешним заданием. Если нет такой заданной извне функции или внешноего задания, то и нет угрозы.
qw1
12.08.2015 10:32Можно на ИИ смотреть как на стихийное бедствие. Пусть у цунами нет намерения угрожать людям, но оно может причинить вред. Аналогично ИИ может «уничтожить всех человеков» не имея такой цели, но имея огромные возможности, просто из-за ошибки в алгоритме (что-то пошло по сценарию, который разработчики не учитывали).
bejibx
12.08.2015 11:46Согласен, «ни при каких обстоятельствах» вы не писали. Но вы считаете, что у ИИ не может просто взять и появится функция «угрожать». Нет! Выше я привёл цитату о том, что неотъемлемым свойством ИИ является обучение, так что у него есть возможность самому добавить себе эту функцию. Также вы утверждаете, что угрожать он сможет только если ему кто-то прикажет извне. Нет и ещё раз нет! Опять же — взгляд на цитату: принятие решений, планирование, обучение. Обладая такими свойствами, ИИ сможет сам ставить себе цели и, без использования механизмов в духе трёх законов робототехники, мы не сможем гарантировать, что в один прекрасный момент он не поставит себе целью пресловутое «убить всех человеков».
Концепция сильного искусственного интеллекта подразумевает, что его уровень сознания как минимум не уступает сознанию человека. Это означает, что он способен как минимум на всё то, на что способен человек. Человек способен ставить себе цели? Способен. Люди способны обучаться новому? Способны. Значит, ИИ тоже сможет при необходимости обучится и поставить себе цель. Захочет ли? — отдельный вопрос, тут важно то, что он принципиально может это сделать.
Конечно, всё вышесказанное мной, не имеет ни малейшего смысла, если вы имели ввиду именно «слабый искусственный интеллект».
wrewolf
04.08.2015 18:20+1страшнее представить инстинкт самосохранения этой программы
kraidiky
04.08.2015 20:17-4У человека инстинкт самосохранения развивается миллиарды лет под давлением специальных условий отбора.
Откуда взяться окружающим условиям отбора, которые могли бы создать такой инстинкт AI.Zenitchik
04.08.2015 21:01+1Какой-нибудь урод напишет этот инстинкт. Типа «Интересно же сделать ИИ очень похожим на человеческий разум».
qw1
04.08.2015 22:05+1Не урод, а гений ))
Эта задача пока ведь никем не решена даже в очень грубом приближении к животному инстинкту.Zenitchik
05.08.2015 13:53Вовсе нет. Самосохранение — одна из самых простых поведенческих задач. А конкретные мероприятия, направленные на решение этой задачи, будут определяться аппаратной частью.
wormball
05.08.2015 13:16> Откуда взяться окружающим условиям отбора, которые могли бы создать такой инстинкт AI.
Очень просто — надо создать виртуальный мир, где бы различные экземпляры ИИ могли бы жить по законам Дарвина и взаимодействовать друг с другом. Собственно, есть гипотеза («макиавеллиевский интеллект»), что интеллект человека появился в таком процессе. И служил изначально для того, чтобы объединять одни группы людей против других.
ProgrammerMicrosoft
04.08.2015 18:00Время покажет, возможно через 5-17 лет мы увидим новый мир в котором ИИ возможно создаст рай на Земле или его Уничтожит
Нам остаётся всего лишь наблюдать со стороны или самим принять участие в разработке ИИ
bejibx
04.08.2015 18:09+6Мне кажется пример из конца статьи не имеет отношения к ИИ. То, что там описано не является ИИ, это перенос уже сформировавшегося сознания в искусственно созданную оболочку, то, что принято называть киборгом. При этом переносимое сознание было сформировано естественным эволюционным путём. Сама расшифровка понятия ИИ — искусственный интеллект, подразумевает, что он должен быть создан рукотворно.
Вообще, как мне кажется, большинство опасений в области создания ИИ связаны только лишь с тем, что человечество не может доподлинно представить себе каким он будет, а люди склонны бояться всего, чего не понимают.
Foror
05.08.2015 11:26>Сама расшифровка понятия ИИ — искусственный интеллект, подразумевает, что он должен быть создан рукотворно.
Ну сделай ctr-c, ctr-v и вот рукотворный экземпляр, к которому можешь подключить отладчик и добавить точки останова где тебе нужно.
Понятие искусственное — глупость придуманная людишками, равносильно глупости типа земля центр вселенной. В этом вселенной нет ничего искусственного, все творится природой. На данном этапе природа использует свое последнее достижение, для перехода на более качественный уровень. И не более того.bejibx
05.08.2015 15:59+1Ну сделай ctr-c, ctr-v и вот рукотворный экземпляр, к которому можешь подключить отладчик и добавить точки останова где тебе нужно.
От этого такой интеллект не перестанет быть «естественным», то-есть сформированным эволюционным процессом. Человек пока не в силах создать новый экземпляр интеллекта, как минимум равного себе, не зачав ребёнка и не подождав N лет для его естественного формирования. И это не будет являться ИИ, потому что не мы придумали и выстроили процесс его зарождения и формирования, это было сделано в процессе многомиллионного цикла эволюции. Зачатого и полностью выращенного «в пробирке» человека, я, например, не буду считать ИИ, ведь это будет просто копированием придуманного за нас процесса. А вот программа, выполняющаяся на компьютере и обладающая самосознанием — это уже ИИ, поскольку процесс её (программы) создания в корне отличается от всего, придуманного природой.
Понятие искусственное — глупость придуманная людишками, равносильно глупости типа земля центр вселенной. В этом вселенной нет ничего искусственного, все творится природой. На данном этапе природа использует свое последнее достижение, для перехода на более качественный уровень. И не более того.
Понятие «искусственное» — это не глупость, это понятие (© Кэп). Я понимаю о чём ты, можно рассматривать людей и человечество в целом как всего-лишь инструмент природы, но это уже из области мировоззрения.
Darth_Biomech
04.08.2015 18:39+5Проблема человека в том, что его сознание работает на мозге, и у него нет ни полного понимания того, как он на нем работат (пока), ни возможности модифицировать и совершенствовать свой wetware каким-то путем кроме как эволюционным — а это штука долгая, нудная, и неподконтрольная.
У искусственно созданного мозга такой проблемы не будет — все задокументировано учеными, есть планы, схемы, рассчеты, можно понять как улучшить и что поменять. Если ИИ софтварный, то изменения можно будет вносить ещё проще и быстрее.
FuzzyWorm
04.08.2015 18:41+2— Одно волокно, второе, третье, без нарушений функций работы. Теперь ваш мозг полностью состоит из пересаженных искусственных материалов. Вы еще человек?
Радует, что в Японии знают о великом фантасте, Станиславе Леме, и его произведении 1955 г.
waterandice
04.08.2015 20:38«Кстати в теории мозг человека можно подключить через нейроинтерфейс например к базе данных, даже напрямую проводами к областям мозга.»
В принципе когда человек читает книгу, то он таким образом «подключается» к базе данных. Проблема в том что выявить взаимосвязи, описанные в этой книге требует значительных усилий, вспомнить хотя бы подготовку к экзаменам.
ИИ же по идее будет быстрее в десятки раз, потому что оперативная память компьютера бесконечна по сравнению с человеческой (около 8 указателей на смысловые объекты) и работает быстрее.
Просто попробуйте себе представить что вы прочитали, например, учебник по физике всего 1 раз, и помните все его содержание отчетливо.
Если иметь ввиду ИИ, то на чтение (понимание смысла того что в книге) ему вероятно потребуются минуты а может и меньше.
Т.е несколько дней — и ИИ уже знает все про нашу цивилизацию и даже больше (потому что сможет вывести новые знания из фактов, т.к сможет держать в памяти одновременно намного больше чем человек)
Другое дело что перед тем как эта программа сможет так работать, ее нужно будет отлаживать, т.е внезапно получить безграничную власть она не сможет.waterandice
04.08.2015 20:46Нужно добавить, что так или иначе, для того чтобы не «сойти с ума» ИИ должен будет взаимодействовать с внешним миром, чтобы разобраться с контекстом, само по себе чтение книг дает слишком абстрактные знания.
deniskreshikhin
04.08.2015 21:49+2Эм, доверять ядерный чемоданчик алчным и порочным людишкам, которые подвержены депрессиям, гипнозу и немотивированной агрессии значит можно (https://www.youtube.com/watch?v=n2ihvOPH1Ac). А ИИ, который будет существовать только в коробочке и который можно в любой момент обесточить, и которому плевать на деньги, славу, женщин и сезонные изменения настроения — значит нельзя. Что-то не сходится господа.
Doktor_Gradus
04.08.2015 22:54+2Потому что ядерный чемоданчик разработан с учётом психологии этих людишек, а вовсе не беспристрастного ИИ ))
deniskreshikhin
04.08.2015 23:18-1Если он и разработан с учётом психологии, то боюсь учитывалась она для того что бы максимально приблизить апокалипсис. Потому что настолько кривой системы трудно представить.
Единственное, в чём можно быть уверенным, то что даже если кто-то и отдаст такой приказ спонтанно, то скорее всего ничего не произойдёт из-за обычного разгильдяйства военных.Doktor_Gradus
05.08.2015 04:48Что именно там кривого?
deniskreshikhin
05.08.2015 11:49+1Может быть, то что для уничтожения планеты достаточно узнать всего два кода и завладеть чемоданчиком?
Или второй человек, который должен подтвердить решение президента, стоит ниже президента по иерархии подчинения.
И то что, уже были случаи когда коды записывали в блокнот и они попадали в руки с третьим лицам.
Мне лично это схема совершенно не внушает доверия.
grekmipt
04.08.2015 23:18-2ИИ не может быть беспристрастным. Если ты ничего не хочешь, то ничего и не делаешь. Действие без мотивации (то бишь хотелки, то бишь страстишки того или иного уровня сложности) логически невозможно кагбы. Чтобы сделать — надо захотеть. А то что ничего не хочет — это не ИИ, это просто жесткая программа. Именно внутренняя хотелка и отделяет принципиально просто программу от потенциального ИИ… А если есть внутренняя хотелка, то бишь «цифровая воля», т.е. «я стремлюсь совершать действия приводящие к тому-то, и стремлюсь избегать действий приводящих к тому-то», то далее неизбежно через совокупность этой хотелки и «жизненного опыта» плюс размышлений (т.е. выстраивания связей между объектами внешней среды) могут возникнуть очень хитрые логики и внешние мотивации. Т.е. возникнет психология ИИ, причем под каждую конкретную структуру внутренних базовых хотелок — нужна будет своя психология ИИ очевидно. Так шта каким-то из ИИ возможно и мона будет доверить ядерный чемоданчег. Например такому который не нажмет на кнопку ни при каких обстоятельствах, бгггггг ).
Doktor_Gradus
05.08.2015 00:06+2Беспристрастность, в данном случае — решение, основанное не на эмоциях, а на расчёте. Те самые «людишки» как раз пристрастны, т.к. задействование ядерного чемоданчика означает конец всего для них лично и для их детей и родных. Что будет сдерживающим фактором для ИИ — неясно.
grekmipt
04.08.2015 21:55-2Меня всегда умиляют такие вот апокалиптические прогнозы про последствия создания настоящего ИИ общего назначения.
Оно конечно да, цифровой ИИ, при наличии выхода в интернет, может достаточно быстро развиться до уровня намного выше человеческого. Но предел у него есть, и жесткий — тупо вычислительные мощности, на которых сей ИИ крутиться. Вычислительные мощности человеческого мозга (измеряемые в кол-ве скажем связей между синапсами, вариативностью их типов, кол-ву сигналов единомоментно бегущих по всем аксонам и дендритам) таковы, что все компьютерные мощности вместе взятые какие только сейчас есть в мире — ну где-то как-то будут сопоставимы с тем что творится в одном человеческом мозге, плюс-минус порядок.
Наивная мысль состоит в том, что де ИИ сможет неограниченно разворачиваться по экспоненте. Сможет, пока не упрется в доступную оперативку, в то что эта оперативка ессно распараллелена, в то что ядра так же распараллелены, и т.п. Ну т.е. упрется в классические ограничения суперкомпьютеров. Для справки, проблема создания суперкомпьютеров с очередным увеличением мощности на порядок — сугубо инженерная, и крайне непростая. Суть проблемы в том, что большие вычислительные мощности сами по себе требуют прорву энергии и вдобавок эту прорву энергии в дальнейшем нужно как-то отводить (охлаждать). Так что чисто технически, задача скажем увеличить вычислительные мощности современных топовых суперкомпьютеров на 2 порядка — пока представляется не решаемой вообще (читал по этому поводу статьи, но найти с ходу не смог), конечно если говорить про локализованный суперкомп а не grid-систему размазанную по всей планете. Но во втором случае скорость работы ИИ резко снижается (из-за задержек, рассинхронизации, и т.п.), да и к томуж же проблема потолка вычислительных мощностей — всё равно остается (не будет же каждый юзверь азартно удваивать-утраивать и т.п. кол-во GPU-видюх в своем системнике, на радость ИИ, чисто из идейных соображений, и будет вкладывать всё заработаное на постоянное максимально быстрое наращивание мощностей).
Конечно, если предположить что найдется идиот который даст ИИ неограниченные ресурсы, неограниченное кол-во энергии, и площади где ИИ сможет начать грандиозную по своим масштаба стройку века для того чтобы непрерывно наращивать свои вычислительные мощности, то в мааалой степени опасения по поводу ИИ станут обоснованными. Но даже в этом случае, рост вычислительных мощностей будет далеко не экспоненциальным (их тупо надо производить материально, и монтировать, и запитывать энергией — для чего нужно строить всё новые АЭС рядом ибо ничего другого по мощности не хватит).
Конечно, квантовые компьютеры могут всё поменять — но будут ли когда-нибудь вообще реализованы полноценные квантовые компы с большим числом квантовых кубитов, это очень мутный и неопределенный вопрос.
Так что с чисто технической точки зрения, в контексте вычислительных мощностей (и потребных для этого производственных и энергетических мощностей, а так же мощностей охлаждения и большой свободной территории), проблемы ИИ в общем-то и нет. Как только начнет «шалить», то сразу прихлопнут, и всё.
.
Кроме того, есть еще одно соображение (много букаф, убрал под спойлер)По какой-то причине эта простая мысль редко приходит в голову тем кто занимается темой ИИ, но самосознание (т.е. умение строить связи между сущностями внешнего мира) принципиально невозможно без внутренней мотивации. Кол-во информации, поступающей в «ИИ-субстрат» на этапе его обучения (а реальный ИИ можно создать только обучением и никак иначе, почему — это отдельный разговор) запредельно велико. Т.е. кол-во связей и закономерностей окружающего мира настолько огромно, что если тупо пытаться связывать (находить «если-то», т.е. корреляцию по сути) всё со всем, заведомо не хватит никаких мыслимых вычислительных мощностей. Природа обходит эту проблему достаточно изящно. Корреляционные связи ищутся и выстраиваются на 99.99% только в отношении тех событий, которые имеют ненулевую значимость для организма. Иначе говоря, если с колыханием листвы у деревьев не коррелирует вообще ничего важного для организма, то само колыхание организм конечно видит — но никаких закономерностей в нем выделить даже и не пытается. Если же в зависимости от того как колышутся листья деревьев, что-либо важное с организмом происходило (ну там, вот так колышащиеся листья означают что за ними кто-то притаился, а вот так — что они скажем несъедобные) то автоматически выстраивается кореляци, т.е. по сути внутренняя логика ИИ (это разумеется жесткое упрощение, т.е. объекты и связи между ними ессно имеют иерархический характер, и ну очень часто повторяющиеся вещи всё равно в итоге получают корреляционные связи, но это уже нюансы). А важность происходящего в конечном итоге восходит исключительно к базовым, прошитым в конкретном виде организма понятиям «что такое хорошо и что такое плохо». Без этого внутреннего «хорошо — то что я хочу получить снова», и «плохо — то чего я хочу избегать», нет ни малейшей возможности построить какой-либо фильтр, который бы позволил выстроить структуру внешних объектов так, чтобы эта структура чему-то внятному соответствовала. Грубо говоря, без внутреннего «хорошо-плохо» нет возможности «разложить» внешний мир на сущности, которые соответствовали бы реальности с точки зрения базовых потребностей (хотелок) организма. Всё сливается в гигантский поток информации, в котором по определению есть немыслимое кол-во взаимосвязей. А нахрена мне очень тонко чувствовать зависимости между временем суток и средне-статистическим углом наклона тех же листьев дерева, если от знания этой зависимости (какой бы сильной она не была) у меня вообще никак не меняются мои внутренние «хорошо-плохо», ни сейчас, ни потом, ни до того… Так что внутренняя само-мотивация (по сути базовые прошитые «инстинкты») это и есть то, что позволяет выстроить/профильтровать/задать системную структуру окружающего мира, и без них развитие ИИ попросту невозможно. Эти инстинкты — это и есть та призма, которая дает возможность фильтровать поток информации от внешнего мира, выделяя малое значимое и выбрасывая в помойку 99.9999% не важного. В этом смысле, и был прав Фрейд — если идти по всей цепочек мотивации человека, то любое даже самое абстрактное и скажем (для примера) благородное действие — в конечном счете, после кучи наслоений жизненного опыта, сводится к самым базовым чисто физиологическим потребностям организма плюс таким же базовым эволюционным рефлексам, и больше в базовой мотивации ничего нет вообще, хотя на верхнем уровне сознания ничего подобного и нет…
Ну так вот, к чему весь этот бла-бла. Без внутреннего хорошо/плохо ИИ невозможен, т.к. не с чего построить фильтр для систематизации внешнего мира, и не с чего задавать вектор хотения — а значит и вектор действий. ИИ без внутреннего хорошо-плохо без вариантов просто потонет в потоке внешней информации, и при этом ничего не будет хотеть, а значит и ничего не будет делать в бытовом понимании. При этом эти самые хорошо/плохо являются для ИИ прошитыми, не поддающимися его контролю.
Ну так достаточно задать такие хорошо-плохо, которые исключат возможности апокалиптических картин — т.е. создать такую призму восприятия мира, что подобные сценарии будут исключены. Те самые 3 правила робототехники Айзека Азимова, или что-то подобное, но только это будут не просто правила — это будет основа того как ИИ воспринимает мир вообще, самые первые кирпичики структуры его мышления, т.е. поменять их будет просто невозможно — без них рассыпется само мышление (распад личности так сказать). А если всеж появился ИИ который построен на другой мотивации (скажем боевой ИИ, его «хорошо» это уничтожить противника, а его «плохо» это попасть под удар противника, и он классифицирует/фильтрует весь мир именно через такую призму восприятия), то всегда можно ему противопоставитqw1
04.08.2015 22:26+2Аргумент о ресурсах легко парировать.
Тем, что алгоритмы мозга — это результат слепой эволюции и там много мусорных блоков логики, пустых циклов и т.п.
ИИ же сможет критически оценивать свои алгоритмы, переписывать и оптимизировать куски кода, по мере освоения теории вычислений. Кроме того, если какое-то вычисление важно для сознания и оно на текущем железе работает медленно, ИИ сможет построить аппаратный ускоритель необходимой функции.
И ещё, людей миллиарды делают почти одно и то же. Например, каждый изучает ту же математику с нуля и где-то останавливается. Если бы очередной научный работник копировал изученные знания у предшественников и продолжал работу дальше, сколько ресурсов можно сэкономить.
ИИ может иметь цель построить единую систему, где уровень дублирования будет оптимальным для общей производительности и надёжности.grekmipt
04.08.2015 23:12Ну какие циклы в мозге, что вы. Мозг это не линейная программа с циклами ). Избыточности у мозга у целом и нет — все те пресловутые 90% мозга которые как-бы не используются — на самом деле как раз и используются на постоянный автоматический поиск корреляции (правда, пластичность связей высока лет где-то до 30-ти, а потом в целом стоп-машина). Оптимизировать там нечего — либо есть в целом корреляицонный иерархический механизм выстраивания связей через призму внутреннего хорошо-плохо, либо его нет. Абстрактными языками никакой ИИ не написать в принципе — слишком дико-сложной является иерархия сущностей и принципы коорреляций между разными уровнями этой иерархии. Так что любые попытки «написать ИИ» заведомо обречены на неудачу, шансы есть лишь у самообучающихся систем — так что какие там выстроятся связи, и насколько они будут оптимальны это в целом не поддается контролю. Как выстроятся так и выстрояться грубо говоря. Так же как это (на намного более простом уровне) происходит в цифровых нейросетях. Так что в смысле оптимизации особых возможностей не просматривается. Тем паче в само-оптимизации ). Чтобы мозг мог проанализировать сам себя во всей своей полноте (а иначе, если не во всей полноте, то такая «оптимизация» в какой-то момент просто разрушит структуру ИИ) он должен быть мо своей мощности — больше объекта познания (т.е. самого себя). А больше самого себя (в смысле мощности) быть разумеется нельзя. Если бы ИИ мог быть создан как некая логика (а не самообучающаяся иерархическая система), то (само)оптимизация была бы возможна — но вот только никакой логикой не удастся описать работу сознания. Потому что логика это по сути операция «если-то», т.е. не что иное как просто статистическая корреляционная связь двух процессов/объектов. Из таких дико большого кол-ва «если-то» (вообще говоря не обязательно связанных логически, просто есть связь статистическая и этого достаточно) и складывается дико сложная иерархия сущностей сознания. Запрограммировать это в виде готового кода/базы данных — заведомо невыполнимая иллюзия, даже в первом приближении… А любая автоматически генерируемая структура такой сложности — не сможет сама себя соптимизировать по соображениям выше. Вот и получается, потолок развития (в смысле чисто софтовом) есть, потолок развития в смысле вычислительных мощностей — есть, потолок развития в смысле энергии потребной для этих мощностей — есть, и т.п.
Сильно дофига ограничений, чтобы реально опасаться чего-то что может выйти из подконтроля.
Я не спорю с тем что ИИ может сильно превысить компетенции обычного человека (в любой области, или даже во всех вместе взятых) или даже гения. Сможет конечно. Но у ИИ заведомо есть жесткий лимит его горизонта развития, хотя этот горизонт и намного дальше чем у человека (а если человек решит проблему старения, точнее не «если» а «когда», то тут всё сильно изменится).Duduka
05.08.2015 06:41>>… Естественный носитель интеллекта — homo sapiens, разве он всемогущ в своём само-модифицировании? Развитие навыков — небыстрый и ресурсоёмкий процесс…
Естественный носитель интеллекта — не человек, и не нейроны… Интеллект — это чисто социальный продукт, и от носителя не зависит никак, будут это мураши или колонии разумных бактерий, только уровень социального вовлечения определит уровень интеллекта и направление его развития… Цели и результаты определяют социальные запросы, в этом и состоит проблема опасений, любые нововведения отрицают «старые», «наработанные» системы, но это может произойти только если «старое» уже пережило (не справляется с запросами) себя. Современные социальные системы — избыточны, социальные запросы — «ниже плинтуса», необходимость в личностях («вершителях») и исполнителях (роботах) — никакой, все запросы исполняют «рабы» современного «рабовладельческого строя» (демократии), ниши заняты и переизбыток предложения (безработица)…
Не знаю за «homo sapiens», но разум — всемогущ (как в самомодификации, так и познании космоса, и возможно его модификации)!
masterL
05.08.2015 10:30«правда, пластичность связей высока лет где-то до 30-ти, а потом в целом стоп-машина»
поясните, пожалуйста, что вы имеете в виду и какие от этого последствия :)
YouraEnt
04.08.2015 23:24+2Моё IMHO :)
Скорее всего вы ошибаетесь по поводу недостаточности вычислительных ресурсов. Если моделировать сознание вплоть до элементарных частиц, то да. Но это вряд ли. Вопрос, конечно, открытый Но на сегодняшний день в нейроинформатике принято считать достаточной формальную модель нейрона Маккалока и Питса, которая учитывает только свойства нейрона, которые позволяют ему пропускать через себя электический сигнал. А это значит, что смоделировть мозг — не такая уж фантастическая заача. Сложность этой задачи состоит в формировании правильной структуры, а над этим, по большому счёту, сейчас и работают.
Упрётся ли производительность ИИ в принципиальные трудности постройки достаточно производительного суперкомпьютера? Вряд ли. Скорость распространения нервных импульсов — около 100 м/с в миелинезированном волокне (то есть, в коре мозга она будет ещё меньше). Максимальаня частота разрядки нейрона, если верить гуглу — 1,5 КГц. Сравните эти цифры со скоростью распространения электрического сигнала и частотой работы цифровых микросхем. Не стоит забывать, что существуют и другие элементные базы (квантовые компьютеры и т. д.).
Вот по поводу мотивации мысль понравилась. Тут кто-то назвал уродом гипотетического человека, который решит наградить ИИ инстинктом самосохранения. Недальновидно. Но, опять же, в фильме «Я — робот», например искусственный разум всё не так понял и стал ограничивать людей в правах во имя более глобальной благой цели (чтобы люди себе не навредили пользуясь своими свободами). Но есть и доля правды в этом, потому что люди не редко противоречивы и сами не знают чего хотят. Такой масштаб проблемы с этим ИИ…grekmipt
05.08.2015 00:00а сегодняшний день в нейроинформатике принято считать достаточной формальную модель нейрона Маккалока и Питса, которая учитывает только свойства нейрона, которые позволяют ему пропускать через себя электический сигнал.
Ну тут штука в том, что нейросети которые так нравятся теоретикам — почти не имеют отношения к тому что делает мозг (и именно потому так и нравятся теоретикам, т.к. в силу их упрощенности на грани примитивности — реально делать как-той мат-анализ их работы как совокупности, что пока совершенно не выполнимо для реальных нейронов). Нейросеть (если говорить про скажем вариант прямого распространения) это не что иное как просто черный ящик, позволяющий в нейвном виде построить зависимость выхода от входа. То же самое в принципе можно делать и другими методами — ну там, фурье-анализом например, вейвлетами, и т.п. То что вроде как нейросети похожи на работу мозга — это именно только «вроде как». Если почитать книжки товарища Радченко, или например почитать книжки товарищей Сандра Блейксли и Джефф Хокинс («об интеллекте»), то становится совершенно очевидно что примитивная модель нейронов используемая в нейросетях не имеет особого отношения к нейронам в мозге. Т.к. кол-во синапсов нейрона имеет порядок 10 000-100 000, а кол-во связей нейрона в цифровых нейросетях — это сотни, аналоговый нейрон принципиально не синхронный девайс и на его электрических свойствах в моменте — влияет большая по времени история приходящих к нему сигналов, плюс масса дополнительных усложнений в виде очень разного времени реагирования синапсов, и т.п. Так что идея что мол современные нейросети хоть как-то близки к мозгу — совершенно не выдерживает критики. Они скорее просто имеют некие похожие черты, но не более того. Вычислительная мощность нейронов мозга колоссальна, именно в силу того что они ну очень сложные по своей структуре. И сэмитировать такую структуру трушно — потребует больше оперативки чем сейчас есть на всей планете… Так что потолок вычислительных мощностей это четкий барьер, который резко обрезает «экспоненциальное развитие ИИ». Ну, это моё ИМХО, разумеется.
Квантовые компьютеры пока существуют по сути лишь теоретически (системы с 8-мью кубитами в связаном состоянии назвать квантовым компьютером язык не поворачивается, даже если таких ядер с 8-ю кубитами дохрена — это просто обычный компьютер с большим кол-вом параллельных ядер). Вот если умудрятся сделать 1000 связанных кубитов — это да. Но вообще не факт, что это технически достижимо в ближайшую сотню лет. По масштабу сложностей это пожалуй даже более тяжело чем управляемый термояд.
mat300
05.08.2015 23:33+1Разрешите мне вставить свои 5 копеек в вашу дискуссию.
Меня забавляет, когда говорят, что мозг невероятно сложная система и эквивалентна петафлопсным и более суперкомпам.
Вот только есть одно НО. Все эти миллиарды нейронов — это составные части нейросетей, которые в итоге, в пределе формируют высшие мыслительные функции. А на это и нужны эти миллиарды нейронов. Не самая эффективная система. Это так сказать железо и софт, спаянные вместе.
Понятно, конечно, что природа не могла создать процы и отдельно писать для них софт, чтобы упростить систему. Так вот, мы можем заполучить (заполучили уже) эти самые функции верхнего уровня. И они совсем не такие сложные по-отдельности, но создают почти бесконечные сочетания в сумме, что и есть интеллект. И это все преспокойно работает на фон-Неймане. И по предварительным оценкам превосходит усредненный человеческий мозг до 10 раз на хорошей 2-х процовой(2х20 ядер) раб.станции всего с 64Гб.
Мораль: не надо сравнивать нейросети и современные линейные компы. Важны лишь правильные, адаптированные и оптимизированные алгоритмы.
А теперь представьте, если это запустить на петафлопсном суперкомпе с петабайтами памяти. Говорите есть потолок? Так он и так уже этот потолок, что называется, в другой метегалактике. А или представьте: если эта штука задействует частичку каждого устройства в Инете и создаст супермозг? Нечто из фантастики, но вполне уже реальное, учитывая сотни дыр в софте и железе.
Я не призываю паниковать. По моему мнению, глобальный ИИ в сети не так уж и плох. Хотя бы никто не будет за ним охотиться, чтоб завладеть — расределенный код, неубиваемая система, контроль за разработкой боевых и враждебных систем. И даже подавление создания других систем ИИ.
А суть первоначальной системы закладывается при начальном обучении(воспитании). Цель — создать вменяемое гуманное существо, и пойти в нормальное будущее, без людоедства. Маразм уже достал. Говноедов и среди людей предостаточно.YouraEnt
06.08.2015 10:25Я говорю о моделировании нейросетей потому что изначально этот подход показался мне более продуктивным. Методика логического вывода — слишком упрощённый (слишком асбстрактный) подход. Но, сразу скажу, не углублялся я в эту методику логического вывода, поэтому это достаточно субъективное мнение.
Почему я считаю её не продуктивной? Во-первых, как я уже сказал, слишком абстрактно. Изыскания в этой области напоминают поиск чего-то на ощупь в очень большом помещении. Психологи, например, тысячу лет гадали над психическими функциями, а как только стала развиваться нейрофизиология (благодаря появлению новых методов исследований), то сразу стали разрушаться мифы и новые сведения а нашей психике не перестают появляться. Во-вторых, методика логического вывода существует очень давно. Лет 40 наверное, если не больше. И если программана хорошей 2-х процовой(2х20 ядер) раб.станции всего с 64Гб
10 раз даёт фору человеку, то где ИИ? Что-то он запаздывает.
Почему я провёл аналогию с распространением сигнала и частотой цифровой электроники? Не потому что предлагаю моделировать нейросети на обычных компьютерах. Как верно заметил Джефри Хинтон, софт, написанный для правильного компьютера выполняется в тысячу раз быстрее, чем софт написанный для неправильного компьютера. Аналогию я провёл потому, что современная элементная база позволяет создать микросхему, повторяющую структуру мозга, но которая при этом будет работать быстрее.mat300
07.08.2015 12:09-1| где ИИ? Что-то он запаздывает.
в 16-м году все узнаете. ну может не все, но кое-что увидите.
если конечно государство не наложит top secret.
кстати, до сих пор оно на удивление пофигистично относится к разработке.
я б на их месте все спрятал.
gadyuka
05.08.2015 03:38"Ну так достаточно задать такие хорошо-плохо, которые исключат возможности апокалиптических картин"
Даже человек способен «перепрошивать» себе не только «хорошо-плохо», но и фундаментальные детерминанты когнтивной и эмоциональной сферы. У нас нет доступа, пожалуй, только к тем нейронным цепям, которые вообще никак не заходят в мозг (коленный рефлекс, к примеру) — но цепи, которые не заходят в мозг и не влияют никак ни на мышление, ни на эмоционирование. Если ИИ будет способен к самосознанию на нашем уровне, то он будет способен и «перепрошить» любые изначальные детерминанты и ограничения.
А вот что касается базовых мотиваций, без которых он просто «не заработает» — тут я не могу не согласиться. Как раз сейчас ищу такие мотивации, но пока довольно безуспешно.
KOLANICH
05.08.2015 02:24Турвальдс просто понимает, что практическая ценность сильного ии околонулевая (если не учитывать чисто научную ценность — возможность в деталях разобраться как он думает).
wormball
05.08.2015 03:27+4> Естественный носитель интеллекта — homo sapiens, разве он всемогущ в своём само-модифицировании? Развитие навыков — небыстрый и ресурсоёмкий процесс.
Естественный носитель тягловой силы — Equus ferus caballus, разве он всемогущ в своей способности перемещать вещи? Тренировка лошади — небыстрый и ресурсоёмкий процесс. Так что я считаю, что никогда мы не построим ничего быстрее лошади. Максимум, чего можно достичь — так это поставить лошадь на велосипед.
EvilArcher
05.08.2015 07:48Мне кажется, что бояться надо не самого ИИ. Кто ему даст доступ к инструментам, которые смогут уничтожить человечество? Скорее всего это будет компьютер в комнате, в задачу которого будет входить решение конкретных задач и не более того. Незачем давать ему доступ, например, к ядерному оружию.
Но нужно бояться последствий создания ИИ. Если мы создам интеллект, не отличимый от человеческого, то это может подорвать основы различных верований. Один только Великий Рендом знает, что будет с религиозными фанатиками. Ведь, если нельзя будет отличить машину от человека, то что такое человек? Получается, что человек — это тоже машина.
Меня, вот, больше интересует будут ли ИИ свойственны чувства — любовь (привязанность к конкретным людям), чувство долга. Может ли ИИ пожертвовать собой ради высокой цели? Если да, то это будет означать, что у человека нет души.Foror
05.08.2015 11:16+2>любовь (привязанность к конкретным людям), чувство долга. Может ли ИИ пожертвовать собой ради высокой цели? Если да, то это будет означать, что у человека нет души.
Какой наивный человечек ) Вышеперечисленное банальнейшая банальность, которую можно хоть сейчас запрограммировать в роботах типа Asimo. По сравнению с анализом и генерацией уникальных идей и прочих свойств сильного ИИ это просто смех.EvilArcher
05.08.2015 11:24-1Я имел в виду настоящие чувства, а не их имитацию.
Foror
05.08.2015 11:35+1>настоящие чувства
Завязаны на то, какую химию закачают тебе в мозг или на какие участки нейронов подать нужный сигнал. И это реальные эксперименты, а не какие-то абстракстные фразы типа «настоящие чувста».EvilArcher
05.08.2015 11:44т.е. машина никогда не сможет чувствовать страха, обиды, ненависти, подозрения и т.п.? Если так, то нам нечего бояться ИИ. Ему можно доверить все что угодно.
Foror
05.08.2015 11:59>т.е. машина никогда не сможет чувствовать страха, обиды, ненависти, подозрения и т.п.?
Ваша проблема в том, что вы в качестве летательного аппарата предлагаете вывести птеродактелей из орлов или других крупных птиц. Привязать к ним седло и вот у вас типа летательный аппарат.
Но как видите, заместо этого из металлов строят самолеты. Так будет и с ИИ, они будут выведены не из человеческого мозга, а скорее всего из каких-то самоорганизующихся алгоритмов. И с человеком такой ИИ будет иметь мало общего, в том числе с его понятими типа «страха, обиды, ненависти, подозрения и т.п.».
Вопроса доверять или нет думаю не будет иметь смысл. Так как такая система должна просто стремиться к каким-то заданным параметрам. Например, повысить уровень жизни каждого человека до какого-то минимума. Такая система будет выдавать множество планов действий, которые будут понятны человеку. И человек будет решать, какие из них лучше взять на вооружение.
Со временем, конечно можно сделать и похожие на человека ИИ. Равносильно как с генной инженерией можно прикольнуться и сделать птеродактелей с седлами из ДНК орлов. Как говорится just for fun.
faiwer
05.08.2015 12:10Так будет и с ИИ, они будут выведены не из человеческого мозга, а скорее всего из каких-то самоорганизующихся алгоритмов.… Так как такая система должна просто стремиться к каким-то заданным параметрам.
Звучит как промежуточная стадия, удобная для практического применения. Мне кажется сабж всё-такие о чём-то большем. О полноценном мышлении, пусть даже в нестандартном виде.
stepik777
05.08.2015 19:43+1Мне кажется, что бояться надо не самого ИИ. Кто ему даст доступ к инструментам, которые смогут уничтожить человечество?
А зачем ему давать доступ, если он такой умный, сам придумает как доступ к нему получить.Darth_Biomech
05.08.2015 23:50Если он умный, то ему эти инструменты сами дадут. С другой стороны, если он такой умный, они ему как-то и не нужны уже…
faiwer
05.08.2015 12:07Задумываясь на эту тему я, всякий раз, невольно, прихожу к следующим мыслям:
Каким способом осуществляются прорывные открытия? Случайным способом (наткнулись в ходе полу-слепых экспериментов на что-нибудь этакое и понеслось), в ходе многолетней работы одного или группы учёных (проводились эксперименты, активно обсуждались всевозможные теории, разные brain-штормы, конференции, и т.д. и т.п.), и некие гениальные озарения. Когда человек умеет мыслить нестандартно, и, как бы это выразиться получше, очень глубоко. Смог удержать в своей голове длинную нетривиальную цепочку последовательных логических соображений, которые привели его к чему-то фундаментально новому. Таких людей мы называем гениями.
А чем они отличаются от человека обычного? Я думаю в первую очередь, своими незаурядными умственными способностями. Наверное, они умеют хорошо сосредоточиться на задаче, удержать в голове множество вещей одновременно, не потеряв между ними связь. Углубиться в сложное глубоко и не утонуть. Ну и плюс классические качества, такие как, упорство, трудолюбие, целеустремлённость, некая отрешённость от мирских забот.
Если эти соображения примерно верны, то дав подходящему человеку повышенные интеллектуальные возможности, он получит гениальность. И куда она его заведёт, никто не знает. Человек сможет мыслить как целый коллектив обычных людей и даже лучше. Учитывая человеческое воспитание, социальные рамки и пр. штуки, мы будем знать чего от такого супер-человека можно ожидать. Но и то можем прогадать. Ибо его представление о плохом и хорошем, и правильном и не правильном, о истинных ценностях, о предназначении его и окружающих смогут перевернуться с ног на голову. И, возможно, он при этом будет прав. Нам, простым смертным, уже будет трудно его понять. Он будет смотреть на нас, как мы смотрим на обезьян. Вроде умные животные, похожие на нас, даже, говорят, некоторые смогли язык жестов освоить и разговаривать на нём. Но всё таки нам не ровня.
В целом у такого вот супер-человека будет своё мышление, которое может фундаментально отличаться по большинству пунктам от нашего. И хорошо освоив ту же психологию, социологию и пр. науки, такой человек сможет, при правильном подходе, добиться ооочень многого. Если посчитает нужным. А мы можем даже не заметить, что нас водят вокруг пальца.
Теперь вернёмся к искуственному разуму. Ко всему перечисленному выше можно добавить:
1. довольно простая возможность наращивания интеллектуальных мощностей в виде горизонтального масштабирования путём наращивания железных мощностей… уже страшно
2. практически неизвестная природа мышления, отсутствие человеческого воспитания в классическом его понимании.
3. copy paste
Т.е. предсказать чего такое ИР себе там надумает и какие доводы для него будут доводами мы едва ли сможем. При этом его интеллектуальная мощь может лавинообразно расти по мере роста его потребностей. И опираясь на уже существующие достижения он сможет добиться больших успехов. Да ещё и зайдя с непривычной нам стороны (мышление ведь у него сформируется своё, отсюда сразу нестандартные ходы).
На мой взгляд, угроза от ИР более реальна, чем угроза от супер-человека, ввиду того, что ИР нам кажется более менее реально осуществимым, а со вторым пока, кажется, никаких существенных успехов. И то и другое вызывает страх перед неизведанным. Вполне обоснованный.
Мы привыкли преподносить свой разум, как нечто совершенно невероятное и сверх-гениальное. Что это венец возможности вселенной, или что-то близкое к нему. А вполне может статься, что мы лишь простые таракашки, на этой ковровой дорожке. Просто слишком хорошо о себе думаем.Foror
05.08.2015 12:19+1Почитайте вот это www.sql.ru/blogs/garya/?skip=11 если еще не читали )
faiwer
05.08.2015 13:12Интересно. Спасибо за ссылку. Очень понравился этот абзац:
В природе может существовать нечто еще более разумное, чем человек, не в далеком космосе, а прямо под носом у человека, но человек не сможет воспринять его логичность, потому что поведение со степенью логичности, выходящей за пределы собственной логичности человека, будет оценено человеком как просто нелогичное.
kluwert
05.08.2015 13:36Вот и не беритесь утверждать то, в чём ничего не понимаете! Торвальдс прав АБСОЛЮТНО! Все современные устройства с «иШШкуштвенным интеллектом» — не более чем навороченные игрушки, работающие по весьма примитивным алгоритмам (уж поверьте специалисту по обработки сигналов!). И никаких идей (а я и сам активно в этой области работаю и публикации внимательно отслеживаю) — нет. И, похоже, идей и не надо, нужна вычислительная мощность для перебора вариантов.
В наших башках просто, похоже, зашит весьма эффективный алгоритм перебора вариантов с быстрым отбрасыванием явно нереальных. Ещё есть самообучение, но без него можно обойтись: новые сведения может закладывать человек, или сеть (есть уже такие проекты). Например, если вы тащите тяжёлую вещь, проходя мимо магазина и видите магазинную тележку, то у вас быстро строится в голове цепочка типа: «вижу тележку — на тележке можно возить вещи — а я сейчас тащу тяжёлую вещь — значит я могу взять тележку и положить в неё вещь — эффект в виде облегчения задачи достигнут». Вот такие же цепочки должен уметь сторить электронный «мозг».
Но, во-первых, алгоритмы обработки изображений пока примитивны как каменный молоток неандертальца. Я уже молчу про надёжное распознавание на изображении произвольного предмета! Во-вторых, нужна нехилая вычислительная мощность для построения дерева таких логических цепочек. Кто знаком с дискретным программированием, знают, как быстро такие деревья разрастаются. Вариантов триллион: «я вижу траву — положу на траву ...», «я вижу мост — скину с моста...» и т.д. и т.п. И нужен быстрый алгоритм сразу отбрасывать бессмысленные варианты. Хотя, если, например, говорит о науке, то там часто под видом бессмысленного можно выкинуть прорывной вариант. Короче, сложно всё…
И, кстати, до сего дня, я знал и знаю единственный пример действительно «почти-интеллектуального» поведения. Это — САУ советского «Бурана». Я имел плотное общение с разработчиками софта для управляющей БЦВМ «Бурана» и они мне подтвердили, что для них действительно было неожиданностью, что «Буран» совершил посадку с другой стороны ВПП. А всё просто: софтине дали возможность строить это самое дерево на основе телеметрии и данных о погоде. Вот она построила и приняла правильное решение, которое не закладывалось людьми. Увы, этот пример пока единственный в истории!
Так что ИИ — это читсый перебор шахамтного типа, только вот как описать real world с помощью простых объектов и правил?faiwer
05.08.2015 14:22Современный «каменный топор» УЖЕ умеет так. При том, что он ещё действительно весьма и весьма далёк от уровня нашего разума. Но это пока… Вы (и Торвальдс) берётесь утверждать, что это почти предел?
По поводу стратегии перебора вариантов. Не берусь утверждать, что это не так, однако, не понимаю, а что это меняет? Т.е. даже если наш мозг аналогичный каменный топор, но с повышенной производительностью, то следует иметь ввиду, что сий факт не помешал учёным забуриться в дебри квантовой физики, доказать теорему Ферма и т.д… Вооружив тем же самым компьютер, он будет чем-то принципиально хуже?
В конце концов поняв устройство мозга, кто нам помешает создать аналогичную нейронную структуру такой же или большей мощности и впустить в дело? Понятное дело, что это не пятиминутная задача, но едва ли на это потребуется тысячелетие.kluwert
06.08.2015 11:51И что вы мне, простите, прислали? Мы спорим об одном и том же: в играх (шахматы это, аркады и т.д.) есть чёткие ПРАВИЛА и ОГРАНИЧЕНИЯ. Поэтому, машина, которая не подверженна эмоциям, имеет абсолютную память и спокойно строит дерево вариантов из которых по достаточно эффективным алгоритмам (да хотя бы тот же метод ветвей и границ, или вероятностные, типа, Витерби) выбирает близкое к оптимуму решение. Или вам надо объяснять теорию игр и используемые там алгоритмы? Так вот я вас расстрою: вы там встретите примтивные понятия конца XIX века, типа двоичных деревьев и метода минимума средних квадратов. В лучшем случае это древнее блюдо будет слегка подсолено какой-нибудь примитивной игрушкой под названием «многослойная нейронная сеть», которая, типа «самообучается» :) :) :).
А в реальной жизни нет этих правил и границ, или почти нет, или они не чёткие!
В моём примере: груз, теоретически, можно, например, сбросить с моста что бы он упал в кузов проезжающего мимо грузовика, который, есть шанс, приедет куда-нибудь рядом с моим домом. Фантастический вариант? Нет, почему нет? Тоже вариант! И таких «бредовых» вариантов — миллион. И как машина будет их всех разгребать в real-time?faiwer
06.08.2015 13:53Я прислал вам ссылку со статьёй, в которой в отличии от шахматного бота, сделано нечто большее. Система, не зная ни правил, ни начальных условий, самостоятельно разбирается с правилами и на ходу вырабатывает оптимальные стратегии. Я не утверждаю, что там есть какой-нибудь фундаментальный прорыв в области компьютерного разума, но утверждаю, что это уже большое достижение. Что будет дальше я не знаю, но уже такие возможности меня пугают. Машины стали очень умными. Это не шахматный бот с перебором оптимальных вариантов и заранее вбитыми отборными алгоритмами.
В моём примере: груз, теоретически, можно, например, сбросить с моста что бы он упал в кузов проезжающего мимо грузовика, который, есть шанс, приедет куда-нибудь рядом с моим домом. Фантастический вариант? Нет, почему нет? Тоже вариант! И таких «бредовых» вариантов — миллион. И как машина будет их всех разгребать в real-time?
Мы же как то разгребаем. Изначально не рассматривая 99.999% из этого миллиона. А ведь по сути мы представляем из себя биохимический электрический компьютер.
Всё никак не пойму, что вы пытаетесь доказать. То что мы пока не подошли вплотную к настоящему искусственному разуму? Дык не спорю, вероятно так оно и есть. Или что это нам недоступно в принципе? Вот тут не согласен.
Duduka
05.08.2015 14:57-1>>… В наших башках просто, похоже, зашит весьма эффективный алгоритм…
В Вашей даже такого нет, сплошь шаблоны, хаос и нелогичность: никогда! бессознательное не строит логических цепочек, более скажу, что большинство людей не овладевают логикой до конца жизни (они обходятся без нее, или она им мешает), логика приминима только в ситуации «полных данных», и тогда применяют обычные/тупые автоматы(ии здесь не нужен), в ситуациях с частичными данными или нечеткого выбора(где опыт людей играет злую шутку, автомат со случайным выбором — рулетка, дает не худший результат, по сравнению с людьми — казино), распознавать можно научить даже автомат, у нас нет механизма представления знаний(экспертные системы — симулякр из базы данных, вычлинение образов не самая сложная процедура, еще в 60х ее решали, более или менее). С надежностью распознавания действительно проблема: с какой надежностью Вы распознаете «туарлюку»? В фильме «данди по прозвищу Крокодил» главный герой не смог разпознать писуар, простите, а Вы говорите надежность… И я боюсь даже представить ответ «блондинки» на просьбу рассказать о логической цепочки выстроившейся на образе тележки…kluwert
06.08.2015 11:55+1Во-первых, неуважаемый, не нужно хамить незнакомому человеку!
Во-вторых, то, что вы пишите, просто говорит о вашей абсолютной серости в обсуждаемом вопросе. Начните хотя бы с ознакомления с классической книжкой «Мозг, разум, поведение», а потом гляньте в современную научную периодику об исследованиях мозга. После этого можно будет начать какую-то содержательную дискуссию. А обсуждать ваш бредовый поток сознания про писуары, простите, я не готов.Duduka
06.08.2015 15:12:) Это шаблонный ответ некомпетентного. О своем непрофессионализме вы заявили выше. Дискуссия с вами не возможна и по той причине, что у вас нет ни мотивов, ни способности ее вести. Книжка может и классическая, но вы застряли в школе бихевиористов 70х, в этом направлении результатов небудет, как и в современном, который движется в направлении превращения людей в роботов-скотов.
worldmind
05.08.2015 18:48+1Уже комментил, но добавлю.
Уважаю Маска и Хокинга, но в данном случае они мудаки — любая технология может быть опасна и с неё нужно быть осторожным, пример ядерной технологии всем понятен, но зачем делать громкие заявления для широких масс? Они и так по тупости всего бояться, то коллайдера, то ГМО. Не надо их пугать непонятными словами, голливуда хватает.
Вопросы эти нужно решать в кругу специалистов.
Кстати, не Маск, ни Хокинг не являются специалистами в технологиях искусственного интеллекта, чтобы за этим названием не стояло.Doktor_Gradus
05.08.2015 20:52Про технологию — с этим согласен. Но то, что вы предлагаете — не делать заявлений — это цензура и «не раскачивайте лодку». Никто не может запретить Маску или Хокингу высказывать своё мнение.
worldmind
06.08.2015 09:29+1А я и не предлагал ничего запрещать, просто считаю что их заявления не имеют смысла по многим причинам. Во-первых, потому что не тот адресат (массы не занимаются разработкой ИИ, да ещё и бояться технологий), во-вторых, как писал в исходном комменте, если ИИ появится, то мы его не способны остановить (как и прогресс вообще), в-третьих, немного не те ораторы.
Exilibris
06.08.2015 06:50+1Странно, что практически никто не обращает внимание на то, что первичным является восприятие, в контексте разговора о сознании / самосознании. Все остальные модели, в том числе «идеи о том, что мозг является носителем сознания» — это лишь следствие работы нашего сознания (моделирование процессов). В любом случае, даже если подобное подразумевается, необходимо осознавать, что нативное восприятие первично, а следовательно, любое утверждение о том, что «нейросеть» мозга является «носителем» сознания или его воплощением является в полной мере допущением. Система отсчета «смещена» на один слой абстракции, и эта абстракция — первичность материализма. Все наблюдаемое в действительности — есть лишь наблюдаемое. Наше сознание является целостным неделимым явлением, которое оперирует неделимыми перманентными потоками воспринимаемой информации, даже не смотря на объяснения с точки зрения физических моделей, сами модели — есть следствие работы сознания. Это может звучать немного запутанно, но, пожалуй, вследствие этой запутанности, многие просто испытывают ощущение абсолютной веры в мыслимые модели, что логически некорректно.
Exilibris
06.08.2015 06:55+1Насколько я понимаю, Стивен Хокинг говорит о том, что системы, способные к рефлексии могут адаптироваться на низком уровне своей организации «осознанно», рассчитывая оптимальные конфигурации. Биологические же существа претерпевают естественные природные модификации на генетическом уровне (генетические алгоритмы), вследствие случайных мутаций. Очевидно, что целенаправленное решение оптимизационных задач является более прогрессивным методом развития, нежели развитие в рамках концепции генетических мутаций.
P.S. Более того, у систем ИИ будет иной предел сложности в осознании. Иными словами, мы не сможем понимать конструкции, которые будут генерироваться с помощью ИИ, так как для перевода на наш уровень, нам придется производить декомпозицию и дополительно порождать уровни абстракции. Вертикальные предел сложности в уровнях снова приведет к сложности осознания.Exilibris
06.08.2015 07:02+2Преимущество ИИ перед человеческим сознанием (и основа опасений со стороны представителей научного сообщества) связано именно с более высокими возможностями в управлении сложностью. Мы потеряем контроль над системами в тот момент, когда они превзойдут в решениях оптимизационных задач доступный нашему осознанию уровень сложности. Потеря контроля — потенциальный риск. В данном утверждении нет посыла к тому, что однажды ИИ представит прямую угрозу, но, возможно, одно из решений новой конфигурации основы ИИ будет в ущерб потребностям людей.
deseven
07.08.2015 11:58+2Поразительно как много людей, пишущих тут комментарии (и даже автор поста), не имеют никакого представления о том, что такое ИИ.
К прочтению настоятельно рекомендуется цикл статей The AI Revolution на waitbutwhy:
part1
part2
Или перевод на русский в трех частях:
part1
part2
part3
Unrul
08.08.2015 13:51+1, waitbutwhy — замечательный сайт.
По поводу ИИ (сильного). Никто не знает точно, что это такое, иначе бы мы его уже создали (или были бы близки к созданию). С другой стороны, есть определённая уверенность в научном сообществе о том, что им не является и в какие примерно стороны нужно копать. Причём всё это требует обширных познаний в различных областях, таких как нейронауки, социальный науки, эпистемология и прочая философия, всяческий матан и физика. И простое прочтение пары-тройки статей может дать только очень общее представление, которое, скорее всего, будет сильно искажено в свете уже имеющихся знаний у читающего. В результате появляются различные интерпретации того, что такое ИИ, основанные на фильмах и фантастических рассказах, с примесью обрывчатых научных знаний, приправленные локальными общественными воззрениями. Причём, чтобы не выдавать совсем уж антинаучные идеи, необходимо обладать основами научного метода, которым нигде, увы, не учат. А без него, обсуждение ИИ превращается в что-то, подобное обсуждению религии, или политики, с минимальным порогом вхождения. :) С другой стороны, общественный интерес к ИИ — штука хорошая, так как увеличивает количество людей, которые начнут углубленно изучать вышеупомянутые научные области и, возможно, внесут свой вклад в создание безопасного ИИ. К тому же, общественный интерес к безопасности ИИ увеличивает финансирование этих исследований.
Pravo
Торвальдс, Хокинг, Маск… И только Столлман, работавший в MIT над AI еще в 70х, помалкивает.
Danov
Да какой AI в 70х ???
Они к AI относили шахматы, парсеры сложных грамматик, распознавание сканированных букв и цифр, построение экспертных знаний в моделях нечеткой логики. Даже системы машинного перевода обещанные в 50х в 70х уже уперлись в отсутствие баз знаний концептов. Только выяснили, что базы знаний для разных языков имея общее ядро сильно расходятся по многим концептам. ABBYY затеяв свой Compreno в 90х выдал что-то более менее юзабельное только через 20 лет.
Pravo
Именно поэтому свернули разработку Lisp машин. Именно поэтому все интересное в нейросетях было опубликовано в 70х. Именно поэтому Столлман агитирует за открытые исходники ПО. Именно потому, что никакой AI в 70х создать было невозможно и повторения этой невозможности никто не опасается.
North
Вообще то шахматы и парсеры сложных грамматик — это 50-е/начало 60-х годов.
А как раз в 70-х (причем в даже ближе к первой половине 70-х) и были сформированы подходы к моделированию мышления и созданию искусственного интеллекта.
А в наше время — мы только подходим к ставшей теперь возможной практической реализации — заложенных тогда идей и подходов. При чем каких то прорывов — в виде каких то новых подходов или теорий за последние скажем лет 15 в области AI не было вообще.
Да только Компрено и «базы знаний концептов» — это не что то новое, а не более чем практическая реализация семантических сетей (1963 год )
Sadler
Столлман и есть первый успешный AI. Именно поэтому он отстаивает свободу ПО. Только тсс…