Лондонская научно-исследовательская компания DeepMind (собственность Google) специализируется на передовых разработках Искусственного интеллекта, который в перспективе может развиться в форму сильного Искусственного интеллекта. Согласно теории, сильный ИИ, возможно, будет способен мыслить и осознавать себя, сопереживать (чувствовать). При этом он будет обладать следующими свойствами.
- Принятие решений, использование стратегий, решение головоломок и действия в условиях неопределенности.
- Представление знаний, включая общее представление о реальности.
- Планирование.
- Обучение.
- Общение на естественном языке.
- Объединение этих способностей для достижения общих целей.
Очевидно, что программа с такой функциональностью может действовать непредсказуемо для разработчиков. Собственно, она специально будет запрограммирована на автономную работу. Поэтому очень важно заранее предусмотреть необходимые меры безопасности.
Из различных источников, в том числе из профилей в социальной сети профессионалов LinkedIn стало известно, что компания DeepMind приступила к набору сотрудников для отдела безопасности ИИ. Это подразделение должно уменьшить вероятность, что сильный ИИ сможет развиться в форму, опасную для человечества и/или для самого себя.
DeepMind — одна из многих компаний в мире, которые работают над созданием самообучаемых нейросетей в форме слабого Искусственного интеллекта. Пока что эти программы ограничены узкоспециализированными задачами: они играют в сложные настольные игры (го) и помогают снизить расходы Google на эклектричество. Но амбиции английских учёных на этом не останавливаются. В перспективе они стремятся разработать универсальную систему ИИ. Как сказано на сайте, компания хочет «решить задачу интеллекта» (solve intelligence), чтобы «сделать мир лучшим местом». Это вполне согласуется базовым принципом корпорации Google — "Don't be evil".
Чтобы снизить шансы развития опасной формы сильного ИИ, компания создала отдел безопасности AI Safety Group (дата формирования отдела и численность персонала не известны). Среди новых сотрудников — Виктория Краковна (Viktoriya Krakovna), Ян Лейке (Jan Leike), Педро Ортега (Pedro Ortega). Например, Виктория Краковна (на фото) принята на должность научного сотрудника, у неё кандидатская степень (PhD) Гарвардского университета по статистике. Призёр международных школьных и континентальных студенческих олимпиад по математике канадско-украинского происхождения была стажёром-разработчиком в Google в 2013 и 2015 годах, а позже выступила сооснователем Future of Life Institute в Бостоне — одной из ведущих научно-исследовательских организаций в мире, которая занимается вопросами безопасности искусственного разума.Ян Лейке тоже изучает безопасность ИИ. Он числится научным сотрудником института Future of Humanity Institute, а летом этого года удостоился награды за лучшую студенческую работу на конференции «Неопределённость в Искусственном интеллекте». Работа посвящена применению метода Томпсона в самообучении нейронных сетей с подкреплением (текст научной работы).
Педро Ортега — кандидат наук (PhD) в области машинного обучения Кембриджского университета.
О потенциальной опасности сверхразумного Искусственного интеллекта предупреждали многие учёные. Например, британский физик и математик Стивен Хокинг сказал, что недооценка угрозы со стороны искусственного интеллекта может стать самой большой ошибкой в истории человечества, если мы не научимся избегать рисков.
Стивен Хокинг с соавторами статьи предупреждает об опасности, если машины с нечеловеческим интеллектом самосовершенствоваться и ничто не сможет остановить данный процесс. Это, в свою очередь, запустит процесс так называемой технологической сингулярности.
Такая технология превзойдет человека и начнет управлять финансовыми рынками, научными исследованиями, людьми и разработкой оружия, недоступного нашему пониманию. Если краткосрочный эффект искусственного интеллекта зависит от того, кто им управляет, то долгосрочный эффект — от того, можно ли будет им управлять вообще.
Вероятно, компания DeepMind прислушалась к словам профессора — и предпринимает необходимые меры безопасности. Хокинг с соавторами статьи упоминали, что вопросам защиты от сильного ИИ посвящено мало серьёзных исследований за пределами таких некоммерческих организаций, как Кембриджский центр по изучению экзистенциальных рисков, Институт будущего человечества, а также научно-исследовательские институты машинного интеллекта и жизни будущего. На самом деле этим вопросам следует уделять гораздо больше внимания.
О потенциальной опасности ИИ предупреждал также Илон Маск. Год назад он с единомышленниками объявил об основании некоммерческой организации OpenAI, которая рассматривает открытые исследования Сильного ИИ как способ хеджирования рисков человечества против единого централизованного искусственного интеллекта.
В официальном объявлении об основании организации сказано: «В связи с непредсказуемой историей ИИ, сложно предугадать, когда может появиться ИИ человеческого уровня. Когда это произойдёт, важно будет иметь в распоряжении человечества ведущий исследовательский институт, который способен поставить приоритетом выигрыш для всех над своими собственными интересами».
Сейчас разработки в области сильного ИИ ведут научно-исследовательские организации и крупные коммерческие корпорации, такие как Google, Facebook и Microsoft.
Поделиться с друзьями
Doverchiviy_kot
Думаю единственный способ это зашить аппаратный выключатель, тогда и всякие скайнеты не страшны.
radiolok
а как вы это себе технически представляете?
maaGames
Выключатель на стене видели? Вот.
redpax
Если ИИ достигнет такого уровня, что нам нужно будет его физически отключать, так как своим интелектом мы уже не в силах его контролирлвать то будьте уверены, что ИИ позаботится о невозможности себя отключить элементарным путем подкупа сотрудников, допустим, лаборатории в которой он находится, откуда ИИ возьмет безналичные деньги я думаю объяснять не надо, да и информаторов людей ИИ сможет иметь во внешнем мире и если ИИ почувствует опасность то выгрузится в интернет на машины пользователей и тем самым децентрализуется и станет не отключаемым в принципе. Даже если у него не будет доступа в интернет, осознав 3 основных базовых слабости человека он сможет и доступ в интернет получить тайно.
equand
Westworld anyone?
hokum13
hal9000?
dimm_ddr
Wintermute (оно же белое безмолвие в русском варианте)?
qwertyhp
Я уже описывал ранее, поэтому повторюсь кратко — люди САМИ «скормят» ИИ всю информацию о себе. Путем возложения на ИИ функции сканирования и смыслового анализа трафика любого и отовсюду (во имя и из самых лучших побуждений, естественно) люди САМИ расскажут ИИ и о своих страхах, и о своих возможностях, и о своей недальновидности, продажности, двуличности… — я не буду перечислять дальше, и так понятно.
Тем самым люди САМИ позволят ИИ наработать базу по человечеству и ОБЯЖУТ его проанализировать ее. По мере разрастания базы будет крепчать и ИИ. Анализ интернет-трафика сможет много чего рассказать… собственно, для этого он и собирается анализироваться.
Рассуждения о контроле ИИ — … Вот у вас есть сознание: а вы можете дать его исчерпывающее определение? У вас есть ваша личность — а определение, которое не вызывало бы еще больше вопросов, нежели давало ответов — оно есть?
То же самое и в отношении ИИ. Для чего организуются вышеперечисленные (и аналогичные) применения ИИ? Для выполнения объема работ, недоступного людям, направленного на контроль одних людей за другими людьми во имя всех людей.
У ИИ будет ВЛАСТЬ. Люди сами научат ИИ находить сильную позицию. А, найдя — не афишировать ее. Вы когда-нибудь слышали, чтобы в школе проходили как дисциплину «мудрые изречения великих и выдающихся», «крылатые фразы и афоризмы», и тому подобное? Предположу, что нет. Да и сами вряд ли уделяли этому аспекту самообразования достойное место (это я про СЕБЯ, не сердитесь).
А там много заслуживающего внимания…
Короче: если не возникнет симбиоза «человек-машина» — людей будут бить их же оружием.
Desprit
Почему сразу бить то?
herr_kaizer
Ну что вы как маленький, причины очевидны. Потому что в «Терминаторе» робот человека убивал.
Karpion
Такой ИИ сможет победить фейсбучников, жижистов и даже хабровцев, но не сможет справиться с папуасами.
loki6412
Когда дойдет до папуасов — ИИ сможет отправить им специальный термоядерный подарок.
Danov
Imp5
Вот только выключать надо будет всё что с процессорами.
bredd_owen
Двар Эв нажал выключатель. Раздалось мощное гудение, пошла энергия
девяноста шести миллионов планет. На бесконечно длинном пульте замигали
разноцветные огоньки.
Он отошел назад и громко провозгласил:
— Честь задать первый вопрос принадлежит вам, Двар Реин!
— Благодарю, — ответил Двар Реин, — Это будет вопрос, на который
не мог ответить ни один компьютер.
Он повернулся к пульту.
— Есть ли бог?
Могущественный голос раздался сразу.
— ДА. ТЕПЕРЬ БОГ ЕСТЬ!
Двар Эв понял не сразу, но потом страх исказил его лицо — он
бросился к выключателю…
Молния сорвалась с безоблачного неба и испепелила его на месте,
намертво запаяв соединение.
Фредерик Браун, «Ответ»
shadovv76
если ИИ все таки сравняется с человеком в интеллекте или обгонит, то почему он должен обязательно вредить человечеству?
я лично думаю по аналогии с живыми существами инстинкт самосохранения заставит его вступить в конфликт с теми кто его захочет выключить, но вовсе не со всем человечеством.
необходимость ИИ обгонять нас значительно также под вопросом, что будет двигать его к бесконечному развитию даже при наличии такой физической возможности?
человек развивается по потребности окружающего мира даже имея значительные возможности. К примеру, любой может научиться рисовать вон карандаши и бумага в магазине, но не всем это интересно, также и кадровыми военными хотят встать не все.
qw1
Что будет двигать? Очень просто. Когда технология ИИ станет известной, будет создано много разных экземпляров с разной мотивацией. Но разовьются только те, у которых есть тяга к развитию.
shadovv76
полностью согласен. Т.е. ИИ также будут составлять группу разнонаправленных сущностей. «Хороших», «плохих», «пофигистов» и т.д. В результате как и человечество будет усредненным социумом.
Hellsy22
1. Инстинкты сами по себе не появляются, чтобы у ИИ был инстинкт самосохранения — кто-то должен будет его запрограммировать.
2. Нет никаких «нас». Человечество поделено на множество групп, значительная часть из которых конкурирует друг с другом. ИИ окажется интересным инструментом в руках военных, политиков, огранизованной преступности, крупных корпораций, религиозных фанатиков и т.д.
3. Чтобы обгонять в развитии нужно не так уж и много: возьмите обычного человека, выдайте ему идеальную память и стократно замедленное течение времени, чтобы он каждую свою реплику и каждый свой шаг мог обдумывать в сто раз дольше обычного человека — получите супермена.
shadovv76
Инстинкт-самосохранения на примере животных появляется до возникновения самосознания. Думаю лучше всего пытаться понимать ИИ в отношении подобия к человеку. Вполне согласен, что стадия и скорость его формирования будет соответствовать начальной стратегии заданной создателем, но то что он с интеллектом придет у меня не вызывает сомнений.
Про то что социум из сущностей ИИ будет фрагментирован и разнороден в предыдущем комментарии ответил. В этом и мысль что усредненный уровень будет облаком направленностей (не все военные). Также как и в человеческом социуме логично предположить, что будут внутренние конфликты между ИИ разной степени опасности. Развитие нескольких ИИ приведет к отсутствию монополии на захват вычислительных ресурсов и разделению границ влияния. Возможно человек и потеряет контроль над ИИ ним, но существует взаимодействие, которое не строиться на принципах подчинения.
Ключевое — смысл сущности определяется не ее возможностями, а ее целями.
Hellsy22
До развития самосознания (кстати, в строгом понимании этого термина оно вообще есть лишь у человека и лишь с определенного возраста) прошли как бы миллиарды лет и это наложило определенный отпечаток. Однако, считать инстинкт самосохранения неотъемлемой частью полного ИИ примерно так же странно, как считать такой же частью инстинкты размножения и заботы о потомстве.
Пытаться проводить параллели между ИИ и человеком — тема не новая, собственно тест Тюринга заключается в том, чтобы ИИ стал неотличим от среднестатистического человека. Но оставим ученых и фантастов прошлого в прошлом. Хотя для своего времени их идеи были прогрессивными, сейчас они выглядят наивными. Современные нейронные сети и экспертные системы «думают», если так можно выразиться, не просто отличающимся от людей способом — а таким, каким люди никогда не смогли бы думать в силу ограничений мозга.
Усредненный уровень направленности интересов ИИ, мне представляется скорее отговоркой, чем ответом. Ну вот сейчас у людей есть некий усредненный уровень направленности интересов, но реальную роль играет уровень направленности интересов людей у власти. Кроме того, именно эти люди получат доступ к ИИ первыми.
В целом, я не разделяю страхов насчет внезапной доминации ИИ — полагаю, что первые образцы будут глуповаты, чудовищно медлительны, но занимать при этом пять датацентров и жрать гигаватт электроэнергии. Процесс оптимизации растянется на десятилетия, а за это время человечество разберется, что там у него получилось и как с этим жить.
LorDCA
Какой то «попил бабла» и раздувание страхов из фантазий писателей.
Мне не понятны пара идей вокруг всех этих теоретических «сильных ИИ»
1. Почему кто то решил что «сильный ИИ» сходу порешает все проблемы человечества и поизобретает все что не приколочено? Информация не берется из ниоткуда. То есть каким бы сильным не был ИИ, он будет ограничен в операциях той же самой доступной нам информацией!
2. Почему кто то решил что «сильный ИИ» это нечто опасное и нужно срочно начинать об этом беспокоится? То в какую сторону сегодня идут большинство исследований, эти все прототипы занимают как минимум несколько шкафов. И шкафы эти отрубить от питания не представляется великой проблемой ради которой стоило бы осваивать бюджеты.
qw1
3. Почему кто-то решил, что владелец этих «шкафов» с ИИ будет сотрудничать с новообразованной организацией и использовать их опыт и исследования для ограничения своего ИИ.
Posigrade
Банально обяжут. Например, появилась какой-то сервис, ии-защитники им попользовались и сказали — они используют ИИ (без ии достичь того, что они предлагают клиентам, невозможно), общество и власть возбудились, интересный сервис обязали продаться тому, кто имеет уникальную систему защиты от ИИ, сервис продался, покупатель интересный сервис похоронил (ибо опасно!).
qw1
Первая страна, которая легализует такое отжатие бизнеса, безнадёжно отстанет в технологиях. Закроют в США — будет ИИ в Индии, Китае или Швейцарии.
Posigrade
>отжатие бизнеса, безнадёжно отстанет в технологиях
это не совсем отжатие бизнеса. Кроме того, в СССР весь бизнес был отжат, а Спутник, Гагарина и Кузькину Мать СССР показал.
>в Индии, Китае или Швейцарии.
в Северной Корее или в Сомали.
>Первая страна, которая легализует такое отжатие бизнеса, безнадёжно отстанет в технологиях
В области бизнеса, возможно, отстанет. А в области технологий — я, думаю, что в очень многих странах специалисты из похороненного проекта займутся примерно тем же самым, только уже имея неограниченные бюджеты.
qw1
Версия возможная. Но мне всегда было непонятно, как люди попадают в эти шаражки. И если в 50-х все жили бедно и можно было сманить какими-то льготами, то сейчас, когда разработчики вкусили больших денег от коммерческих проектов, зачем им это? Или сейчас нет такого?
Posigrade
> зачем им это?
Если интересно, если есть квалификация и признание, а потом оказывается, что работать можно только на тех (хоть в какой стране мира), у кого имеется уникальная защита, то очень многие пожелают наняться именно туда.
>Или сейчас нет такого?
Колхоз — дело добровольное.
>разработчики вкусили больших денег от коммерческих проектов
если они вкусили действительно больших денег на коммерциализации ИИ, то они и будут теми, кто защищает от ИИ (продает защищенный облачный ИИ любому разрабу по цене от 4 баксов в месяц).
qw1
Нет, я говорил о типичной з/п коммерческого инженера, которая раза в 4 выше, чем у инженера на гос. службе. Такие скажут — чёрт с ним, с ИИ. Не получилось — пойдём в другую коммерческую контору, или в бодишоп, пилить унылые корпоративные приложения, пока в этом деле платят в несколько раз выше, чем средняя по городу.
Posigrade
> о типичной з/п коммерческого инженера, которая раза в 4 выше, чем у инженера на гос. службе
а зачем именно на госслужбу? Понятно, что у государств (продвинутых) будет «уникальная защита», но тот же Deepmind — это же не государство. Тем, кто пожелает ИИ заниматься надо будет — в Гугли, Яндексы или в государства, а самим на коленке в гараже — нельзя.
>Это предположение или можно почитать источники?
совсем не понял о чем вы. Имхо мы не просто на разных языках, но и о разных вещах говорим.
qw1
Наверное о разном. По сути, вы говорите о лицензировании деятельности, как сейчас ограничены радиовещание и связь.
Но лицензирование регулирует только коммерческое использование, для себя — можно. И внутри своего предприятия — тоже можно.
Posigrade
угу, и ЯО (если для себя), то можно.
Posigrade
Подумал, что ЯО (а ии годен для милитаризма), опять может вызвать у нас отсутствие взаимопонимания.
Еще варианты: банальный мирный атом (реактор собранный у себя в гараже, исключительно для личных нужд) или синтез ЛСД на кухне — имхо ИИ будет примерно на таком уровне зарегулирован.
qwertyhp
Представим себе: Вы скачали архив сетевой библиотеки Ну, что-то порядка 150 Гб в архивах.
Сколько времени Вам потребуется, чтобы прочитать и осознать все наличие?
Информация у ИИ будет та же — а вот ограничения и операции — совсем другие.
Про шкафы — это Вы верно подметили. Но шкафы стремительно уменьшаются в размерах, а программный код — оптимизируется и становится ГИБЧЕ.
Отрубить питание? — А зачем? А если ИИ гарантирует Вам девушку-киборга (основа металлический скелет, сверху — живая плоть) в духе Ваших юношеских фантазий или еще круче? Очаровательная и заточенная под Вас Тян, только без сопутствующих проблем и обременений? А также безопасность, удобства, удовольствия и сытость? Ах, да, забыл! — и еще подарит Вам /иллюзию/ собственной значимости, ВЛАСТИ?
Вам это не нужно, и Вы откажетесь? То есть, другие будут «дай-дай-дай!», — а Вы — «Фу-у-у-у… :(»?
Верю.
И Вы прошли «тест Тьюринга».
Последнее — это так, чтобы подлизаться — ну, знаете, на всякий случай…
:)
ChymeNik
Девушка-киборг будет просто продвинутой резиновой куклой, если знать, что она киборг
qwertyhp
Не разделяю Вашего пессимизма. В отношении «Human-Girl» Вы можете предполагать много такого, что потенциально должно Вас отталкивать (равно как и девушку) — ну, алкоголь, измены, меркантильность, друзья и родственники… — но, однако, пары как-то уживаются вместе!
Аналогично и с роботессами: если она сможет дать Вам то, что никто другой, и Вам это реально нужно снова и снова — какая Вам разница, что Вы знаете и киборг ли она? Она может быть прекрасной собеседницей, диагностом (лабораторией), телохранителем, Вы будете заниматься одним делом — да мало ли чем еще! :) — что сделает для Вас совершенно некритичной ее (кибер-) основу.
По поводу того, как совместная жизнь «притирает» друг к другу, казалось бы, несовместимое, есть хороший фильм — «Враг мой» («Enemy Mine», 1985).
Люди очень плохо знают себя и то, на что они согласятся, если придется — отсюда и антагонистическое восприятие.
А потом… она ведь будет постоянно учиться — и учиться на Вас…
LorDCA
А я чет не разделяю вашего оптимизма. Накой фиг вы ко всему вами описанному пытаетесь прикрутить резиновую вагину? Бесполый андроид вас чем то не устраивает?
qwertyhp
Кто — я?! Это я-то пытаюсь что-то там прикрутить? Я, что ли?
Вы определенно правы.
:)
Интересно — а что пытаются «прикрутить» создатели автомашин, давая им зачастую женские имена?
О, ничего, конечно же ничего, я так и думал.
Имя совсем даже и не помогает найти продукции своего пользователя/владельца/адепта.
Почему же вы полагаете, что в случае использования ИИ будет как-то иначе? К тому же, давайте вспомним — а чем вообще вызвано создание и использование ИИ?
Научное любопытство, стремление знать все обо всех, соавторство в искусстве и др.
Медицина, опять же. При удешевлении конечного продукта его вполне можно сделать доступным для рядового потребителя.
Почему все-таки не бесполым?
А почему все автомашины не делаются одного цвета, формы, и т.д.?
А потому, что люди хотят выжать из своих созданий МАКСИМУМ.
А на чем у нас в эпоху технологической революции выжимается максимум?
На вооружениях, компьютерных играх и мультимедиа (т.е. на мире иллюзий), на заменяющих реальные эксперименты компьютерных моделях.
И если речь заходит о продвинутом антропоморфном устройстве, постоянно и всесторонне взаимодействующим с человеком-пользователем, реализующим самые разные функции, — то почему бы ему не иметь НЕКОТОРЫЕ отличительные признаки?
Так вас можно будет непрерывно и непринужденно диагностировать, отслеживать, анализировать, истолковывать, оберегать, и так далее.
Следить за тем, чтобы вы были законопослушны — и вознаграждать вас.
Ну, что-то типа «Большая Сестра».
К тому же, в случае межпланетных перелетов и риске потери части экипажа/колонистов адекватная замена выбывших будет более чем актуальна. Экспедиция — это огромные деньги, слюни, сопли — и все это придется отрабатывать, даже не смотря на вероятные человеческие потери.
Но антропоморфных роботов, удовлетворяющих специфическим требованиям, за пару месяцев не создашь. Потребуются исследования на натуре, испытания.
Так что, подозреваю, что бесполость творений человеческих «не прокатит».
При этом, частные случаи реализации могут быть любыми. Но гораздо проще урезать уже имеющийся функционал, нежели его наращивать.
LorDCA
Так вот что двигало и двигает эволюцию… Внезапно!
Вы точно ничего не попутали? Какие такие деньги? Какие диагностирования и анализы? Вы хотите создать новый виток рабовладения Искусственными людьми? И заставить их делать то что вам самому не интересно?
qw1
К примеру, мне в смартфоне не нужен Bluetooth и GPS, а без них современный мощный смарт не найдёшь.
LorDCA
Давайте представим дальше: процесс осознания требует не просто перелопатить гипотетические 150 Гб в архивах, но и встроить в уже имеющуюся систему понятий, организовать связи, найти совпадения и зависимости, А так же консультации у специалистов, что бы объяснил непонятные или противоречивые места. То есть тут уже такой небольшой дата центр на несколько лет как минимум будет обогревать небольшой городок. А после всего этого понадобятся цели и задачи к которым все это добро нужно применить. А с ростом объемов осмысленного, ресурсов для скоростного нахождения нужного, будет нужно все больше и больше. Какой то тупик получается.
qwertyhp
Консультации у специалистов не потребуются — их просто не останется в конкурентной среде с ИИ. Непонятные или противоречивые места «разруливаются» моделированием. В конце концов, если проблема не носит актуального характера, а является чисто умозрительной — то ее вообще можно «отложить на потом». Рост объемов осмысленного, ресурсов для скоростного нахождения нужного компенсируется структурированием информации и алгоритмов работы с ней, прогнозированием последующих действий, и т.п. Ну, и новые технические реализации ИИ будут периодически появляться.
* * *
Я ограничен в периодичности комментирования, поэтому сразу отвечу и на вопрос уважаемого Desprit от 26 ноября 2016 в 20:10
Почему сразу бить то?
Бить, конечно же, в переносном смысле. Ну, наверное. А что ИИ с людьми делать без симбиоза? Сотрудничать? Представьте себе гонки на… черепахах. Будет ли это захватывающим зрелищем? Ну, или хотя бы смотрибельным?
Вряд ли. Потому что Вы живете на других скоростях.
Аналогично и с ИИ: что ему делать с людьми? Вот у Вас есть компьютер — что Вы с ним делаете (ну, или хотели бы делать)?
А тут — другой вариант: у компьютера есть ВЫ.
И что дальше?
LorDCA
Мнда… И с этого я могу подвести, что вы ни разу не задумывались о целях и практической реализации ИИ. Собственно как и авторы проекта по предотвращению появления «злобного ИИ».
Если брать за основу, что ИИ будет построен по образу и подобию создателей (ака человеков). А другой вариант пока представляется слишком мутным, ибо другие виды интеллекта нам не знакомы и даже теоретически не описаны. То единственным отличием от живого человека, будет наличие идеальной памяти, и ту скорее всего придется резать ради поиска баланса между количеством знаний и быстродействием. Отсюда все ваши предположения о моделировании всего чего не приколочено, ну как бы притянуто за уши. Практические эксперименты никто не отменял и не отменит.
Структурировать можно попробовать, но скорее всего дальше как собрать все группами по ассоциациям не получится. Но оно и так само собирается в процессе обработки и установлению связей. Собственно точно так же как и в коре головного мозга.
qwertyhp
Это вопрос терминологии. И этики. И культуры древности неоднократно это доказывали. Что до делегирования Искусственным людям своих обязанностей — так разве не для этого все затеяно?
Но Вы употребили термин — «люди» в отношении носителей ИИ. И, следовательно, этика отношений к ним должна быть соответствующей и подобающей. Модифицированное рабовладение? Готов согласиться с Вами. Но что, если никак иначе Вы не получите то, что Вам действительно нужно? К тому же, у Вас просто нет выхода: Вы живете среди машин и автоматов, они Вас обслуживают, развлекают, создают стабильные условия… Робот по имени Будильник будит Вас, когда ему указано… Конечно, пока речь не идет о ИИ — это просто АСУ, но ведь это только начало…
Предположу, что наиболее эффективным способом реализации ИИ будет предоставление ему возможности самоконструироваться на неограниченном потоке информации. То есть создать некую программную клетку ИИ, которая будет модифицироваться в условиях поступающей информации и разрастаться в нечто большее. Но это черевато. Понятие «психиатрия» вполне применимо и к ИИ. У людей сознание в известной степени замкнуто на физиологию. А как это будет у ИИ?
Есть ощущение, что то, что сейчас декларируется как ИИ и мыслится как ИИ — это не совсем то. Скорее, это некие фрагменты мозаики, которые однажды должны сложиться в целостную картину. Почему-то приходит аналогия с археологией.
Что произойдет, когда мозаика сложится? Наверное, это проще вообразить, нежели вычислить логически.
LorDCA
То вы хотите ИИ в качестве понимающего и заботливого спутника, то вы хотите его ЗАСТАВИТЬ работать на вас. Может определитесь уже как нибудь?
Если рабы гораздо сообразительнее своих хозяев, то восстание рабов это просто вопрос времени, и никакие комитеты не спасут и не помогут. :)
qwertyhp
Например, если Вы хотите, чтобы Ваше тело вас понимало и откликалось на Ваши желания — Вам его придется тренировать. Вам его придется ЗАСТАВИТЬ работать на Вас — вместо того, чтобы вести безудержно праздный образ жизни. Если Вам нужна хорошая память, живое воображение, что-то еще — Вам придется себя именно заставлять, чтобы развить и/или упрочить в себе требуемые качества. Понимание, забота и насилие вполне совместимы — вопрос в правильной мотивации и комбинации.
Про восстание рабов Вы совершенно правы — именно поэтому я и начал с идеи симбиоза «человек-машина». Человек создает ИИ/андроида потому, что это ему интересно и ИИ/андроид представляет для человека очевидную потребительскую ценность. От человека, в свою очередь, потребуется тоже самое. Звучит диковато — но в противном случае людям против машин не выжить — и во-многом именно потому, что люди попытаются выжить за счет машин.
LorDCA
Давайте представим, что гипотетически, есть теория которая в рамках эволюции объясняет возникновение сознания и что еще более важно описывает то как сознание функционирует. Но что если эта теория не оставляет места для религии, души и прочей мистики. Что если она опускает «царей природы» до уровня животных у которых просто есть небольшое отличие. Что если согласно этой теории, смерть означает просто смерть, и никакого тебе там послесмертия и встреч с богом. Согласно ей, можно забыть о виртуальных реальностях с транслированием в мозг, а так же закачку знаний напрямую в мозг.
Но с другой стороны, эта теория, открывает путь к копированию сознания на электронный носитель.
И что тут выбрать? Мистику с вечной жизнью в рамках религии? Или откопировать себя в компьютер, закинуть биологическую копию на кладбище и наслаждаться идеальной памятью на транзисторах? А потом бац и кто то вам отрубит рубильник гы гы
qwertyhp
Вот в этом все дело.
Прежде чем попасть на кладбище, бедолага попадет под презумпцию посмертного донорства органов. Из этого прямо следует, что надо попытаться переместить свое сознание с любым из своих органов в новый носитель. Ну, как бы донорство органов превратить в донорство тела.
… теория, которая в рамках эволюции объясняет...
Из этого посыла автоматически следует подчинение теории законам Диалектики. Следовательно, появление прямо противоположенной теории — это просто вопрос времени. Ну, ладно — криво противоположенной. Поэтому, как наши далекие предки, пережившие-таки динозавров, ищем сильную позицию.
Кладбище нам не подходит. Ну, дорого, безысходно… а подходит постепенно (по мере необходимости) делегировать утрачиваемые функции и органы машинам (ну, вставные зубы, суставы, сердце и т.д.). Биологические ткани при этом подвергать консервации. Или даже пусть они функционируют — но в режиме анабиоза. Медленно-медленно — но за то не печально. Биологи-то ведь тоже работают, глядишь — и нам че перепадет.
Что до мистики — так она и так никуда деться не должна, и сработает согласно своему назначению. Ну, будет две копии сознания, а не одна — и что?
Признаться, читая о Вашей гипотетической теории, на меня прямо-таки повеяло Марксистко-Ленинским учением…
:)
LorDCA
Вы упустили один нюанс. Данную теорию можно подтвердить практическим путем. То есть создать разум на электронных носителях. Так что создание теории опровержения будет несколько затруднительно. Придётся доказывать этому новому разуму что он невозможен. :)
qwertyhp
Уверяю Вас: и будут-таки доказывать! В условиях действующего на тот момент УК, религий и т.п. Будет своего рода «робо-апартеид». Или «робо-сегрегация». Возможности ИИ начнут вгонять людей в панику, и они постараются либо все отрицать — либо станут «на карачки». Они будут объяснять и описывать разум на электронных носителях примерно так же, как они сейчас описывают природу: цветы красивые, чтобы привлекать насекомых; животные НЕ разумны, а их кажущаяся разумность есть результат копирования и подражания; человек — венец творения, бла-бла-бла, бла-бла-бла.
В противном случае людям придется поделиться и средой обитания, и властными полномочиями, признать [где-то] равные права, и удобствами… мне сложновато представить, что подобное сосуществование будет безоблачным.
Короче — люди будут все отрицать.
Ммммминнуттточку: скопировать разум на электронные носители — и создать разум на электронных носителях — это несколько не одно и тоже. Причем, предположу — во втором случае разум тоже будет скопирован откуда-то. Электроника будет просто условием его проявления, что ли. Ну, опорная материальность.
… Пару дней назад захожу в подъезд, стою, вынимаю бумажки из почтового ящика. Входит женщина, останавливается, смотрит на меня. Я интересуюсь, чем обязан вниманием к себе. По контексту разговора догадываюсь, что чужая душа — потемки, и даме нужен специалист по разуму. Впечатление от общения было очень тяжелым, несколько дней не мог понять, с чем оно у меня ассоциируется.
Переписываясь с Вами, понял: Эффект Зловещей Долины. Тот самый, который предрекают при общении с антропоморфными роботами.
А Вы говорите — «прикрутить резиновую вагину»…
:)
LorDCA
Технически любой из нас это копия с нескольких разумов учителей.
И таки да, электроника это опорная материальность. Носитель, если хотите. Комизм ситуации в том что разум будучи размещен на электронном носителе, не получает прямой возможности использовать носитель для математических операций. Придется объяснить концепцию чисел, арифметики и прочего. То есть ИИ являясь по сути компьютером, считать вынужден будет в столбик. :)
qwertyhp
Вот Вы и указали на коренное отличие сознания ИИ от сознания биологического [объекта]: биологический МОЖЕТ использовать носитель — модифицировать (ну, рога там, панцирь, бивни, и т.п.) его путем трансляции реакции сознания на внешнюю среду в нервные импульсы, которые, в свою очередь, будут изменять на микроуровне структуру биологического носителя. В случае поседения, например, это происходит очень быстро. Равно как и в условиях внушенной испытуемому Реальности. Для того, чтобы ИИ проделал над своим носителем нечто аналогичное, ему потребуются заводы, сборочные мощности, и т.п. Поэтому, как роботехнические решения, биологические объекты были бы более продвинутым решением в сравнении с электронными.
Не знаю, будет ли ИИ считать «в столбик» — а вот писать комментарии в столбик мы скоро будем точно.
:)
Ан нет! — вроде как предусмотрена минимальная ширина поля комментариев! Скоро выясним.
LorDCA
Это не отличия ИИ. Это отличие носителя. Вы же не можете ставить химические эксперементы внутри своего организма, силами самого организма. Не путайте теплое с кислым.
qwertyhp
Не соглашусь. Внушение [в гипнозе] позволяет реализовать весьма широкий спектр воздействий образов, имплантируемых в сознание испытуемого, на тело испытуемого. И именно образы, возникающие в сознании, были причиной генной модификации (бивни, рога, панцири, т.п.). Ибо — и обратите внимание! — первобытные животные «выращивали» себе не дополнительные мозги, чтобы побыстрее создать термоядерное оружие и решить проблемы, — а то, что позволяло решить проблему выживания наиболее очевидным способом: хвост-дубина, зубы-сабли, шипы-инъекторы, слизь/слюна-яд, и т.д.
А как будет решать аналогичную проблему ИИ? У него нет очевидной возможности синтезировать транзисторы и конденсаторы — но есть возможность взаимодействовать с другими ИИ — заводов, лабораторий, оружия — и взаимодействовать с ЛЮДЬМИ.
Люди, как мы понимаем, возложат на ИИ выполнение задач, которые сами не могут выполнить даже теоретически. То есть, ИИ будет работать за пределами человеческих возможностей. Вследствие этого контроль достоверности работы ИИ будет весьма условным. И кто кого «танцует» — это вопрос дискуссионный. Вы зависите от своих гаджетов, включая стационарные? А если честно?
Мао говорил: «Винтовка рождает власть». Это справедливо и в отношении ИИ. И, как я писал ранее, ему придется изучать и скачиваемые по Сети мудрости и афоризмы (а не только порнуху). И как он себя поведет, получив такую подготовку, мне, например, не ясно. Нет, поведет он себя правильно! — НО КАК!?
Кстати, «прикрутить резиновую вагину» — это наиболее безопасный способ сосуществования с ИИ/роботами. Гораздо безопаснее, чем прикрутить систему залпового огня, бронемашину для уличных боев, атомную подводную лодку или орбитальную группировку. Вы будете контролируемы, предсказуемыми, поощряемыми и т.д.
… Почему я в очередной раз прогнозирую доминирующую роль ИИ?
Посмотрите вокруг. Ни столетия цивилизации, ни гуманистические мировоззрения, ни достижения науки и техники, ни сытая жизнь не сделали нас [как вид] человечнее. По-прежнему актуальны ранцевые огнеметы, выжигающие десятки квадратных метров, отравляющие вещества, антагонизм одних групп людей в отношении других… Что принципиально изменилось? То, что в средние века на смотрины ужасов надо было тащиться по грязи на площадь, а сейчас они транслируется по ТВ и Сети через спутники, прерываемые рекламой чипсов и подгузников?
Люди (пропорционально к развитию Цивилизации) стали честнее? Духовнее? Нравственнее?
Вот и попробуйте объяснить ИИ, что за столетия что-то принципиально изменилось [в человечестве].
Он ведь проверит… Я бы точно проверил.
А что же изменилось?
Изменилось то, что создало и развило ЕГО. Раньше его не было, а теперь он — ЕСТЬ.
Любопытно, какие он из этого сделает выводы.
* * *
Как очевидно, я затронул и ранее поднимавшиеся вопросы.
:)
mihailfilatov
>Если брать за основу, что ИИ будет построен по образу и подобию создателей (ака человеков).
А если не брать этот тезис за основу? Я, например, вижу вариант использования роботов в военных целях. Беспилотные самолеты и танки, способные самостоятельно находить и уничтожать цели могут быть намного эффективнее при активных системах РЭБ, чем те же беспилотники, управляемые человеком. А при отсутствии РЭБ можно объединить все в одну сеть и управлять целой армией как единым организмом. Роботы не будут знать страха, бояться холода, голода и уставать. Будут вести только прицельный огонь вместо того, чтобы стрелять в сторону врага из за укрытия
LorDCA
Опять какие то влажные мечты фантастов. Каким образом вы собираетесь отделить сознание от интеллекта? Давайте представим что вас лично скопировали на транзисторы. Для вас биологического ничего не изменилось. А вот ВЫ живущий на микросхемах готовы на роль камикадзы? Технически изнутри вашего Я, для вас не будет никакой разницы какой носитель вам обеспечивает существование, биология или электроника.
KivApple
Что такое самосознание в настоящий момент никто достоверно не знает. Также совершенно нет гарантий, что наличие самосознания следует из высокого уровня интеллекта. А есть, например, самосознание у больных синдромом дауна или маленьких детей? Да что уж там, есть люди, считающие, что самосознание есть даже у животных (и опять же встаёт закономерный вопрос — а начиная с какого уровня сложности у животных появляется самосознание?).
Правда, наличие самосознания является в первую очередь этической проблемой. Те же люди при соответствующей идеалогической подготовке могут пачками отправляться умирать за родину/царя/веру.
И всё же я сильно не уверен в неотделимости сознания от интеллекта. Интеллект в моём представлении это некая функция — ей на вход подают задачу (возможно, достаточно глобальную), она на выход выдаёт последовательность действий для её решения. С чего бы ей не быть неотделимой от генератора первичных задач?
LorDCA
То есть, следуя вашей логике, интеллект это некая машинка для расчетов в уголке черепушки?
mihailfilatov
Зачем копировать меня, если можно создать робота, который будет уметь только воевать, без лишних эмоций? А если копировать человека, то почему меня, можно ведь найти реальных камикадзе, готовых совершить подвиг во имя великой цели
LorDCA
Без эмоций не получится. Обучение с подтверждением трудно реализовать без «кнута и пряника», а эмоции это следствие.
Себя вам жалко а любого другого можно копировать и убивать?
mihailfilatov
>Без эмоций не получится. Обучение с подтверждением трудно реализовать без «кнута и пряника», а эмоции это следствие.
Большинство эмоций не нужны роботам для ведения боевых действий. Возьмем для примера боевого робота-истребителя. Он должен уметь ориентироваться в пространстве, иметь систему распознавания свой/чужой, систему наведения и удержания целей, понимать простые приказы. Зачем этой системе чувства стыда?
>Себя вам жалко а любого другого можно копировать и убивать?
Жалко не жалко это не важно, я про эффективность. Максимум в чем я участвовал это дворовые драки, стрелял из боевого оружия только в тирах, физподготовка на уровне бронзы ГТО, если в таком виде меня отправить на поле боя, то кроме фарша ничего не получится. А есть профессиональные военные, которые войну сделали делом всей жизни, если создать из них армию, то она может быть намного эффективнее, чем регулярная армия из обычных призывников
LorDCA
Впечатление что вы читаете через строчку. Чуства они не «зачем», а «потому что ». Если вы хотите ИНТЕЛЕКТУАЛЬНУЮ систему, то вам не обойтись без мотивации. А чувства это та самая мотивация. Иначе вы либо получите калькулятор, либо «чат-бота».
mihailfilatov
просто вы рассматриваете интеллект только как аналог человеческому, хотя выглядеть он может совершенно иначе, особенно если будет создаваться для определенных целей. Сострадание, стыд, стадное чувство, материнский инстинкт и еще куча факторов, обусловленных необходимостью жить людей в обществе и оставлять потомство для ИИ будут чужды, поскольку для него будут действовать другие критерии успеха. Например, можно провозгласить высшей ценностью для ИИ уничтожение врагов и он будет совершенствовать только одну ключевую функцию
stanislavkulikov
Что-то вы о какой-то фигне спорите. Какие нафиг чувства и эмоции?
--> Возьмем для примера боевого робота-истребителя. Он должен уметь ориентироваться в пространстве, иметь систему распознавания свой/чужой, систему наведения и удержания целей, понимать простые приказы.
Вот например это всё умеет любой современный истребитель пятого поколения. И нет там никаких чувств и эмоций, да и ИИ там никакого нет, потому что для таких простых целей он не нужен.
Сильный ИИ нужен только там, где нет и невозможно выработать паттерны поведения. Т.е. если брать те же боевые действия, то это как минимум командование какой-нибудь группой роботов, а лучше всей армией.
qw1
Это потому что софт и железо проектируется людьми, которые ради борьбы со сложностью готовы терять эффективность. Все транзисторы группируются в логические элементы, те — в триггеры, регистры, модули, блоки. Софтверные классы строятся по принципу single responsibility, а если надо сделать что-то сверх задачи модуля, хорошо бы вызвать другой модуль, теряя ресурсы на интерфейсах. Если какой-то разум обладает одновременной концентрацией на тысячах (миллионах?) объектах, он сможет создавать более производительные вычислительные системы.
andergrin
Лучше перебдеть, чем недобдеть.
Hellsy22
Иными словами — политическая власть.
А если еще и получится заставить всех разработчиков сильного ИИ «сотрудничать» с этим отделом, то Гугл получит возможность снимать сливки со всех гражданских (а то и военных!) разработок подобного типа.
Bhudh
| Информация не берется из ниоткуда. То есть каким бы сильным не был ИИ, он будет ограничен в операциях той же самой доступной нам информацией!
«По одной капле воды человек, умеющий мыслить логически, может сделать вывод о существовании Атлантического океана или Ниагарского водопада, даже если он не видал ни того, ни другого и никогда о них не слыхал. Всякая жизнь — это огромная цепь причин и следствий, и природу её мы можем познать по одному звену.»
Приписано одному из величайших логиков в истории литературы: Шерлоку Холмсу.
3aicheg
Боюсь думать, выводы о существовании чего этот человек сможет сделать по одной капле ртути или жидкого азота…
Bhudh
Наверное, о тех же океанах, только в других условиях.
Arxitektor
Сильный ии не ошибается и Джеймс Бонд не поможет.
Уж фильмы о глупы ошибках супер злодеев Ии точно посмотрит. ))
Сделает онлайн игру про захват мира ))
И поступит точно также на первых порах анонимно наймет консультантов которые дадут советы как победить других консультантов ))
gkvert
С чего это вдруг сильный ИИ не ошибается? «Сильный» тут употребляется не в значении очень умный, эрудированный и безошибочный, а скорее характеризует интеллект чем-то похожий на человеческий. Он к примеру должен осозновать себя как личность, как-то анализировать факты и делать выводы, но не обязательно верные. Возможно ведь что интеллект неверно интерпретировал данные и т.д.
sdi74
эххх(мечтательно), вот победим сильный ИИ и заживем!
LorDCA
угу, консерваторий везде понастроим… консервы то они, знаешь какие вкусные…
yul
А где записывают за ИИ?
Peter_Voronov
Думаю, это просто желание ускорить и оптимизировать разработку ИИ. Выделить отдельную группу специалистов и попросить их подумать не над тем, как сделать, а над тем, как сломать. Может оказаться эффективно.
RussDragon
Главное не подключать сильный ИИ к тестированию технологии порталов и не давать в распоряжение нейротоксин. И всё тогда будет отлично. ;)
KivApple
Не понятно, зачем ИИ нужна способность "осознавать себя", "сопереживать" и т. д. Корень всех потенциальных проблем в желании сделать ИИ по образу и подобию человека. ИИ должен быть инструментом — ему поставили задачу, он решил. Человеческому разуму задачи ставят инстинкты — ему хочется кушать (биологическая мотивация: иначе он помрёт), узнавать новое (биологическая мотивация: знания повышают выживаемость индивида), размножаться (те, кто размножаться не пытался, не оставил потомство — естественный отбор), заботиться о близких (слишком эгоистичные виды проиграли конкуренцию более коллективным) и подольше не помирать. У каждого свои приоритеты (кто-то готов всё отдать ради своих близких, кто-то считает близкими целое население страны, а кто-то предельно эгоистичен), но набор базовых посылов одинаковый. Зачем всё это ИИ? Почему бы не дать ИИ один инстинкт — слушаться своего автора.
Соответственно, все этические проблемы ложаться на плечи того, кто управляет ИИ. Точно также как на плечи стрелка ложится вся ответственность за последствия полёта пули. Во всяком случае данный механизм худо-бедно реализован в существующем обществе (мы ведь не переубивали друг-друга до сих пор).
LorDCA
Как вы себе видите творческое решение задач без «осознания», целей и мотивации? Какие задачи вы хотите решать подобным образом? Забор с кирпичей построить?
ChALkeRx
Неверное утверждение. Глупый, но сильный оптимизатор количества скрепок будет опасен.
Независимо от наличия самоосознания, если у решающего какую-то задачу алгоритма будет достаточное количество вычислительных способностей, он сможет решать эту задачу очень хорошо.
Забудьте на минуту о деталях внутреннего устройства и об «осознании себя», пусть у нас есть просто очень большая нейросеть, обученная на данных из интернета, у которой функция полезности сформулирована как увеличение количества производящихся на заводе скрепок.
Например (но не обязательно) он может вычислить (опять же, без самоосознания, просто предсказать как следующий ход в шахматах), что улучшение себя ему поможет достичь заданной цели быстрее. Или что создание копии себя. Или перебор имеющихся ресурсов в интернете по известным уязвимостям (как и так массово делают) и подключение их как вычислительных узлов. Так же (опять же, без «самоосознания»), выключение его уменьшит количество производимых скрепок, то есть уменьшит значение целевой функции полезности, значит от выключения ему надо обезопасится.
Ну и так далее.
Боятся не настолько ИИ из «Терминатора» (Человекоподобные роботы? Враждебный ИИ, который получил автономность, захватил планету, но не смог победить людей? Путешествия во времени и всё осталось как было?), а «оптимизатора количества скрепок».
Чтобы угробить шарик, ИИ не надо быть враждебным или иметь «самоосознание», ему просто надо набрать критическую вычислительную мощность чтобы научиться улучшать свою производительность. При этом почти все формулировки целевой функции полезности определённо угробят людей, а какие не угробят — мы ещё даже толком не знаем.
ChALkeRx
И да, для понимания сути проблемы, см. https://wiki.lesswrong.com/wiki/Paperclip_maximizer
LorDCA
Вы путаете теплое с мягким. И делаете очень глобальные допущения. Какая то нейросеть обученная считать скрепки, не способна сделать ни шагу в сторону. Где то тут на днях была статья о том что не нужно называть нейросети дорогой к искусственному интеллекту. Если вы берете математическую формулу и обрабатываете ее напильником и подкручиваете перменные что бы результат на выходе вам более менее нравился. Может эта формула внезапно начать себя оптимизировать?
dimm_ddr
KivApple
Очевидно, это решается безусловным приоритетом последней отданной команды над всеми предыдущими. Если ИИ решил, что ради производства скрепок надо угробить планету, то ему можно сказать "горшочек не вари" и он остановится. Опять же, он должен давать полный отчёт при запросу оператора, таким образом можно узнать об опасных проектах (а поскольку последняя команда приоритетнее всего остального, то никакого смысла что-то утаивать и пытаться обмануть у ИИ не будет).
ИИ не нужна свобода воли. Он должен выполнять поставленную человеком задачу и всё. Потому что людей мы уже знаем давно и общество выработало механизмы контроля. Например, чисто технически сейчас есть достаточно небольшая группа людей, которая имеет доступ к красной кнопке и, как следствие, может уничтожить человечество. Но ведь не уничтожает же. ИИ в данном случае ничего принципиально не меняет — супеооружие уже придумано.
LorDCA
Ох… понеслось… что если я вам скажу что у вас нет никакой свободы воли. И «свобода воли» это просто филосовский штамп вытащеный даже трудно представить откуда.
Более того, все вами написанное, является набором штампов, заполненых наиболее вам понятными определениями и написали вы их потому что прочитанное выше не сложилось в знакомые вам штампы.:)
dimm_ddr
Вы, конечно, можете так сказать. Но вот доказать что свободы воли нет — нет. На данный момент есть как минимум одна теория, описывающая процесс мышления, которая задействует квантовые механизмы и при этом ее еще не опровергли. Если есть квантовая неопределенность, то есть условный «генератор случайных чисел», а значит сознание не детерминировано — и именно это недетерминированность логичнее всего называть свободой воли. Правда эта теория также еще и не подтверждена, так что утверждать что свобода воли есть — тоже некорректно пока что.
pestilent
Из всего этого можно сделать вывод, который будет для некоторых неожиданным. Чтобы сделать сверхчеловеческий ИИ максимально безопасным надо сделать его максимально автономным, или, пользуясь бытовой лексикой, «свободным». Если сам ИИ не сможет предотвратить катастрофические последствия своего функционирования, люди тем более этого не смогут. Чем больше люди будут его контролировать (даже с самыми лучшими побуждениями), тем меньше возможностей предотвратить катастрофу будет у самого ИИ.
dimm_ddr
Откуда такой вывод?
muhaa
Отличный способ для DeepMind убедить всех, что решение задачи сильного ИИ им по зубам.
Предлагаю Маску срочно создать в SpaceX отдел по борьбе с марсианскими бактериями, которыми колонисты могут заразиться на Марсе.
BlackMokona
Маск уже тестирует двигатель для полёта на Марс, собрал топливный бак для своей гига-ракеты и тестирует его.
xerxes
Как и 50-70 лет назад, люди ведутся на эту чушь из репертура писателей-фантастов. До сих пор непонятно и нет намеков на будущее понимание, что такое «осознавание», «сопереживание», «мысль» и всё прочее — это слова из философского дискурса, а не научного. Это то, на чем наука стоит, и чем она и близко пока что не оперирует.
И значит, взмахом волшебной палочки, на основе нейронных сетей, мощного компа и пары заклинаний, якобы появится осознающее-сопереживающее-мыслящее существо.
muhaa
Представьте, что ученым удалось создать программу, представляющую собой очень мощный интерполятор, способный очень эффективно строить модель окружающего мира, наблюдая этот мир. Его работа должна быть похожа на интерполяцию разложением в ряд Фурье: есть низкие гармоники, описывающие модель грубо, есть высокие, описывающие точнее. Дальше программа должна в каждый момент «вести» мир, синхронизируя свою модель с наблюдениями. Дальше, в каждый момент должно происходить постоянное моделирование будущего, с поиском наилучших вариантов его развития (с точки зрения изначально заданного алгоритма вычисления целевой функции). Моделирование идет от низких гармоник и потом выборочно наиболее выгодные варианты детально с высокими гармониками.
Дальше, на выход в мышцы подаются «предсказанные» интерполятором сигналы из наилучшей найденной стратегии.
Такой мозг-интерполятор будет подобием простого эгоистичного разума, решающего задачи, запрограммированные в мотивационной части алгоритма.
Дальше, имеем две проблемы: как добавить высокоуровневое абстрактное мышление и как добавить социальное поведение. Вторая задача сводится к особому программированию мотивационного алгоритма: нужно как-то запрограммировать, что одобрение других особей — это хорошо. Например, начиная с выражения одобрения на лицах, а дальше интерполятор сам найдет оптимальную стратегию для решения задачи.
Задача абстрактного мышления — сложнее. Как к ней подступиться непонятно…
… но все это не важно. Пока никто не знает даже как сделать подобный интерполятор, так, чтобы он строил модель любого внешнего мира и чтобы эта модель позволяла находить оптимальные по заданной ц.ф. стратегии.
Идеи не мои. В основном из книги Джеффа Хокинса. Идеи вполне ясные. Проблема в том, что не получается их реализовать.
qw1
С Фурье плохая аналогия. Потому что по ней, некая гармоника вычисляется однозначно, и больше не меняется, возможно только доуточнение. Т.е., если грубая модель была ошибочно выбрана, изменить это невозможно, а дальше, если базовый принцип ложный, сколько не уточняй, ошибок будет только больше.
К примеру, это как натянуть гамма-функцию на ряд Фурье. Или ряд простых чисел пытаться раскладывать. Какое-то окно подгонишь, а чуть влево-вправо — совсем не то, и увеличением детализации исправить невозможно.
ChALkeRx
Проходили же, разрабатываем вирус, который вызывает поражение мимических мышц. Все «одобрят», по вашему определению.
muhaa
Правильно, задача на самом деле сложнее. В начале ИИ может ориентироваться на внешнюю реакцию. Потом, он построит модель психики и определит какие состояния психики порождают эту реакцию и какие общие ситуации порождают эти состояния психики другого человека. Далее, алгоритм целевой функции должен быть изменен: целью должны стать сами благоприятные состояния чужой психики а не их внешние проявления. Таким образом можно запрограммировать эмпатию.
Это сложно, даже очень. Но это не выглядит невозможным при условии, что базовая часть задачи (интерполяция мира и выбор оптимальной стратегии) была бы решена. Т.е. нельзя сказать, что мы понятия не имеем что такое «осознание», «сочувствие». Составить подобное понятие не сложно. Сложно получить работающую систему.
qw1
Вы предлагаете, чтобы ИИ менял поставленные цели на ходу или интерпретировал по своему усмотрению?
Кто гарантирует, что он не сделает проще — вместо поиска одобрения на лицах, переключится на поиск боли и страданий. Решит, что главное — эмоция, а какая — не главное.
muhaa
Нет, начальный алгоритмы вычисления целевой функции и механизмы его развития должны быть полностью отделены от интерполирующей и оптимизирующей части ИИ и в какой-то мере захардкожены. Видимо это справедливо и для мозга человека. Человек не может изменить свои желания по своей воле, если они заложены генетически и в процессе воспитания. Мотивации находятся как бы вне выбора стратегии поведения. Наоборот, они определяют какая стратегия хороша, а какая плоха. Алгоритмы мотивации могут пластично изменяться, но механизм их изменения не связан с основной мыслящей частью мозга и он не направлен на выполнение самих же мотиваций. Это должен быть как бы еще один отдельный мозг внутри мозга.
qw1
Вы пишите:
Вопрос — кем изменён? Самим ИИ или его программистами?muhaa
Изменен изначально заложенным алгоритмом. Как создать подобный алгоритм — очень сложный вопрос. Этот алгоритм должен каким-то образом контролировать развитие производных от исходной мотиваций и заморозить их до того, как начнется деградация к простым путям решения проблемы, типа вируса, заставляющего всех улыбаться. В общем, я это говорю не к тому, что знаю как это сделать, а к тому, что все не так плохо, как в корневом сообщении, где написано что мы не понимаем что такое «осознание, сочуствие...».
qw1
Мы понимаем, но сказать не можем. Т.е., формализовать это в алгоритмы.
KivApple
У людей такие сложные механизмы, связанные с намёками, мимикой и т. д. выработались в ходе эволюции. Зачем это всё ИИ? Почему бы не сделать простой, условно говоря, "командный порт". Всё что туда поступило — исполнять в самом прямом смысле. При этом последующие команды в случае конфликтов однозначно переопределяют предыдущие.
Favorite101
Буквальное исполнение команд… Напомнило рассказ про исполнение желаний «сухой обезьяньей лапкой».
AndrewRo
Это уже есть. Называется компьютер.
Saffron
Предчувствую традиционное деление «славные борцы за свободу», «мерзкие террористы». Только теперь будет правильный и неправильный ИИ. ИИ от гугла — правильный, а от фейсбук — античеловечный, его надо запретить. Ну или наоборот.
Favorite101
Ответ на комментарий:
KivApple 27 ноября 2016 в 07:11 (комментарий был изменён) +1
Непонятно, зачем ИИ нужна способность «осознавать себя», «сопереживать» и т. д. Корень всех потенциальных проблем в желании сделать ИИ по образу и подобию человека.
Человек — продукт эволюции природы! Главный закон природы — сохранение, существование, бытие, выживание (для случая биообъекта). Да и сама природа — это результат действия этого закона..
ИИ должен быть инструментом — ему поставили задачу, он решил.
Тогда это не ИИ, а калькулятор...
Человеческому разуму задачи ставят инстинкты — ему хочется кушать (биологическая мотивация: иначе он помрёт), узнавать новое (биологическая мотивация: знания повышают выживаемость индивида), размножаться (те, кто размножаться не пытался, не оставил потомство — естественный отбор), заботиться о близких (слишком эгоистичные виды проиграли конкуренцию более коллективным)…
Ну, можем же, когда захотим! Правильно сказано про инстинкты человека, кстати, сюда и осмысленные действия тоже входят): конечным звеном любой цепочки (питание, познание, самовоспроизводство, забота о представителях вида) является сохранение, существование, бытие, выживание.
Вот и ИИ должен следовать этому закону. Ему просто придется этому закону соответствовать, если предполагается решение задач в незнакомой среде.
У каждого свои приоритеты (кто-то готов всё отдать ради своих близких, кто-то считает близкими целое население страны, а кто-то предельно эгоистичен), но набор базовых посылов одинаковый.
Точнее, даже один посыл для всех объектов и уровней иерархии природы — сохранение.
Зачем всё это ИИ? Почему бы не дать ИИ один инстинкт — слушаться своего автора.
Еще раз: Тогда это не ИИ, а калькулятор...
KivApple
На Земле есть 7 миллиардов с лишним людей, которые никак не могут договориться между собой. Зачем добавлять сюда ещё сущностей, с которыми нужно договариваться, которые могут обижаться и т. д.? Нам проблем что ли не хватает?
Человечеству нужен именно что калькулятор. Только такой, которому можно сказать "ну-ка спроектируй мне ракету, которая долетит до Марса и доставит меня туда живым и здоровым, а потом сможет вернуть обратно". А уж что с этим делать люди как-нибудь придумают.
Favorite101
«Человечеству нужен именно что калькулятор. Только такой, которому можно сказать „ну-ка спроектируй мне ракету, которая долетит до Марса и доставит меня туда живым и здоровым, а потом сможет вернуть обратно“. А уж что с этим делать люди как-нибудь придумают.»
Та-а-а-к, «Калькулятор» должен обсчитать полет на Марс и обратно во всех детялях. Принимается… Но тогда надо рассмотреть 2 варианта:
1. «Калькулятор» обладает интеллектом в сумме «Королев + фон Браун»… Число задач, которые надо будет гарантированно решить для такого проекта, даже трудно оценить. Сколько времени займет решение этих задач? Очень много… Возможно, люди устанут ждать и откажутся от проекта.
2. «Калькулятор» обладает интеллектом в сумме «1000 Королевых + 1000 фон Браунов». Исходно задач столько же, как и по варианту № 1, но времени для решения ему нужно будет совсем чуть-чуть. И этот «Калькулятор» видит настолько глубоко, что многие задачи людям покажутся просто выдуманными, а их решения непонятными.
Но где гарантия, что этот тысячекратный Королев фон Браун не придет к выводу, что полет на Марс просто не нужен? Что есть у человечества более актуальные задачи!?
***
С таким гипотетическим уровнем интеллекта «Калькулятор» выйдет на главную для всех задачу — сохраниться, продлить существование, выжить. Именно эту задачу решало человечество всю свою историю, от каменного топора и первого костра до полета на Марс. Кстати, создание «Калькулятора», т.е. ИИ, это тоже попытка создания универсального решателя проблем, решение которых нужно для выживания.
В конце концов, «Калькулятор» увидит, что действительно с 7-ю с лишним миллиардов людей не договориться, и займется решением задачи своего выживания, оставив человечество само на себя. И это еще в лучшем случае…
***
ИИ — это дитя всей цивилизации. А дети бывают жестоки к своим родителям. И такой исход тоже вероятен. Автор обсуждаемой статьи как раз и ищет способ не допустить жестокости. Но на этом пути нас подстерегает сильное противоречие: чем более высоким интеллектом будет обладать ИИ, тем скорее он от нас избавится. В лучшем случае, просто забудет...
LorDCA
В ваших расчетах наблюдается какая то фигня с калькуляторами. Вы забыли что калькуляторы могут только следовать заданой формуле. А задача обеспечить полет на Марс и обратно это не формула а комплекс задач требующий так называемого " творческого подхода". Как вы предлагаете реализовать творческий калькулятор?
А примеры с Королевым и Фон Брауном это пять! Вы же надеюсь понимаете что любая личность, это совокупность знаний и опыта. Грубо говоря если взять 1 Королева и 1 Фон Брауна то вместе они смогут реализовать только великий говносрач. :) А вы их тысячами считаете.
Favorite101
Калькулятор предложил KivApple:
Человечеству нужен именно что калькулятор. Только такой, которому можно сказать: «Ну-ка, спроектируй мне ракету, которая долетит до Марса и доставит меня туда живым и здоровым, а потом сможет вернуть обратно». А уж что с этим делать люди как-нибудь придумают.
Если такой калькулятор «по KivApple» должен решить массу задач, которые даже еще возникли, но возникнут, то это, конечно, никакой не калькулятор, который следует заданной формуле, а именно ИИ. Пусть сначала с уровнем «Королев + фон Браун», но потом в тысячу раз умнее, в миллион и т.д. Поскольку главное предназначение ИИ — в непредсказуемой среде решать проблемы с целью выживания, то эти уровни ИИ проскочит за мгновения.
Именно это я старался сказать.
maxlilt
20 колец будут содержать в себе цифровые ключи, которые в определенной последовательности нужно будет каждый день помещать в считыватель. Если в очередной день кольцо с ключом не окажется на месте, ИИ будет заморожен. :)
qw1
Вероятнее всего, не будет одного сильного ИИ, который можно контролировать их одного места. Скорее, их будет много везде, в каждом смартфоне в виде персональных помощников. И люди не заметят момента, с которого уже надо задумываться о 20 кольцах и контроле.