Илон Маск никогда не скрывал опасений относительно искусственного интеллекта. Ещё год назад он прогнозировал появление «чего-то очень опасного в пределах 5-10 лет». До этого Маск назвал искусственный интеллект «созданным человеком демоном». Понятно, что технический прогресс не остановить. Простой запрет на научные исследования ничего не даст. Наверное, поэтому Илон Маск с рядом партнёров основали некоммерческую организацию OpenAI, которая будет открыто исследовать наиболее продвинутые и потенциально опасные формы искусственного интеллекта.
Сопредседателем OpenAI вместе с Илоном Маском назначен Сэм Альтман, исполнительный директор инкубатора стартапов Y Combinator. Среди спонсоров — ряд влиятельных деятелей Кремниевой долины, в том числе бизнесмены Питер Тиль и Джессика Ливингстон.
Сэм Альтман высказал мнение, что природа Open Source, то есть открытые исследования ИИ — это способ хеджирования рисков человечества против единого централизованного искусственного интеллекта: «Точно как защитой против доктора Зло является тот факт, что большинство из нас — хорошие люди, хотя в своей массе человечества может содержать плохие элементы, так и многие, многие ИИ будут работать против случайных плохих ИИ. По нашему мнению, так легче остановить его, чем при наличии единого ИИ в миллиард раз более мощного, чем всё остальное», — сказал Альтман в интервью Backchannel.
В официальном объявлении об основании организации сказано: «В связи с непредсказуемой историей ИИ, сложно предугадать, когда может появиться ИИ человеческого уровня. Когда это произойдёт, важно будет иметь в распоряжении человечества ведущий исследовательский институт, который способен поставить приоритетом выигрыш для всех над своими собственными интересами».
Сейчас разработками ИИ занимаются коммерческие корпорации, такие как Google, Facebook и Microsoft. Разумеется, они ставят свою финансовую выгоду выше интересов человечества. Соответствующим образом будут действовать созданные ими ИИ. Некоммерческая организация OpenAI с open-source альтернативой попытаются противостоять корпорациям. Все исследования в рамках института OpenAI будут публиковаться в открытом доступе. Три вышеупомянутые корпорации тоже периодически делятся с миром наработками по ИИ, но нет гарантий, что они продолжат делать это, когда те станут представлять серьёзную коммерческую ценность.
Комментарии (30)
kraidiky
13.12.2015 21:42-2Ума не приложу зачем Маск, у которого нет свободного миллиарда, если он только теслу не продаст, и который ни разу в жизни, кроме первого раза, не брался за дело в котором нельзя было бы присосаться к государственным деньгам, влез в эту область.
Пессимисты говорят, чтобы все остальные ИИ кроме его автоматически считались опасными.
Оптимисты говорят, что он просто понимает, что деньги делаются не на ИИ, а на его применении, и поэтому ему выгодно, чтобы сами ИИ-шные технологии были максимально доступны, а вот практическое их примерение по привычной схеме — через многомиллиардные субсидии американских налогоплательщиков.
Возможен и третий вариант. Очень интересно какой.
wbnet
13.12.2015 22:41+1Да запросто: создание хороших ИИ -> внезапно нескольких ИИ «плохеют» (с помощью пятой колонны из незаконных эмигрантов-докторов наук) и переезжают в террористические страны по ранее бесконтрольному интернету -> вопли политиков «А мы ж вам говорили!», начинаются спецоперации по нейтрализации поплохевших ИИ и давших им приют террористов, устанавливается жесткий контроль доступа в интернет, все это оплачивается налогоплательщиками и заодно доставляет им же массу удовольствия по телеящику — в общем все живут дружно и счастливо, да и Маск при знакомом деле )
Возможен и четвертый вариант. Интересно какой.
voyager-1
14.12.2015 03:00Hellsy22 Эти самые «хорошие» люди, которых большинство, устроили за прошлый век две мировые войны и около сотни более мелких войн
Смешались в кучу кони, люди… Где США — а где «Маск и Ко» — у них даже гос-финансирования не предусматривается.
kraidiky Пессимисты говорят, чтобы все остальные ИИ кроме его автоматически считались опасными.
Оптимисты говорят, что он просто понимает, что деньги делаются не на ИИ, а на его применении, и поэтому ему выгодно, чтобы сами ИИ-шные технологии были максимально доступны
А те, кто ещё и умеют читать текст статьи (который находится под заголовком) — поняли что о разработки самого ИИ речи и не шло.
wbnet Эти Да запросто: создание хороших ИИ -> внезапно нескольких ИИ «плохеют»
Вам — то же самое, «исследования» и «создание» — это разные слова, даже не однокоренные — вроде русский человек, должны бы знать.
Для тех, кто в танке, диктую большими буквами:
Наверное, поэтому Илон Маск с рядом партнёров основали некоммерческую организацию OpenAI, которая будет открыто исследовать наиболее продвинутые и потенциально опасные формы искусственного интеллекта.
Про создание ИИ речи в тексте не было ничего — предполагаются только исследования в этой области, да при этом — ещё и открытые, как вы в этом коммерческую прибыль и злой умысел находите — я ума не приложу.
Всем троим посвящаетсяЕсли ты заметил новость, а под нею текста много,
то читать её не надо — отвечай на заголовок.
Ну а если, не понятно, будет людям, что сказал ты,
так — то их же и проблемы, главное — казаться умным.
А чем далее от темы, будет твоё сообщение,
тем умней казаться будешь, ты в… ну в чьих-то вот глазах.
П.С. Григорий Остер к этим каракулям отношения не имеет, если что)
Hellsy22
14.12.2015 04:11+1Цитата из поста:
«Точно как защитой против доктора Зло является тот факт, что большинство из нас — хорошие люди, хотя в своей массе человечества может содержать плохие элементы, так и многие, многие ИИ будут работать против случайных плохих ИИ. По нашему мнению, так легче остановить его, чем при наличии единого ИИ в миллиард раз более мощного, чем всё остальное»
Мне совершенно безразлично у кого какое финансирование. Я смотрю на аргументы. И мне они кажутся несостоятельными. Потому что большинство, состоящее их «хороших людей» каждый раз берется за оружие по приказу своих лидеров. Не вижу причины, по которым ИИ будет действовать иначе. А от самой идеи, что ИИ будет просто так работать против «случайных плохих ИИ» отдает какой-то наивностью с легким душком рабовладельческого строя.
wbnet
14.12.2015 08:54+1Ну а как же — исследовать темную сторону того, что пока еще не исследовано в принципе, прикрываясь волшебными словами «некоммерческая организация» и «опенсорц». Ну и как бы невзначай уже конкретно говорится, что плохие ИИ обязательно случайно возникнут и им надо начинать противостоять уже сейчас (пока что за 1 млрд. баксов, а там видно будет). Сторонники заговоров просто обязаны ликовать с подобных набросов.
Вариант 4:
экономика США к 20xx году опускается ниже плинтуса, срочно собранными экспертами убедительно доказывается, что совершенно случайно, в сетях высокочастотного трейдинга возник плохой ИИ, вошел в контакт с недружелюбными правительствами и передал им все секреты, залез в банковские сети страны, переставил в случайном порядке номера всех кредитных карт, купил Фэйсбук, продал его провайдеру из Зимбабве и перевел все доступные деньги террористам с пометкой «на постройку многоразовых баллистических ракет дальнего действия». Тут все в панике призывают Маска, а он такой приходит и говорит им: поднимите мне веки.
Напридумывать могу еще многое, у меня фантазия хорошо развита )voyager-1
14.12.2015 12:56+1kraidiky
1) Пессимисты говорят, чтобы все остальные ИИ кроме его автоматически считались опасными.
Свой ИИ он делать не собирается (автопилот для электрокара — это далеко не ИИ), так что мимо.
2) Оптимисты говорят, что он просто понимает, что деньги делаются не на ИИ, а на его применении, и поэтому ему выгодно, чтобы сами ИИ-шные технологии были максимально доступны
Он уже заявил, что автопилот будет через 2 года — и под это набирает программистов в Tesla, а вовсе не в OpenAI, так что опять мимо.
wbnet
3) Да запросто: создание хороших ИИ -> внезапно нескольких ИИ «плохеют» (с помощью пятой колонны из незаконных эмигрантов-докторов наук) и переезжают в террористические страны по ранее бесконтрольному интернету
Долго смеялся над шуткой про докторов наук — их к вашему сведению, пара тысяч на страну размером с Россию, если сотня куда-то переедет, то недоброе заподозрит даже слепо-глухонемой. И уж тем более никакой диверсант себе такой «неоновой вывески» на лбу в страшном сне не пожелает.
4) экономика США к 20xx году опускается ниже плинтуса, срочно собранными экспертами убедительно доказывается, что совершенно случайно, в сетях высокочастотного трейдинга возник плохой ИИ
Ваш «хитрый план» развалится ещё на первом этапе — все биржевые транзакции бэкапятся, заметили множество подозрительной активности — остановили торги, и вычислили аккаунты подозреваемых. По суду такое можно будет просто откатить — для государства это не проблема. А главное — зачем такой невообразимо сложный план, когда всё уже до вас всё придумали? Теракт со смертниками — и концы в воду, а дальше можно любую несчастную Нигерию в этом обвинять.
В реальном мире даже фильмы необработанные до релиза сливают, и телефоны/почту глав государств прослушивают/просматривают — а вы ту целую «детективную историю в 4 действиях с прологом и окончанием» предлагаете, да ещё и чтобы это 100% достоянием гласности не стало — бред это. Хватит «витать в облаках» и «строить воздушные замки» — пора уже наконец повзрослеть.wbnet
14.12.2015 13:40Я и не придумывал особо реальные варианты и вообще-то думал, что это будет заметно ) Хотя вот… пятая колонна может состоять всего лишь из одного-двух д.н., законно въехавших в страну, а руками транзакции (вспомним «отличившихся» в этом десятилетии трейдеров, с последующим расколбасом всей этой сферы, международными скандалами и банкротствами влиятельных фин.структур) никто не бэкапит: Р
Я для себя в новости выделил то, что кому-то понадобился «плохой» и почему-то «случайно возникший» ИИ, которого не существует, но под гипотетическое существование которого, видимо можно поиметь какую-то не слабую выгоду. Это я к тому что, за красивые глаза миллиарды не вкладывают, а причина потенциального вклада уже озвучена. Ну и Маск для высокотехнологического распила отлично подходит. Фанатов-гиков сейчас у него не меньше, чем фанаток Битлз в 70х и многие из них будут просто отрицать любой негатив, связанный со своим кумиром. Прямо хоть в президенты его завтра выдвигай.voyager-1
14.12.2015 14:31Это у вас от такого «вольного перевода» такое отношение складывается, на самом деле в оригинале всё совсем не так: ибо заголовок из оригинала скажем с:
How Elon Musk and Y Combinator Plan to Stop Computers From Taking Over
Превратился в:
Маск и Альтман основали некоммерческую организацию OpenAI по созданию ИИ, который спасёт человечество
Как бы смысл поменялся чуть ли не на противоположный. Общий посыл диалога примерно такой: так как ИИ всё равно сделают, даже без нас, то мы сделаем свой, и раздадим его всем. Ну примерно как: «Бог сделал людей разными, а мистер Кольт уравнял их в правах» — от этого упоминание ещё во вступительной части, что все патенты будут открыты.
Ещё предложение заменить один «большой ИИ» на множество более «мелких ИИ» — с предположением, что так можно будет избежать попадания одного «большого ИИ» в плохие руки, не совсем понятно — что это поменяет правда).
П.С. В оригинальной статье поводов беспокоиться я не нашёл — ну а как на самом деле будет, это конечно только время покажет. И если бы Маску нужен был бы ИИ «за дёшево» — он бы просто купил его у Google, когда они его доделают — обошлось бы в разы дешевле.wbnet
14.12.2015 15:09Спасибо за ссылку на оригинал. Смысл потенциально вложенного миллиарда действительно развернут задом. Причем еще извращенным способом )
Как «Essentially, OpenAI is a research lab meant to counteract large corporations who may gain too much power by owning super-intelligence systems devoted to profits, as well as governments which may use AI to gain power and even oppress their citizenry.», превратилось в «Наверное, поэтому Илон Маск с рядом партнёров основали некоммерческую организацию OpenAI, которая будет открыто исследовать наиболее продвинутые и потенциально опасные формы искусственного интеллекта.», не очень понятно.
kraidiky
15.12.2015 15:29Странно, из чтения Интервью Маска и Альтмана у меня сложилось ощущение, что как раз таки собираются.
https://medium.com/backchannel/how-elon-musk-and-y-combinator-plan-to-stop-computers-from-taking-over-17e0e27dd02a#.ds8x7r9zy
Даже прямо таки говорят об этом прямым текстом: So we are creating OpenAI. The organization is trying to develop a human positive AI. And because it’s a non-profit, it will be freely owned by the world.
Так кому верить? Вам или Сэму Альтману? :))))))
А вы с voyager-1 хотите сказать, что они собюираются нанять более 100 разработчиков, в том числе и переманеных с других мест, и поставить над ними самого Сатскивера чтобы они свои разработки по AI выкладывали в открытый доступ, но при этом что они не собираются разрабатывать искусственный интеллект? Серьёзно?voyager-1
15.12.2015 15:38А вы с voyager-1 хотите сказать, что они собюираются нанять более 100 разработчиков, в том числе и переманеных с других мест, и поставить над ними самого Сатскивера чтобы они свои разработки по AI выкладывали в открытый доступ, но при этом что они не собираются разрабатывать искусственный интеллект? Серьёзно?
Речь шла про ИИ специально для Маска — для его компаний, к тому времени когда они его сделают — он не потребуется. Читайте до полного просветления:Как бы смысл поменялся чуть ли не на противоположный. Общий посыл диалога примерно такой: так как ИИ всё равно сделают, даже без нас, то мы сделаем свой, и раздадим его всем. Ну примерно как: «Бог сделал людей разными, а мистер Кольт уравнял их в правах» — от этого упоминание ещё во вступительной части, что все патенты будут открыты.
rPman
13.12.2015 23:53+1Пиар.
Чтобы держать заданную планку, имя Илон Маск (и его компании) должны ассоциироваться с чем то диким, прекрасным и сумашедшим.
Космос, Марс, необычный транспорт, искусственный интеллект…
Даже в источниках энергии и то 'впереди планеты всей', хотя по моему мнению это даже не эволюция и точно не революция, аккумуляторы тесла для электромобилей и для дома это просто то, что должны были сделать давно но почему то боялись.
Полагаю что сильные мира всего (я имею в виду в планетарном масштабе, группа людей, возможно разрозненная, держащая в руках ключевые артерии цивилизации, такие как финансовые потоки, энергетика, информация,..) намеренно придерживают развитие ряда областей, именно сейчас отпустили на свободу, к примеру, энергетику.
Мы еще услышим про стационарные супермаховики, способные удерживать энергию, потребляемую сейчас всей планетой за сутки, и сверхвысокие постройки, удерживаемые исключительно пока подается энергия (инерциальные системы, по типу 'космического фонтана'), и про 3D-принтеры, печатающие на нано-уровне или даже на молекулярном (там тоже одна из проблем — энергия, по крайней мере уже давно можно создать такое устройство уже сейчас но заметная часть стоимости владения будет уходить именно на элекьтроэнергию и отвод тепла)Hellsy22
14.12.2015 02:41+1По-моему вы путаете страх с отсутствием лобби. Кроме того, насколько мне известно — Тесла не производит аккумуляторы, а использует сборки из панасониковских элементов 18650. И в этом далеко не уникальна — их вообще широко используют, включая DYI-поделки.
Отдельно хочу отметить Powerwall — это лишь батарея с крайне сомнительным сроком службы и без инвертора, а не стендэлон решение, как почему-то намекает реклама. Там все странно: рабочее напряжение, тип батареи, решаемые задачи, формфактор, цена.rPman
14.12.2015 11:33+1Я очень плохо выразился, я считаю что начинания Маска примерно все такие, яркие громкие а взглянешь поближе,… что то тут не так.
p.s. но полезные для всего мира, это точно
Mad__Max
14.12.2015 02:13+4Про весьма важный момент почему-то не написали. Что не просто основали какую-то компанию, но и выделят на исследования которые она будет вести 1 миллиард $.
Atos
14.12.2015 06:20+3Напомнило вселенную OptimalVerse фанфика «Friendship is Optimal» («Дружба это Оптимум»)
ЕМНИП, Элиезер Юдковский отзывался об этом как об одном из самых страшных произведений, что он читал.
Что случится, если дружественному ИИ (созданному в противовес «злому») будет поставлена слегка некорректно сформулированная цель :)
pronvis
15.12.2015 04:10+1Спасибо огромное за рассказ!!!
Сел почитать в половину первого и вот он я :)
Mad__Max
15.12.2015 23:31Да уж, понифилы и до ИИ и сингулярности добрались :)
А вообще хороший рассказ получился, гикам рекомендуется к прочтению. Не по НФ шаблону про «плохой свихнувшийся ИИ», а как раз представить «правильный» ИИ, какой большинство хочет видеть.
ИМХО ИИ там отработал свою цель и задачи максимально эффективно и корректно. Что от него требовали, то он и сделал.
Люди лишь недооценили масштабы и эффективность с какой может работать настоящий ИИ.
fivehouse
14.12.2015 16:34-1Судя по тому, каких людей они туда набрали, и судя по тому, кто там уже назначен директором, никакого настоящего AI не видать им там как собственных ушей без зеркала. Девиз конторы (судя по CV участников): «Сделаем что-то наподобии AI, что могло бы принести деньги сейчас на рынке.» Детская наивность. AI будет сделан никак не директорами и никак не людьми учившими что-то около AI в нынешних университетах. В университетах нет НИЧЕГО что касается настоящего AI.
lightcaster
14.12.2015 18:02+3А каких, по-вашему, людей нужно нанимать на должность директора?
fivehouse
15.12.2015 19:54-3Сначала нужно определиться с предметом работ без фантазий. AI еще нет ни в какой степени (кроме мечт), а директор создающий AI уже есть. Просто смех.
lightcaster
16.12.2015 07:15Вы определяете AI как нечто мистическое, сравнимое с интеллектом человека. Ученые понимают под AI набор методов, которые решают задачи, которые до недавнего времени мог решить только человек (или животные). К примеру, распознование образов на картинках, распознавание речи, определение оптимального маршрута или набора действий.
В этом смысле никаких фантазий нет. Есть строгая постановка задачи, есть критерий оценки решения — точность, процент ошибок и т.п. За последнее время ученые и инженеры сильно в таких алгоритмах. Посмотрите конкурсы по распознаванию лиц или речи. Сильно продвинулись QA системы.
> «В университетах нет НИЧЕГО что касается настоящего AI.»
Так что же по-вашему настоящий AI?wbnet
16.12.2015 09:11-1Игровые AI еще можно вспомнить. Причем они там специально туповатые, так как ловить сплошные хедшоты от ботов в КС человеческим игрокам будет не интересно.
Грядущий армагеддон из-за «свихнувшегося» ИИ выглядит тогда довольно буднично: ИИ всемирного управления транспорта, из-за ошибки в коде одного из базовых модулей, совершенной неизвестным программистом в 2016 году, неправильно обработал входные данные,
fivehouse
17.12.2015 13:54Вы определяете AI как нечто мистическое, сравнимое с интеллектом человека. Ученые понимают под AI набор методов, которые решают задачи, которые до недавнего времени мог решить только человек (или животные).
Массовая тотальная игра в словоблудие (и подмену понятий) остается массовой тотальной игрой в словоблудие. Полноценный AI это интеллект умеющий читать книги, самообучаться, скажем, математике и проектировать космические корабли и оружие. А животные пусть сами решают свои задачи.lightcaster
17.12.2015 14:33Полноценный AI это интеллект умеющий читать книги
Вот статья, где модель учится читать: arxiv.org/pdf/1410.3916.pdf
Пример из нее:
Bilbo travelled to the cave. Gollum dropped the ring there. Bilbo took the ring.
Bilbo went back to the Shire. Bilbo left the ring there. Frodo got the ring.
Frodo journeyed to Mount-Doom. Frodo dropped the ring there. Sauron died.
Frodo went back to the Shire. Bilbo travelled to the Grey-havens. The End.
Where is the ring? A: Mount-Doom
Where is Bilbo now? A: Grey-havens
Where is Frodo now? A: Shire
При этом здесь заранее не определялась структура, не давался словарь.
Вот статья где модель обучается простым математическим операциям: arxiv.org/pdf/1511.07275v2.pdf
Ваше определние интеллекта непродуктивно. Чем проектирование оружия сложней выбора траектории полета пчелы, последовательности действий при полете, сборе меда?
Вобщем, давайте на этом закончим. Если вам действительно инересен AI — читайте статьи, учите математику. Просто сказать — что в университетах идиоты можно, но это говорит что вы совершенно не понимаете область.fivehouse
18.12.2015 12:20-1Ваше словоблудие ради чего? Обмана других, получения денег? Полноценный (искусcтвенный) интеллект должен уметь ПОЛНОЦЕННО делать все то, картонные муляжи чего вы упомянули. Я вам про проектирование космических кораблей и оружия, а вы мне про траекторию полета пчелы.
edeldm
14.12.2015 19:01+1Ранее Marek Rosa (создатель Space Engineers, Medieval Engineers) основал www.goodai.com
At GoodAI, we are trying to build artificial brains that can learn, be creative, and adapt to the environment in the way a human does. Our brains will respond to what they perceive, and will interact with their environment to achieve goals defined by human mentors.
Our mission is to develop general artificial intelligence as fast as possible, be helpful to humanity, and understand the universe.
GoodAI started as a research and development initiative inside Keen Software House in January 2014, when CEO Marek Rosa invested $10M USD into the project. GoodAI was publicly announced in July 2015 and is now a team of nearly 30 people.
Первым тестовым заданием для приема на работу в команду GoodAI была разработка нейросети на CUDA.
Hellsy22
Эти самые «хорошие» люди, которых большинство, устроили за прошлый век две мировые войны и около сотни более мелких войн. Перебили кучу себе подобных, загадили пол-планеты. Страшно даже представить, что же хотят сделать «плохие» люди.
Что же до рисков связанных с ИИ, то полагаю, что первый ИИ человеческого уровня будет занимать пару датацентров, жрать несколько десятков мегаватт энергии и думать со скоростью клинического тормоза. Пройдут десятилетия, прежде чем он начнет умещаться хотя бы в одной стойке, потом еще десятилетия, прежде чем он станет мобильным. К тому времени все проблемы с ним связанные давно выплывут наружу и станут очевидны. Короче, я бы опасался не злодейского суперИИ, а всяких его «Зверь»-сборок и кривых форков.
Error_403_Forbidden
Заблуждение