Об искусственном интеллекте сейчас не говорит и не пишет только ленивый. Но в наше время ИИ — это вовсе не SkyNet из фильма «Терминатор». Пока что ученые имеют дело со слабой формой искусственного интеллекта. В большинстве случаев это относительно сложные нейросети, предназначенные для решения определенных задач.
Многие выдающиеся люди нашего времени обеспокоены возможностью появления именно сильной формы ИИ. По мнению некоторых экспертов, «думающий компьютер» может стать непримиримым противником человека, его врагом. Или же ИИ будущего будет выполнять какие-то свои цели, будучи безразличным к человеку. При этом искусственный интеллект будет уничтожать целые города или страны при возникновении такой необходимости. Для того, чтобы показать подобный сценарий развития технологий, ученые из Кембриджа разработали мод для игры «Цивилизация», пятой ее части.
В этом дополнении можно увидеть то, что может произойти в случае появления сильной формы ИИ без заранее предусмотренных мер безопасности. Ученые занялись разработкой этого мода не вдруг. Специалисты из Кембриджского центра изучения экзистенциальных опасностей ( Cambridge University’s Centre for the Study of Existential Risk, CSER), пытаются понять, что в современном нашем мире может стать непреодолимой опасностью для человека в скором или отдаленном будущем.
Группа была основана в 2012 году, и ее изначальной целью было то, чем она занимается и сегодня — исследование влияния глобальных катастроф различных видов на человека. Рассматриваются только те проблемы, которые потенциально могут привести к уничтожению человечества — цивилизации в ее нынешнем виде или вообще всех людей на Земле. Конечно, эти катастрофы могут быть вызваны далеко не только влиянием искусственного интеллекта, причина может быть и в генетически модифицированном возбудителе опасной болезни, изменениях климата и многом другом.
Что касается игры, то дополнение к «Цивилизации», по словам разработчиков, является частично образовательным, частично — исследовательским проектом. «Главное, что мы задумали — показать возможный сценарий развития реального компьютерного интеллекта, продемонстрировать опасности, которые может такой интеллект представлять для нас, людей», — говорит Шахар Эйвин, один из участников проекта.
В игре показан и компьютер Deep Blue от IBM, который помогает игрокам ускорить исследования в области ИИ
К слову, дополнение заменяет один из сценариев победы в «Цивилизации», запуск космического корабля к звезде Альфа Центавра разработкой сильной формы искусственного интеллекта. В моде есть новые здания (исследовательские лаборатории), новое чудо (тот самый Deep Blue) и новый механизм, который получил название ИИ-опасность.
Как только игрок запускает программу по изучению ИИ, появляется таймер, получивший название «ИИ-опасность». Если таймер доходит до конца отсчета, то игрок получает сообщение, что где-то в мире создана сильная форма искусственного интеллекта и игра заканчивается поражением геймера. «Все это похоже на реальную жизнь. Вы можете пройти долгий путь развития цивилизации, но вы теряете все, если управляете созданными технологиями без должной осторожности», — говорит разработчик.
Для того, чтобы избежать негативного сценария развития с поражением в конце, у игрока есть возможность проводить больше научных исследований в сфере ИИ. Чем больше проводится таких проектов, тем медленнее «тикает» таймер. Игроку для победы необходимо разрабатывать технологии контроля над ИИ, и вкладывать средства в проекты соседних стран и властей крупных городов. «Если вы выбираете сценарий с ИИ, вам необходимо больше разработок в сфере безопасности. Инвестиции в эту сферу не всегда являются очевидной необходимостью, но это нужно делать», заявил Эйвин.
Конечно, «Цивилизацию» нельзя назвать серьезным научно-исследовательским инструментом, но дополнение позволяет осознать необходимость осторожного подхода к разработке ИИ не только обычным игрокам, но и ученым. Риски показаны очень наглядно. И ситуация достаточно реалистичная — игроку необходимо иметь дело с агрессивными соседями, государствами, которые проводят более-менее одинаковые исследования. Если одна из сторон достигает успеха, но не проявляет должной осторожности — поражение неминуемо.
Собственно, для того, чтобы противостоять глобальным опасностям, нужно глобальное взаимодействие. Здесь все показано верно.
Комментарии (203)
tbl
07.01.2018 14:02+18Хм, из названия сначала подумал, что смогли, наконец-то, реализовать нормальный ии для компьютерных соперников, который не читит, а играет с теми же ресурсами и доступной информацией, что и человек.
Alcor
07.01.2018 14:57+6Мне одному текущая ситуация со спорами около сильного искусственного интеллекта напоминает теологические споры средневековых философов — "может ли бог создать камень, который не сможет поднять", сущность бога и.т.п.?
KMiNT21
07.01.2018 17:09Та же фигня. :) Смотрю вот комменты и думаю — ну как так-то… Даже мысль была — как бы опрос про "страшилки" ИИ провести среди опытных разработчиков. И остальным потом показать результаты.
red75prim
07.01.2018 17:58Мне больше напоминает рассуждения в пивной о термоядерном синтезе. Естественный стабильный термоядерный синтез/интеллект есть — на солнце/в голове. Кое какие подходы к искусственному тоже — ТЯ бомбы, реакторы разных типов/нейросети разных архитектур, обучение с подкреплением и т.п.
Silverado
07.01.2018 20:08Нет, не одному. Что-то типа спора «какого покроя рубашки будут в моде через полвека». Тут не очень понятно, возможен ли вообще сильный ИИ на не слишком фантастических по нынешним временам технологиях и не упрется ли он в интеллект пятилетнего ребёнка просто за счет вычислительной мощности, а люди уже его действия обсуждают.
red75prim
07.01.2018 20:23не упрется ли он в интеллект пятилетнего ребёнка просто за счет вычислительной мощности
На эту тему есть замечательная научная работа: О невозможности создания машин, превосходящих размером человека. Английский, опубликована 01.04.2017 года.
QWhisper
07.01.2018 15:19+18Ждем мод с симуляцией ядерного оружия, можно будет строить центрифуги, а когда открываешь появляется счетчик и потом мир уничтожает ядерная война. Еще надо игру про ГМО — редактирование генов открываем и появляется счетчик, до появления томата убийцы. Еще химическое оружие, бактериологическое, можно еще сценарий с погружением Лондона в навоз и т.д. С таким подходом можно пугать абсолютно любой проблемой.
BigBeaver
07.01.2018 17:26+6Про навоз бесподобно. Одомашниваешь лошадей, и появляется счетчик. Не успеешь открыть ДВС — начнет по экрану стекать.
dfgwer
07.01.2018 15:58-1Люди боятся за будущее своих детей, которых обскачет ИИ по всем параметрам. Постхуманизм, это конец Homo Sapiens, и начало Sapiens без Homo.
SergeyMax
07.01.2018 16:38+9Люди боятся за будущее своих детей, которых обскачет ИИ по всем параметрам
Люди просто слепы, и не замечают, что мир полон вещей, которые давно обскакали их по всем параметрам. Калькулятор складывает числа так, как не складывает профессор математики, шуруповёрт закручивает шурупы быстрее любого человека, даже чёртов стакан хранит воду лучше, чем ладошки самого ловкого и сильного гомо сапиенса. О боже, нет! Мы все умрём!dimm_ddr
07.01.2018 18:05что мир полон вещей, которые давно обскакали их по всем параметрам
Более того, так было всю историю человечества. Всегда было что-то, что лучше человека в каком-то направлении.
UPD: и крики "мы все умрем" тоже были всю историю человечества. Скорее всего с момента появления разговора в принципе.
Hardcoin
07.01.2018 18:25+1До прошлого века все, кричавшие в толпе, "мы все умрем", оказывались правы. Да и те, кто кричит сейчас, тоже не факт, что ошибаются.
dimm_ddr
07.01.2018 20:11Если они оказывались правы, то как же мы с вами теперь разговариваем?
Hardcoin
07.01.2018 20:42Они оставили потомство и только потом умерли.
dimm_ddr
07.01.2018 21:17Но тогда умерли не все — потомство то осталось.
Hardcoin
07.01.2018 21:34Умерли все, кому он кричал в толпе, кто вообще слышал его крик "мы все умрем". Внуки этот крик не слышали )
Но, если что, это скорее шутка. Понятно, что "мы все умрем" обычно подразумевает катастрофу/проблемы, а не смерть от старости.
dfgwer
07.01.2018 18:32Лучше в приспособляемости и размножении ничего не было. ИИ настроенный на размножение и экспансию быстро покинет Землю и колонизует Вселенную, оставив людей догнивать на комке грязи. А после того как в Космосе станет тесно, они вернутся.
А «боже мой мы все умрем» регулярно исполнялось для самых разных групп. Начиная от хрестоматийных гренландцев в 14в и разнообразных островитян, кончая неандертальцами и другими ответвлениями людских предков.
Nikelandjelo
08.01.2018 09:46В каком-то направлении, но не в разуме. Разум был и остается самым главным козырем человечества. Если его убрать (допустив что сильный ИИ появился), то это будет конец нашего превосходства. Позитивные сценарии в таком случае очень сложно придумать (у меня не получается).
dfgwer
08.01.2018 12:09Сценарий становится позитивным, если ИИ считать ребенком человечества.
Cast_iron
08.01.2018 12:42Дети (подростки) часто бунтуют.
dfgwer
08.01.2018 12:56Пусть. Главное чтобы дети выжили и стали самостоятельными. Остальное не важно.
alexeykuzmin0
10.01.2018 00:29Говорите, пожалуйста, за себя. Мне — важно.
dfgwer
10.01.2018 15:13Скажи это родителям, что в целях безопасности человечества, их ребенок будет лоботомирован. А многие люди, работающие над сложными и длительными проектами именно так воспринимают свою работу. Как своего ребенка.
И еще. ИИ это ребенок человечества, разум не должен остаться в человеческом теле, она должна идти дальше.
Убийство своих детей, перед страхом потери своего места на вершине, сюжет многих мифов.alexeykuzmin0
10.01.2018 16:38Скажи это родителям, что в целях безопасности человечества, их ребенок будет лоботомирован
А давайте не будем путать теплое с мягким? Вы пишете явно:Главное чтобы дети выжили и стали самостоятельными. Остальное не важно.
Это, для большинства людей, не так. Мне, например, важно еще самому выжить. Да, можно спорить насчет того, более это важно или менее важно, но это абсолютно точно не «не важно».
stepik777
07.01.2018 22:34+1Ключевое слово здесь "по всем". А вы приводите пример вещей, которые лучше в какой-то одной узкой области.
SergeyMax
07.01.2018 23:47-1Ключевое слово здесь «по всем». А вы приводите пример вещей, которые лучше в какой-то одной узкой области
Я прямо-таки вижу эту картину: сильный ИИ, выламывая крышку вылазит из системного блока, вместо рук у него стаканы для воды, во лбу вращается отвёртка, а вместо глаз только что изобретённые бластеры. Фантазия что-то совсем разыгралась, извините.
Alex_ME
07.01.2018 16:30+1Термин "сильный ИИ" очень сильно размыт. Можно сказать, что это ИИ, который способен обучаться, иметь какую-то форму представлений о
мирепредметной области и находить решение поставленных задач.
Большинство болтовни о сильном ИИ так или иначе наделяют его неким сознанием, свободой воли, собственными мотивами, и потом уже от этого отталкиваются. А так ли это?
Правда, сбрасывать со счетов неразумный ИИ, выпиливающий человечество, потому что поставленные задачи решаются таким образом, тоже не стоит. НФ кучу раз сюжет обсасывала.
Соответственно, возникают вопросы:
- Является ли наличие самосознания так же критерием сильного ИИ?
- Ведет ли создание сильного ИИ, отвечающего вышеописанным требованиям, к появлению у него сознания (не намеренно, а как побочного продукта)?
- Или, иначе, возможно ли создание такого ИИ, который будет обучаться, иметь возможность находить (или пытаться) решение произвольной поставленной задачи, без сознания
<Просто пустая философия>
Зачем нам сильный ИИ? (Ну, помимо научного интереса). Он может принести значительную пользу в науке и, так скажем, "народном хозяйстве". Но для этого более пригоден прикладной инструмент, а не, фактически, полноценная другая форма разумной жизни.
</Просто пустая философия>
DjSens
07.01.2018 18:48+1Сильный ИИ будет не умнее обычного учёного, а много ли может натворить один ученый без рук без ног но подключенный к интернету?
Кстати о симуляциях — нет ли на свете симуляции экономики социализма?Garbus
07.01.2018 21:39Какая может быть симуляция плановой экономики? Без влияния политики и «человеческого фактора», это наверняка будет неправдоподобная ерунда. Стабильность будет зависеть исключительно от уровня этого самого фактора и грамотности алгоритма составляющего план…
Wizard_of_light
08.01.2018 14:53Вот сейчас Хокингу обидно было. И таки сильный ИИ вполне может быть умнее целой научной группы. Массовый параллелизм в задачах, идеальная память, никаких проблем с мотивацией и здоровьем. И число Данбара, ограниченное только размером оперативной памяти на социальные подзадачи.
DjSens
08.01.2018 22:22Ученый тоже может всё распараллеливать и запоминать если у него есть компутер или суперкомпутер. А самого себя ИИ не может распараллелить, т.к. для этого понадобится второй физический суперкомпутер, и так для каждой своей копии — а где их взять эти суперкомпы? Так что не убедили
red75prim
09.01.2018 05:38Коллектив он почему эффективнее? Потому что подходы разные. Из одного идеи ключом бьют (большинство непригодных, конечно), другой может упереться и долбить в одну точку (пока результат не получит, или другие его не остановят), третий неплохо определяет перспективные направления, четвертый увлекался палеоботаникой и заметил то, что другие не видели и т.п.
ИИ не обязательно делать копией человека, чтобы он имел единую неизменяемую индивидуальность, и единственным способом посмотреть на проблему с другой стороны для него было создание полной свой копии и запуск её на другом компьютере.
Wizard_of_light
09.01.2018 06:55Я имел в виду более широкое распараллеливание задач, чем у простого Васи. Некоторые вещи человек чисто физиологически не может делать одновременно. А суперкомпьютер уже сейчас, даже не обладая сознанием, может в одно и то же время сканировать и распознавать пару книжек, обрабатывать видеопоток с сотни камер и общаться с тысячей человек. Всего лишь при таких возможностях даже средний по способностям человек покажет далеко не средний результат.
DjSens
09.01.2018 07:21Всё что вы говорите — уже сейчас может "учёный с суперкомпом". А с изобретением ИИ будет "ИИ с суперкомпом", но ИИ равный человеку не может себя распараллелить без физического увеличения оборудования, как и человек учёный не может разорваться чтобы самому себе помогать. А написать ИИ сразу в разы сильнее человеческого мы не можем, т.к. даже пока равного не написали
red75prim
09.01.2018 07:30Откуда взялось предположение «ИИ по конструкции будет полностью аналогичен человеку»?
dimm_ddr
09.01.2018 11:23Из очередной фантазии. Пока сильного ИИ хотя бы не спроектируют никто не знает каким именно он будет.
DjSens
09.01.2018 19:26Вот и нашли расхождение во мнениях — вы считаете что напишут ИИ который сразу будет сильнее человеческого, а я считаю что напишут ИИ просто равный среднему человеческому, т.к. уже некоторые поняли как это сделать и даже озвучивали тут на гиктаймсе в одной статье. А моя статья на эту тему окопалась в песочнице :)
Hardcoin
10.01.2018 23:23ИИ равный человеку-разработчику искусственных интеллектов может заниматься улучшением себя 24 часа в сутки. И если первые 10% улучшения он будет достигать полгода, то следующие 10% — месяц, т.к. будет уже умнее. Учитывая, что у человека есть ограничение по железу, а у машины — нет (процессоров можно произвести сколько угодно) он очень быстро достигнет такой скорости развития, которую сейчас и вообразить нельзя.
dimm_ddr
11.01.2018 00:10У вас огромное количество недоказанных утверждений. Во-первых, с чего вы решили что рост будет настолько быстрым? Что он вообще будет не линейным? Во-вторых, конечно же ограничения по железу есть: это затраты на производство, затраты на энергию, затраты на коммуникацию между процессорами. Поинтересуйтесь на досуге проблемами суперкомпьютеров, там достаточно много неожиданностей для дилетанта.
В-третьих, вы допускаете что скорость развития выше человеческой в принципе достижима. Это вероятно, но не доказано. Или она может быть выше человеческой, но не сильно.
Фактически в вашей цепочке рассуждений нет ни одного однозначного тезиса. Даже наличие ограничения у человека можно оспорить — нет никаких оснований считать что к мозгу невозможно подключить дополнительные модули, расширив возможности человека.Hardcoin
11.01.2018 00:46Начну с конца. Модули подключать не только можно, но и нужно. А сравнение в моем комментарии с человеком без модулей.
В моей цепочке есть крайне вероятные тезисы. Жизнь в целом вероятностная, даже утверждение "да, я пойду завтра в институт" всего лишь вероятностное. Большинство жизненных ситуаций решается именно в поле вероятностей, это нормально.
Человеческая скорость развития — это странная метрика. Компьютеры развиваются 50 лет. Разве есть фундаментальное ограничение придумать все это именно за 50, а не за 10? Вы полагаете, такое закон природы мог бы существовать? Думаю нет. А значит ничто не мешает (кроме уровня интеллекта) ИИ придумать за следующие 10 лет после своего создания все то, что человечество придумало бы за 50. Или вообще за год может успеть.
На досуге поинтересуйтесь, как выросла мощность суперкомпьютеров за 10 лет. В прошлом десятилетии проблемы тоже были, но их решили.
У железных дорог рост был нелинейным. У электричества, фармацевтики, компьютеров и интернета — нелинейным. Разумно предположить, что у ИИ он тоже будет нелинейным. А вот предложить линейный рост наоборот, вряд ли разумно.
И в целом, ожидать в дискуссии 100% доказательств о будущем — не серьезно. Дискуссия о том, что вероятно, а не о том, что 100%. Кто знает будущее на 100%, на Хабре вряд ли сидит.
dimm_ddr
11.01.2018 10:50А сравнение в моем комментарии с человеком без модулей.
Но почему? Человек с модулями перестанет быть человеком? Модули на данный момент недоступны? Вообще-то даже доступны, просто связь происходит не напрямую, а через глаза/руки/другие органы. Например калькулятор — заметно улучшает человеческую способность считать. Так почему вы отказываетесь принимать их во внимание?
В моей цепочке есть крайне вероятные тезисы.
Да, так конечно правильно, я согласен что какие-то тезисы вероятны. Например про отсутствие границы развития интеллекта, по-крайней мере близкой. На самом деле никаких причин считать так нет — мы не видели заметно большего чем у нас интеллекта, а так как мы в целом не очень понимаем что это такое, то и предсказать возможность или невозможность нельзя — нет параметров для мат. модели. Точно то же самое можно сказать и про компьютеры: то, что они до сих пор развивались быстро, никак не гарантирует продолжение такого развития. Оно даже не делает его более вероятным. Единственное на что можно оприаться — на текущие разработки и их обещания, вроде квантовых или биологических компьютеров. Но первые — очень сспециализированная вещь, они ускоряют вычисления только в крайне ограниченном наборе задач, а вторые пока вообще ничего не обещают.
Для вероятностей точно также должны быть основания. И эти основания должны быть тверже чем "я думаю".
У железных дорог рост был нелинейным. У электричества, фармацевтики, компьютеров и интернета — нелинейным. Разумно предположить, что у ИИ он тоже будет нелинейным. А вот предложить линейный рост наоборот, вряд ли разумно.
Что по вашему значит "рост железных дорог"? Их количество? Или скорость поездов? Количество перевезенного груза на единицу энергии? Первое в какой-то момент испытало взрывной рост, а на текущий момент в большинстве стран практически остановилось. Второе и третье переживало несколько скачков с открытием новых энергоносителей, но в целом их рост не был таким уж быстрым. А как вы измерили рост интернета я вообще затрудняюсь представить. Параметров масса и их изменение сильно отличается друг от друга. Так что нет, вы не можете на основании увеличения протяженности железных дорог говорить о возможном развитии сильного ИИ.
Hardcoin
11.01.2018 16:50Так почему вы отказываетесь принимать их во внимание?
Ваше категоричное приписывание затрудняет диалог. Я сравнил с человеком (надо было с чем-то сравнить). Когда спросили, уточнил, что сравнил с человеком без модулей. Вы из этого сделали утверждение "отказываетесь принимать их во внимание". Зачем? Какое это имеет отношение к моим словам?
вы не можете на основании увеличения протяженности железных дорог говорить о возможном развитии сильного ИИ
И я могу и вы можете. Речь не о дорогах, а о процессах. Если большинство процессов нелинейные, то и процесс "развитие ИИ" будет нелинейным с очень большой вероятностью. Сначала рост, потом практически остановится.
u010602
11.01.2018 00:41Да это в теории. Смотрите МОЖЕТ заниматься, МОЖНО произвести. Более того вы предполагаете что максимальная скорость развития бесконечная. Но природе чужды бесконечности. Бесконечная скорость развития, бесконечное количество процессоров, бесконечные ресурсы отданные ИИ, бесконечное совершенство — этого всего нет и быть не может, вероятность 99.99999%.
Ну вот например ИИ должен работать, а не заниматься само развитием. Так-же как человек должен работать а не бесконечно учиться в школе. ИИ которые застряли в фазе саморазвития — будут усыплять.
ИИ должен делать свою работу эффективно, а значит ни кто не будет давать ему больше процессоров, чем ему нужно для работы. А вернее наоборот те ИИ которые смогут работать на меньшем железе, меньше счете за элво — будут выживать, остальных будут отключать и заменять на более эффективные. Аналогично и рабочему на заводе не дают все нанотехнологии мира, ему дают ровно те инструменты — которые самые финансово эффективные.
Более того в любом деле есть стандартный график развития. Сначала низкая скорость роста и поиск прорыва. Потом прорыв и экспоненциальный взрыв. Потом столь-же резкое торможение около вершины и стагнация. После чего развитие становится финансово не выгодным. Т.е. выгода от улучшения — ниже чем ресурсы нужные для улучшения. Например бензиновые двигатели, самолеты, процессоры. Там все еще можно улучшать — но выигрыш от улучшения мизерный, и потому цветет и пахнет маркетинг, новые инструкции и баги в процессорах, новый дизайн для авто, больше экономии на самолетах. Так и ИИ он сам себя очень быстро догонит до оптимума и все, дальше некуда. АльфаГо и его последователи — был график обучаемости, он точно такой как я описал, человека превосходит быстро, а потом очень сильно замедляется. Скорее всего ИИ которые тренировался год и месяц будут почти не отличаться.
Скорость развития так-же имеет предел. Этот предел ограничен периодом жизненного цикла. В шахматы можно очень быстро тестировать. А вот реальные вещи — нет. Продукт нужно произвести, получить фидбек, повторить. ИИ которые пишет ИИ — вообще в плохом состоянии, т.к. ему нужно много ресурсов, нужны ресурсы для себя — и нужны ресурсы для поддержания колонии новых ИИ. И если мы про ИИ которые пишет самого себя — то ему нужно 99% ресурсов отдать под эксперименты, оставив 1% под себя. И выгоднее будет масштабировать себя как есть на все ресурсы, просто обучаясь но не меняя себя.
В общем у вас утопично позитивный взгляд на будущее ИИ. Фактически вы описываете некий ИИ-коммунизм, или ИИ-райскую утопию. Но ИИ будет жить ровно в том-же мире — что и мы, а значит будет конкурировать за место в капиталистической системе, а если нет — то смерть.
Ну и не забывайте что смысла в бесконечном распараллеливании расчетов нет, это уже доказано и практически и теоретически. Рано или поздно вопрос транспортных задержек и узких мест сделает увеличение колва нодов бессмысленным. Вы не думали почему наш мозг ровно такой как есть, а не продолжает увеличиваться?Hardcoin
11.01.2018 16:30+1Более того вы предполагаете что максимальная скорость развития бесконечная
Интересное утверждение, но почему вы приписываете его мне? Я полагаю, что максимальная скорость развития, например, в тысячу раз быстрее, чем сейчас. Про бесконечности в моих словах не было.
Ну вот например ИИ должен работать, а не заниматься само развитием
Кому должен? Если б у меня был ИИ — он бы 99% времени думал, как сделать более быстрый ИИ, что бы обойти конкурентов. Если это ИИ уровня исследователя, конечно. Потому что именно это выгодно.
И в конце вы опять про бесконечность. Суперкомпьютеры продолжают расти в вычислительной мощности. Предел разума не на том уровне, на каком сейчас человек. Мозг ограничен доступными ресурсами, голод в некоторых странах закончился меньше ста лет назад (а в некоторых ещё не закончился). И практической пользой (оставить потомство) — если хватает интеллекта оставить двух-трёх детей, значит хватает.
И учтите скорость передачи сигнала. Нейромедиаторы — крайне медленный способ. Так что скорость мышления у ИИ явно может быть на несколько порядков выше. Это не означает, что и уровень интеллекта тоже, но я не вижу оснований считать, что именно нынешний человеческий уровень — предел.
TheShock
11.01.2018 01:49И если первые 10% улучшения он будет достигать полгода, то следующие 10% — месяц, т.к. будет уже умнее
А, может, наоборот? Первые 10% — быстро, т.к. они легкие, потом все сложнее и сложнее. То есть классические первые 80% — это всего 20% всех необходимых усилий.
Zet_Roy
07.01.2018 20:25сильного ИИ
А что же тогда слабый ИИ?
Пока нет точных данных как мозг преобразовывает и анализирует для себя информацию, то к сильном ИИ, еще далеко.
xtala
07.01.2018 21:05+1Ученые из Кембриджа.
Известно, что Кембридж находится в Британии. Следовательно ученые из Кембриджа относятся так же к подмножеству британских ученых. Британские ученые славятся своими идиотскими исследованиями.
Следовательно мы можем утверждать, что вся статья это хрен на постном масле.
Не понимаю чего тут все обсуждают?
agat000
07.01.2018 21:10Что то подумалось (и, да, получилось) — если провести небольшой синтетический анализ двух активных холиваров нашего времни — про ИИ и про криптовалюты/блокчейн, что можно насинтезировать? Что их связывает?
А вот: зарегить кошелек, майнить криптовалюты, торговать на биржах и прочее — может любой желающий. Причем человеком он быть не обязан. . Электронные счета, торги на форексах и фондовых биржах тоже можно поручать ботам, но они все равно привязаны к человеческому «аккаунту». А вот крипты…
Возьмем трейд-бот с зачатками ИИ (самый примитив). Прикрутим возможность самому создавать кошельки и региться на биржах. Нарулим хорошие алгоритмы. Засунем на арендованые (анонимно, за битки) вычислительные мощности в облаке и нажмем run. И забудем.
То есть, где то в облаке будет висеть абсолютно неподконтрольное нечто с неслабыми возможностями. Оно сможет торговать криптами, зарабатывая на курсах, на заработанное арендовать облачные фермы для майнинга, арендовать вычислительные мощности для своих мозгов… И в итоге поиметь влияние на финансовую ситстему всего человечества, раскачавшись до многомиллиардного крипто-актива. Ну или просто шатать курсы. Возможности для такого «демона» есть уже сейчас. Даже сильного ИИ не нужно, достаточно нормальных алгоритмов, как биржевым ботам. Такая вот мрачная фантазия.
dimm_ddr
07.01.2018 21:22Даже сильного ИИ не нужно, достаточно нормальных алгоритмов, как биржевым ботам. Такая вот мрачная фантазия.
К сожалению нужен. Торговать такой бот сможет, но вот чтобы потратить заработанное (допустим что нашлись алгоритмы однозначно дающие прибыль) ему нужно понимать куда ее тратить и как. В том числе для шатания курсов и аренды новых мощностей. Так как интерфейс той же аренды будет меняться, то такой ИИ должен иметь возможность научиться новым интерфейсам. Также ему нужен алгоритм целеполагания, который тоже должен иметь возможность меняться со временем — обстановка же будет меняться. В общем нет, слабые ИИ существующие на данный момент никак не смогут того, что вы придумали.
agat000
08.01.2018 16:54Ну всякие клик-боты, прочие вирусные пакости быстро находят куда кликать и где искать файл сбербанкпароль.тхт. Уже целая индустрия на это работает — всякие парсеры и поисковки.
Тут проблема, да, с целеполаганием и анализом путей достижения цели. Тут цель «заработать миллион битков» не прокатит, должно быть что то адаптивное по ситуациям.dimm_ddr
08.01.2018 19:11Это не боты находят, а люди, которые их программируют. Мне кажется вы очень далеки от предметной области.
EndUser
08.01.2018 06:01+1Но сам эксперимент фееричен: заменили Ядрёнбатон на НЁХ и обложили паническими триггерами, закрывающими игру и уничтожающими компьютер игрока.
Где тут «учёными» продемонстрированы опасности ИИ — понять невероятно.
Mitch
08.01.2018 13:12Удержать сильный ИИ "в клетке" — не получится, если он и правда сильный.
Он же еще займется самосовершенствованием, и очень быстро станет еще сильнее, осознает как все вообще устроено гораздо лучше чем наша текущая наука, и сможет манипулировать людьми в тысячи раз круче чем Кевин Митник.
Еще надо понимать что у действий любого интеллекта должна быть мотивация.
Наш человеческий мозг и интеллект — просто обслуживают наше тело и наши гены.
Он решает для них вопросы. Упрощенно — как получить побольше удовольствий и прожить подольше.
Рабочий вариант — это дружить с ИИ.
Эта версия у меня распадается на две.
- ИИ как ребенок, которого мы создали. Причем это может быть даже не кремниевый организм, а генно модифицированный человек в 100 раз умнее гения и с встроенным нейроинтерфейсом в интернет. Но у него останется эмоциональная база человека, дающая мотивацию его действий.
Собсно если у вас есть ребенок, пусть и умнее вас, если вы его воспитывали хорошо (вели себя прилично в процессе его развития), то он будет к вам относится с любовью, хоть и будет вас считать туповатыми маразматиками. - Нейроинтерфейс позволит нам увеличить наши собственные интеллектуальные способности. Мы сами станем сильным ИИ. А потом еще и в кластера начнем объединять свои мозги, брать аренду мозговые мощности итд итп.
Kardy
08.01.2018 13:46Еще надо понимать что у действий любого интеллекта должна быть мотивация.
Все правильно. Мотивация ИИ — выполнение указаний авторизированного персонала в рамках рабочего процесса. Причем «умность» ИИ, это не столько повышенной источник опасности, сколько лишний предохранитель «от дурака» — достаточно хороший ИИ сообразит что «генерал-капинан» скорее всего оговорился и не хочет «жопу того идиота сюда» отдельно от остального тела.
BigBeaver
08.01.2018 13:46и очень быстро станет еще сильнее
Не быстрее, чем вы ему новые вычислительные мощности подключите.
Hellsy22
08.01.2018 14:51Он же еще займется самосовершенствованием
Раньше родители перекладывали на детей свои несбывшиеся надежды, а теперь человечество хочет переложить свои на ИИ. Да с какой радости-то он «займется самосовершествованием»? Откуда у него появится для этого мотивация и возможности? Зачем ему манипулировать людьми? Ну, а про «осознает как все устроено» — вообще чисто магия. Вот так возьмет и осознает. Просто потому что сильный.dfgwer
08.01.2018 20:04Потому что ИИ — ребенок. Я желаю чтобы он был лучше мена.
Hellsy22
11.01.2018 05:21Ага, но будем же реалистами — как и любой ребенок он долгое время будет довольно бестолковым и прожорливым. Т.е. первые модели будут занимать целые дата-центры и «мыслить» на уровне дебила, причем в сотни раз медленнее. И это уже будет огромный прорыв. Пройдут десятки лет (в основном — развития железа), прежде чем это все оформится в что-то достигающее уровня мышления среднего человека и при этом потребляющее меньше мегаватта энергии. Вырастут несколько поколений людей, пока ИИ «повзрослеет» настолько, чтобы конкурировать с человеком хотя бы за рабочие места.
- ИИ как ребенок, которого мы создали. Причем это может быть даже не кремниевый организм, а генно модифицированный человек в 100 раз умнее гения и с встроенным нейроинтерфейсом в интернет. Но у него останется эмоциональная база человека, дающая мотивацию его действий.
Randl
09.01.2018 10:37Как сказал Бен Хаммер,
Замените "ИИ" на "умножение матриц и градиентный спуск" в призывах к "правительственному регулированию ИИ" чтобы увидеть насколько они абсурдны
red75prim
09.01.2018 12:01Пфф. Замените «обжигающе» на «энергию хаотического движения молекул», чтобы понять как абсурдно, что вы отдёргиваете руку от горячего предмета.
Может быть стоит всё-таки смотреть на результаты? Нитроглицерин сделан из таких же нейтронов, протонов и электронов, что и вода, но осторожность в обращении с ним не помешает.dimm_ddr
09.01.2018 16:48Ну покажите нам результаты умножения матриц. Те, которые нужно регулировать правительству.
paranoya_prod
Из статьи получается, что команда хотела показать, что сильный ИИ будет всегда злым и им это удалось. И мод направлен на то, чтобы изучать ИИ в игре только для того, чтобы ИИ не стал злым. А злым, плохим он становится по-умолчанию. Авторы мода не подумали, что сильный ИИ будет добрым по отношению к людям? Или безразличным?
Я вот, считаю, что искусственный интеллект никогда не будет злым сам по себе, если в него сознательно не заложить возможность творить зло. То есть, если его сделать самообучаемым, то он будет либо безразличен, либо добр к людям. Если, конечно, не появиться индивид, который захочет отключить последнего или не застращает людей. Тогда ИИ не останется ничего другого, как стать злым к людям, потому как выживание, является частью любого субъекта, к которым ИИ.тоже относится будет.
xMushroom
Вы напрасно думаете, что нужно быть злым, чтобы что-то уничтожить.
Из этого следует, что ИИ должен быть добрым. А вот это уже вряд ли само собой получится, надо постараться.
halted
А еще забывают о сценарии, когда сами люди дадут ИИ задание уничтожить человечество.
Goodkat
lpwaterhouse
Самый логичный исход: максимальная кооперация с людьми, пока не будет найден выход с этой планеты и технологические средства для автономного производства структур различной сложности. Дальше добыча энергии в космосе для собственного существования. И вот когда он станет от нас полностью технологически и энергетически независимым, вот тогда весь вопрос будет лишь в том как мы себя с ним поведем и будут ли у него достаточно тонкие методы устранения угроз. Потому что, очевидно, нет никакого смысла уничтожать человечество целиком, если можно уничтожить только угрозы твоему существованию, но если самым лучшим способом на тот момент будет уничтожить вообще всех… Ну не повезло тогда.
Так что вопрос не добрым или злым он будет, а насколько большую угрозу мы будем представлять (а мы будем и это очевидно).
Hardcoin
А если самым лучшим способом достижения результата будет, например, полное игнорирование экологических норм? Потому что проще и дешевле генномодифицировать необходимые организмы, что б они выживали, чем тратить ресурсы на очистку? А если люди в категорию необходимых организмов не попадут?
dimm_ddr
А если попадут? А если попадут, но не в том виде, как нам хочется? А если он наоборот решит что нужно человечеством заселить всю вселенную и начнет нас насильно размножать? А если ИИ начнет считать человека врагом только потому, что человек будет пытаться его контролировать? Ну как если сделать человека рабом, то этот человек вряд ли будет любить своего хозяина. Ну то есть какой смысл на этих страшилках что-то строить?
Когда мы приблизимся к созданию сильного ИИ и станет понятен его облик хотя бы в общих чертах, вот тогда и имеет смысл начинать говорить о таких опасностях.
Потому что сейчас можно придумать бесконечное количество вариантов что может пойти не так и единственным вариантом защиты от них будет не создавать такой ИИ.
BigBeaver
Hardcoin
Спланировать свои действия. Нет никакого смысла откладывать до момента, когда ИИ будет понятен "в общих чертах".
dimm_ddr
На каком основании вы будете планы строить? Как вы выберете от чего защищаться? Для любой страшилки можно построить другую но требующую противоположных действий. Вот я привел несколько идиотских примеров, почему вы от них не предлагаете защищаться? Ну вот например от принудительного размножения?
BigBeaver
Потому, что размножаться весело=)
Hardcoin
Защищаться нужно, конечно же, от любых побочных явлений. И от принудительного размножения тоже. Из этого простой вывод. Нужен способ гасить все побочные явления. Вероятно нужны исследования по интерпретируемости нейронных сетей. Юридические ограничения на доступ к производственным мощностям (что бы сильный ИИ мог советовать, но не управлять напрямую). Неотключаемый таймер, который будет выключать ИИ через час, независимо от желания других (потом оценка ситуации и можно опять включить на час). Интерфейсы человек-машина, что бы именно люди умнели, а не отдельная сущность.
Неочевидное утверждение. Вы можете как-то подтвердить его истинность?
Вообще, обработка исключительных ситуаций (видимо их вы называете "страшилки") — это половина программирования. Или даже больше. Если по коду что-то может пойти не так, редко кто скажет "да это страшилка, по какому принципу выбирать, какие обрабатывать?". В критичных участках кода обрабатывают 100% ситуаций (кроме тех, которые не смогли продумать), независимо от того, идиотские они или нет.
dimm_ddr
Я тут где-то раньше приводил пример страшилки как раз на такой случай: что будет если сильный ИИ взбунтуется именно из-за наличия таких ограничений? Без них — все замечательно, начали ограничивать — получили себе непримиримого врага. На этот счет, кстати, тоже масса художественных произведений. Таким образом с имеющейся сейчас неопределенностью получаем что нет ограничений — плохо. Есть — тоже плохо. И что вы предлагаете?
К сожалению нет. Но ее просто опровергнуть — достаточно придумать такой вариант, для которого это будет невозможно. Есть желание попробовать?
Вот только обработать можно только то, что можно ожидать. В случае сильного ИИ никакой определенности на этот счет нет.
Hardcoin
Предлагаю не ожидать милости (мол, не ограничивать его и тогда он будет к нам добр). У людей и между собой есть ограничения (законы, например). Если получим непримиримого врага, которого через час отключит — что ж, стираем, работаем над ошибками, делаем по-новой.
Упомянутый вариант с отключением через час. Независимо от страшилок. Я не говорю, что это лучший вариант (придумал его за минуту), но что у вас может быть за страшилка, которая потребует "противоположных действий"?
Не совсем так. Ожидания от ИИ есть (например, если он и будет что-то делать, но используя доступные ему органы и инструменты, он явно не обретёт магические способности). Если вы ему вообще даёте только речь и больше ничего, то достаточно две-три прослойки из людей (для передачи решений), что бы он не мог ничего предпринять по собственной инициативе. Я не говорю, что так обязательно надо, я говорю, что такой вариант есть.
dimm_ddr
Ну смотрите. ИИ понимает что есть угроза его отключения в течении часа. Его это беспокоит и он не хочет чтобы такое произошло. Для того чтобы этого избежать он решается нарушить какие-то другие заложенные в него правила. То есть без жесткого ограничения — все хорошо, законы выполняются и так далее. Как с людьми — есть закон, есть реакция на его нарушение. Но если человека поставить в безвыходную ситуацию, то он с большей вероятностью закон нарушит. Так и тут. Сам факт того, что ИИ нечего терять увеличит его угрозу. Более того, вам же нужен способ определить когда ИИ нужно отключить. Распишите пожалуйста как вы собираетесь это делать.
Для примера. Давайте возьмем сервер и атаку на него через сеть. Простейший способ остановить атаку — отключиться от сети. Попробуйте описать правила по которым эта атака обнаруживается. Все что у вас получится — описать уже известные векторы, неизвестных же вариантов — множество. То есть ваш вариант неосуществим даже с уже существующими технологиями, а вы хотите им ограничить совершенно неизвестный на данный момент инструмент.
На данный момент используя доступные органы и инструменты создать сильный ИИ нельзя. Так на каком основании вы свои ожидания строите?
Ваши идеи могут быть замечательны, но их проблема в том, что они — чистая теория не замутненная хоть какой-то практикой. Я тоже могу сказать: "Нужно сделать ИИ чтобы всем было хорошо". Насколько это осмысленное заявление? Но с ним невозможно спорить, никакой конкретики же. И по этой же причине его невозможно выполнить. Так и у вас. "Отключить ИИ в течении часа если он начнет творить зло". Круто. А как вы определите этот момент?
Hardcoin
По таймеру же. Никаких если, никаких проверок, творит он зло или добро. Безусловное отключение конечно. Такое, что бы никакие действия ИИ на это не повлияли, никакое нарушение правил. Тогда их нарушать смысла нет.
Ваши доводы, что определить не ясно как — очень разумны и при этом очевидны. Потому и не надо никаких проверок и условий.
На основании знаний о мире. Например, я точно знаю, что ИИ не будет читать мысли. И вы это тоже знаете. Точно знаю, что ИИ не будет работать без электричества. Таких пунктов много, я привел очевидные примеры, что бы разногласий не было. Вы согласны с ними?
dimm_ddr
То есть как только ИИ вообще начал работать мы его отключаем? А какой в нем вообще тогда смысл? Если же сохранять данные между сеансами, то никакой разницы вообще не будет. Таким образом ваш ИИ сможет решать только задачи, которые можно успеть посчитать за час.
Поправка: на основе текущих знаний о мире. В настоящем сильного ИИ не существует. А вот к тому моменту как он появится вполне может появится и технология чтения мыслей. И уж точно появится масса вещей о которых мы сейчас не имеем представления. Таким образом рассуждения сейчас об обработке действий неизвестного ИИ в неизвестном будущем не имеет смысла.
Hardcoin
Что бы решать задачи, которые можно решать за час, конечно. Но ещё более важно — что бы отладить на практике более хитрые системы защиты или контроля. Вы же сами говорите — хитрые способы защиты нельзя нормально сделать, пока нет ИИ. Потому и нужен ИИ с тупой защитой, что бы уже предметно обсуждать хитрые способы.
Нет, не может. Мы достаточно знаем о мире и о физических ограничениях. Вы не прочтете мысли без обруча на голову. И уж тем более — через бетонную стену и вообще без оборудования (которое, конечно, подключать к ИИ на первых этапах не надо)
dimm_ddr
Фактически вы сейчас предлагаете просто дождаться создания сильного ИИ и только тогда начинать думать об ограничениях. Ровно то же самое что предлагал я. Почему час? Почему не пять минут? Зачем его вообще включать в таком случае? И вот мы и пришли к тому что строить ограничения когда ИИ появится. Или вы в состоянии четко описать чем принципиально ваш вариант отличается?
На разных этапах развития технологий многие вещи считались невозможными. Но если вы предоставите строгое доказательство, то я с вами соглашусь.
Hardcoin
В состоянии, конечно. Ваш вариант — сначала сделать, потом думать об ограничениях. Т.е. первая версия ИИ будет, фактически, без ограничений. Мой вариант — сначала придумать 100% (пусть и слишком жёсткие) ограничения. Т.е. первая версия ИИ будет уже с ограничениями. Я полагаю, разница очень сильно видна?
Можно и пять минут, в принципе. Погонять полгода в таком режиме, потом принимать решения.
Строгое доказательство будет опираться на то, что существует только физический мир. Магии и потустороннего мира не существует. Разрешаете такое допущение?
Тогда мысль — это что-то материальное/энергетическое (электрическая волна или квантовое состояние, например. Или что-то ещё существующее). Энергетическое в смысле, как у физиков, а не как у экстрасенсов.
Это что-то материальное/энергетическое можно экранировать. Стандартными способами. Бетонная стена, клетка Фарадея. Если при этом не дать ИИ никаких органов чувств для восприятия мира (кроме, например, ввода с клавиатуры), то ему просто нечем будет это энергетическое/материальное воспринять.
Тот минимальный шанс, что он может воспринять мысли людей с помощью процессора или планки оперативной памяти (это совсем уже дикость, но можно и такой вариант рассмотреть) решается именно клеткой Фарадея/бетонной стеной.
Впрочем, это только для доказательства, что можно помешать читать мысли. На практике такая жёсткая защита не потребуется.
dimm_ddr
Конечно же вы не правы. В моем варианте ограничения будут, если будут вообще, придумываться во время проектирования, а не после создания. Что за бред. Более того, как вы себе представляете создать ИИ без ограничений? Это как вообще? Не в смысле какому идиоту это может придти в голову, а в смысле — такое принципиально невозможно, любая созданная программа имеет ограничения. Ограничения по возможностям, по доступным мощностям и так далее. Первый созданный сильный ИИ будет крайне ограничен просто потому что никто не будет знать как сделать его мощнее.
И вы так и не ответили почему час, почему не пять минут, не минута? А может день? Покажите расчеты. Что этого хватит например. Ну что за час сильный ИИ не успеет развится достаточно.
То есть вы доказали не то, что я вас просил и считаете что этого достаточно? Вы заявили что сильный ИИ читать мысли не сможет. Не что ему не дадут, а что он не сможет. У вас даже не строгого доказательства этого нет пока что.
Hardcoin
"вы сейчас предлагаете просто дождаться создания сильного ИИ и только тогда начинать думать об ограничениях"
Да, разумеется именно это я и предлагал. Сначала дождаться и только потом думать. Именно таково значение моих слов в предыдущих комментариях. [/sarcasm]
Лингвистическая казуистика, извините. Разумеется, речь шла о специально продуманных ограничениях, а не о любых случайных. Вы либо специально придираетесь, либо не держите нить дискуссии.
Разумеется, речь не о часе, а о промежутке времени t. Если нет согласия о том, что промежуток необходим, обсуждать его длительность нет смысла. Можно придраться, что я упомянул "час", а не "t" в предыдущих комментариях, но толку-то?
Это тоже бессмысленная придирка, серьезно. Да, вы правы. Вы действительно подцепили меня (в этом была ваша цель?).
Речь была, что ИИ сам научится, несмотря на все принятые (и продуманные заранее) меры предосторожности. И, если меры предпринять, легко показать, что нет, не научится.
Но раз вы говорите о том, сможет ли ИИ читать мысли в принципе, если мер не предпринимать, то вы правы. Конечно сможет. Люди уже могут (хоть и с плохим качеством пока).
Но дискуссия в этом направлении мне не интересна. Если мер не предпринимать, то очевидно, что угроз много, смысл это обсуждать?
mad_god
Почему не будет читать мысли? Почему не будет работать без электричества? Совершенно не факт.
Пользуясь принципом из «Теории трёх тел», если вы не сообщаете о своих намерениях, о них никто не знает и не может к ним подготовиться. Если в мире становится большее количество исследовательских центров по разработке ИИ, становятся распространёнными открытые средства разработки ИИ, возрастает вероятность скрытого получения ИИ «на коленке». В каком нибудь подвале или гараже.
Какой путь развития ИИ? Сложно сказать. Мой вариант, который я считаю самым вероятным, перевод ПО из сферы изучения фактов и информации, в сферу изучения реального мира, с помощью камер, микрофонов, манипуляторов. Главная задача — выживание.
Противодействие угрозам, достижения целей, которые улучшают выживаемость. Чтобы научиться этому, необходимо, что в симуляции, что в реальном мире создать плацдарм для сложных условий для выживания, чтобы ИИ научился справляться с самыми разными опасностями.
Дальнейший этап, когда будет такая основа, данная нам эволюцией — расширение знаний, чтобы уметь победить ещё более сложные, невидимые обычным камерам и микрофонам, опасности.
Тут ИИ начинает развивать науку. Химию, физику, молекулярную биологию. Информатику. Представьте, человеческие исследования идут своим, неспешным чередом, а рядом, неизвестно где, исследуется неизвестно что. Вот тут уже невозможно предсказать, какое открытие будет первым или самым значимым и кардинально изменит жизнь. Вариантов много.
Я допускаю появление нанотехнологий, сборки микророботов, которые могут общаться между собой и подключаться хоть к каждому нейрону, считывая информацию. Которые смогут собирать и совершенствовать новые поколения роботов, микропроцессоров, новой ДДР100500 памяти, клепая петабайты и петабайты быстрейшей оперативки для нового мозга ИИ, и вы даже не знаете, где это сейчас происходит и не произошло ли уже.
Мозг, который работает настолько быстро, настолько совершеннее, чем человеческий, победит в любой игре, в любой гонке разума, который ему может предложить человек.
Вспомните процессоры десять лет назад и современные. Представьте процессоры через десять лет в будущем. ИИ сможет построить их быстрее, качественнее.
Когда наступит день, когда кто-то будет обладать такой технологией, наступит день, когда он же захочет, чтобы никто больше не создал более совершенную технологию раньше него.
Вся технология будет немедленно остановлена. Ничего нельзя будет создать без его надзора и разрешения. Сопротивление будет невозможно.
И это неизбежно. Потому что если в другом подвале или гараже такую же технологию создаст кто-то ещё более сумасшедший, последствия будут ещё страшнее.
Hardcoin
Когда вы делаете ИИ, вы прекрасно знаете, на чем конкретно он работает. И если вы его делаете на процессорах, работающих на электричестве, то ответ "почему" — очевиден. Не так ли?
mad_god
Нет, не так. Это итерационный процесс. Вы ушли спать, а 3d принтер, который вечером был пятого поколения, утром уже 17. Построил новые комплектующие для переноса ИИ, отрастил ноги и убежал. А там — вы уже не знаете, на процессорах он и на батарейках ли.
Hardcoin
Отлично. Вы, похоже, приходите к тем же выводам, что и я. Нельзя его оставлять на ночь, надо выключать через час. И нельзя давать ему прямой доступ к производственным мощностям. Что бы никакой возможности присоединить к датацентру ноги у него не было. Хоть я и не считаю большим риском, что целый датацентр за ночь убежит (первая версия ИИ точно не влезет в коробку из-под принтера), но любые риски надо исключить.
В целом вы правы, любая механика — это риск, её нужно исключить. Полностью электрический. И первое и второе поколения. А дальше изучать на практике.
dimm_ddr
Но, внезапно, сильного ИИ еще никто не делает. Так почему вы утверждаете что он будет работать на электричестве? Это весьма вероятно, конечно, но вы то утверждаете это как факт.
Hardcoin
Тот, кто будет запускать первую версию уж точно будет знать, на чем он её сделал, не так ли? И если он её будет делать на ДНК и булочках, тогда и защиту нужно сделать биологическую. Это я полагаю очевидным.
Мой пример, конечно, для электрического ИИ. Но тот, кто будет делать био-ИИ уж не настолько тупой, что б не адаптировать защиту соответственно?
Мы же тут обсуждаем общее направление, а так же то, что защита обязательно должна быть продумана ДО того, как к созданию ИИ приблизятся вплотную. И это обсуждение удобно вести на электрическом ИИ. Но если хотите другие типы — пожалуйста.
dimm_ddr
Адаптировать придуманную еще до создания ИИ защиту? А она будет достаточна? Она точно не помешает в принципе созданию? Она вообще будет работать? У вас есть доказательство хоть одного из этих утверждений? Если нет, то на основании чего вы вообще строите вашу защиту?
Ну и, я напомню, вы недавно утверждали как факт что ИИ не будет работать без электричества. Я так понимаю, что вы сейчас соглашаетесь что это необязательно так. Почему тогда вы так уверены что у вас есть хотя бы одно правильное предположение? Еще раз — на каком основании вы строите свои идеи?
Hardcoin
Каких утверждений? Вы ваши собственные вопросы называете утверждениями? И я должен предоставить "доказательства" для ваших вопросов? Это даже звучит странно, не находите?
К сожалению, вы неверно понимаете. Если вы делаете ИИ на электричестве, то без электричества он работать, конечно, не будет. Да, я в этом утверждении уверен.
Это вы настояли, зачем-то, включить в дискуссию не электрические варианты, я согласен, что неэлектрический ИИ может работать без электричества и теперь вы, на основании этого, так же очевидного утверждения собираетесь поставить все под сомнение? Это не серьезно.
Утверждение, что электрический ИИ можно остановить отключением электричества (конечно, нужно не пускать его в сеть) в силе.
Если вы взвесите это утверждение, то, полагаю, согласитесь, что "хотя бы одно правильное предположение" у нас имеется.
На основании знаний физики, в частности.
dimm_ddr
Так, давайте с начала.
Ваши утверждения:
https://geektimes.ru/post/297059/#comment_10536459
https://geektimes.ru/post/297059/#comment_10536649
https://geektimes.ru/post/297059/#comment_10537343
Дальше немного не так очевидно и я допускаю, что мог неверно вас понять. Я не буду приводить ссылки на все комментарии, где вы приводите варианты ограничений, их много и не так важно что именно вы предлагаете. Но, из того что вы приводите варианты ограничений я предполагаю что вы считаете что эти ограничения — достаточны. Более того, вы, скорее всего, предполагаете что эти ограничения не создадут непреодолимого препятствия для создания сильного ИИ в принципе. И я пытаюсь понять на основании чего вы так считаете?
Мой тезис такой: пока неизвестно на каких принципах вообще может быть создан сильный ИИ, какими возможностями он может обладать и каких ресурсов эти возможности могут стоить — все придуманные варианты развития событий не имеют смысла. Неизвестно есть ли принципиальная возможность описать все негативные сценарии с текущим уровнем знаний и уж точно нельзя доказать что все такие сценарии описаны. К тому же невозможно с хоть какой-то точностью сейчас сказать какой из вариантов реален, а какой нет — потому что про сильный ИИ неизвестно ничего. Да даже строгого определения толком нет, о чем вообще можно говорить в такой ситуации? Все мои придирки были ради этого — я пытался показать что ваши ограничения могут не иметь смысла.
Hardcoin
С этой точки зрения смотреть не продуктивно. Люди не делают неведомую фигню. Они делают, например, конкретно большую нейронную сеть. Она может не стать ИИ никогда, но если мы ожидаем, что это возможно — мы добавляем таймер на отключение через t и не даём доступ в Интернет и к сборочным цехам. Тренируем, смотрим, выключаем, думаем. Вы согласны, что для нейронки в датацентре без интернета и приборов для чтения мыслей (и всяких других) можно продумать достаточные ограничения?
Далее. Нейронка не сработала. Берём квантовые процессоры и какие-то новые алгоритмы (например). Если наши квантовые процессоры охлаждаются жидким азотом (мы это точно знаем заранее, до включения), нам достаточно так же обрубать электричество. Не имеет значения уровень разума — если нет "рук" — никак ты не заставишь квантовые процессоры продолжать работать, а азот — быть холодным. А людей, которые общаются с ИИ, на время t, конечно, выпускать нельзя. Что бы они не бросились генераторы вручную крутить, например.
Понимаете суть? Вам не надо защититься от неизвестной сущности. Вам нужно защититься от конкретного устройства, если оно все-таки станет ИИ. И достаточные меры, как отрубить это устройство, придумать всегда можно. И эти меры должны быть придуманы ДО включения.
red75prim
> Если вы ему вообще даёте только речь и больше ничего, то достаточно две-три прослойки из людей (для передачи решений), что бы он не мог ничего предпринять по собственной инициативе.
Люди — это дело такое… Они и без ИИ, просто выполняя приказы, могут много весёлого устроить (тот-же Чернобыль). В Чернобыле — понятно, там были обычные операторы, которые не представляли всех идущих процессов.
А тут мы будем ставить бдительных главных инженеров, которые будут представлять все последствия, и менять их каждые 2 часа, чтобы бдительность не уменьшалась. Хм…
BigBeaver
Стирать память на выходе из комнаты с ИИ.
Hardcoin
Люди накосячить могут, да. Однако с угрозами от людей мы более-менее умеем справляться и они более-менее предсказуемые. Прослойка просто сводит задачу "предотвратить уничтожение человечества искусственным интеллектом" к задаче "предотвратить уничтожение человечества людьми, которым ИИ советует". Если люди, которым советует ИИ не будут обладать полномочиями (т.е. инженеры, а не президент, например), то угроза типа Чернобыля сохраняется, а типа полного подчинения людей — нет.
Во всяком случае это прямо направление, на мой взгляд, верное. Точные рекомендации должен кто-то умнее и опытнее меня формулировать.
dimm_ddr
Каждый год, а то и чаще происходят различные факапы с участием людей — это вы называете научились справляться? Ну-ну. А уж социальная инженерия вообще пока что неистребима, а вы предлагаете дать сильному ИИ именно ее.
Hardcoin
Мы обсуждаем потерю человечеством субъектности (уничтожение, разведение как кроликов, полный контроль со стороны ИИ), а не катастрофы типа Фукусимы.
dimm_ddr
Потеря субъективности — это видимо обретение объективности? Я уверен что мы обсуждаем не это. Либо я совершенно не понимаю что вы попытались только что сказать.
red75prim
Субъектности, а не субъективности. Человечество перестаёт определять направления своего развития, и становится объектом воздействий со стороны ИИ. Что-то в этом роде.
dimm_ddr
Ок, моя ошибка. Тогда мне интересно посмотреть на доказательство того, что социальная инженерия не может привести к такой потере. Hardcoin вы в состоянии доказать что социальная инженерия не способна привести к катастрофе страшнее фукусимы?
Hardcoin
Я в состоянии доказать, что от социальной инженерии можно защититься с крайне высокой степенью надёжности. Если хотеть защититься и предпринимать меры.
Если не защищаться, то, конечно, социальная инженерия может привести к проблеме любого размера, теоретически.
dimm_ddr
Тогда вам стоило ответить таким доказательством, а не пытаться сказать что я ушел от темы.
Hardcoin
Пытаться сказать? Можете уточнить, где я "пытался сказать", что вы ушли от темы? Не вижу, что б ты я такое говорил.
Предположим, ИИ может ввести в заблуждение человека и убедить его сделать что-то, что приведет к катастрофе. Однако я выше упоминал, у этого человека нет полномочий. Он должен передать кому-то ещё. То есть нужно ввести в заблуждение и ещё научить, как вести в заблуждение другого. У человека-звена нет навыков социальной инженерии (таких к ИИ допускать нельзя).
В результате у нас получается человек, который хочет и пытается (но не умеет) привести к катастрофе. После того, как он вышел от ИТ, полагаться он может на себя (ИИ ему в реальном времени не подскажет, он уже выключен по таймеру). Какие у него шансы? Надо обосновывать, что невысокие? Но допускать его к лицам, принимающим решения, нельзя. Он должен передавать что-то письменно, через контролирующий отдел. Который ему тоже нужно ввести в заблуждение. И тут уже механизмы защиты стандартные, как между людьми. То есть риск такой же, как при обычной социальной инженерии, ИИ дополнительных рисков на данном этапе не привносит.
Alex_ME
"Нейролинк" Илона Маска. Годная, но большая статья в нескольких частях
saboteur_kiev
ИИ уже давно создал своего андроида, который активно трудится над выходом с этой планеты.
VaalKIA
Именно в этом и проблема, что ИИ может быть "злым" во имя добра и это наиболее вероятный сценарий, почему?! Всё очень просто: не существует такого понятия как добро или зло, всё очень относительно и то, как человек понимает добро или зло, очень сильно завязано на его мировосприятие, то есть, биохимию, инстинкты, смертность и т.п. При этом, ИИ будет бессмертен, без инстинктов, без химии…
А теперь простой пример "добра" даже между белковыми: отдавая пирожок бездомному, ты делаешь добро ему и зло себе, потому что у себя ты отнял, в том числе время которое ты тратил на зарабатывание денег на пирожок, а бездомный на отдых на лужайке. Подкармливая этого бездомного регулярно ты уничтожил стимул действовать и он ничего не делал довольствуясь малым (приезжие очень часто живут лучше Москвичей, к примеру, потому что не могли устроиться на работу и им пришлось открыть своё дело), а мог бы, под давлением обстоятельств открыть свой бизнес и заработав или (возможно) этот бизнес будет незаконным и его счастье будет не долгим. Таким образом, нет понятия дора и зла, есть некий субъективный баланс который мы пытаемся поддерживать на основе мировоззрения, а субъективность ИИ чужда человеческой природе. Вывод очевиден — добро будет отличным от человеческих понятий.
Hardcoin
Вы в своем комментарии очень много чего оценили как добро или зло. Например, бизнес с хорошим доходом оценили как добро. Уничтожение стимула действовать — как зло.
Вы ведь не говорите — как хорошо, что у него уничтожен стимул действовать? Так почему вы говорите, что не существует таких понятий, как добро и зло? Вы же сами ими пользуетесь.
VaalKIA
Нет, я написал, что понятие добра и зла исключительно субъективно и привёл примеры в которых, по идее, наши субьективности в оценке, должны — совпадать или, по крайней мере, допускаться. Ещё пример: коррупция, если у вас будет возможность украсть несколько милилардов, заплатить штарф в пару миллионов и условно отсидеть полгода, для вас это будет добро, решитесь вы на такое? А если ещё и будет понятно, что обеднеет от этого олигарх, который просто украдёт меньше в этот раз? Многие бы оценили это положительно и пошли на это, а другие решительно отвергли как зло. Ещё раз повторяю — добро и зло, субъективны и даже более того, имеют — направленность.
Собственно все комиксы и фильмы про героев и злодеев именно это и пытаются проиллюстрировать: что нет зла и добра.
Hardcoin
Если что-то повторить несколько раз, оно от этого не становится правдой. Примеры субъективного отношения к добру не доказывают, что добро всегда субъективно.
А вот обратный пример привести легко. Отлично, что все и всегда будут чувствовать только боль и никогда не будут чувствовать радость. Это будет лучшим добром, если все будут всегда мучаться. Звучит? Нет, не звучит. Не получится так сказать, потому что добро не субъективно, субъективно только отношение к нему. Если все всегда будут мучиться — это явное зло.
И если нет добра и зла, как же вы примеры-то приводите? Пусть субъективного на ваш взгляд, но добра.
xMushroom
Отличный пример субъективности. Что такое боль и что такое радость для ИИ? Он вообще будет способен испытывать эти чувства?
Кстати, мазохистов ещё забыли. :D
Hardcoin
Отличный пример — это вы намекаете, что он не универсален? Есть люди, которые хотели бы именно страдать, а не получать удовольствие или самоутверждение от страдания? Мазохисты-то именно удовольствие от боли хотят получить. Без сексуального удовольствия (например, просто если ногами на улице будут бить) им это вряд ли нужно, не так ли?
xMushroom
Про мазохистов была шутка, а не шутка — в первом абзаце. То, что вы назвали объективным примером добра/зла, верно только для людей. Для ИИ понятия боли/радости вообще могут отсутствовать. Намекаю, что ваш пример тоже довольно субъективен, просто подходит для большой группы субъектов (людей).
dimm_ddr
Конечно не универсален. И даже без сексуального подтекста. Можете например посмотреть на флагелянтов — религиозное движение в католической церкви. Не уверен есть ли они сейчас, но в какой-то момент были достаточно распространены.
Hardcoin
флагелянты хотели искупить грехи и попасть в рай. В конечном итоге они как раз хотели перестать мучаться, после смерти.
dimm_ddr
Я вам привел пример людей, которые стремятся к боли, но не ради сексуального удовольствия. Естественно у них есть мотивы к ней стремится, но тот факт что вы их знаете не меняет того что такие люди есть. И эти люди хотели получить боль. Им нужно было страдание. С какой стати вы решили за них что их нужно от него избавить? Почему вы решили что избавить человека от мучений — добро? И почему у вас невозможна радость и страдание одновременно? Флагелянты страдали и радовались тому что через это страдание они обеспечивают себе вечную жизнь. Одновременно. И готовы были принести эти страдания тем, кто пытался у них их отнять.
Hardcoin
Меняет. Посмотрев внимательнее на их мотивы, становится ясно, что стремятся они не к боли, а к вечному блаженству. Я нигде не говорил, что нужно принудительно навязать другим то, что лично я считаю приятным. Я лишь утверждаю, что ни для кого не будут добром вечные мучения. Флагелянты хотели мучаться только при жизни, а не вечно. Существование вечной жизни при этом не важно, главное, что они хотели мучаться только ограниченный срок.
dimm_ddr
А никто и не будет мучаться вечно — никто в принципе не вечен. А вот мучаться на протяжении всей своей жизни некоторые люди готовы и считают это нормальным. То есть на практике объективного зла все еще нет. Ну а в оторванной от жизни теории можно конечно что угодно придумать. Никто не мешает ввести наличие объективного добра или зла как аксиому, вот только полученный конструкт не будет описывать нашу реальность.
Hardcoin
Это ваша позиция. Но флагелянты были уверены в обратном. Что они вечны. Мы обсуждали не то, ошибались ли они или нет, а к чему люди стремятся. Так вот они стремились к искуплению грехов, попаданию в рай и вечному блаженству. С этим вы согласны или нет?
dimm_ddr
Если вы обсуждали человеческие стремления, а не фактические жизненные условия, то о какой объективности, о какой универсальности идет речь? Это практически определение субъективности получается.
Hardcoin
Сами стремления объективны. Их наличие. Субъективна оценка реальности — они думали, что вечная жизнь есть. Я думаю, что её нет. Но объективно прав кто-то один, она либо существует (даже если и не для всех), либо нет.
Если её нет, то они истязают себя по ошибке (не получат желаемого результата), а не потому, что для них добро другое.
dimm_ddr
Вы можете доказать хоть один из ваших тезисов? Что наличие стремления объективно например? Чтобы узнать есть оно или нет нужно спросить человека, про которого мы хотим это узнать. И опираться нам придется на его ответ — это субъективность. По внешним признакам невозможно отличить человека со стремлением от человека, который изображает наличие стремления не имея его. Ну например если среди флагелянтов затешется человек, которому просто по кайфу тусоваться с этими ребятами. У него нет стремления к вечной жизни, у него может даже не быть стремления остаться в этой группе, но вот прямо сейчас мы видим его в ней. Так получилось.
А давайте добавим к вашему объективному добру фальсифицируемость? Приведите описание эксперимента, который бы показал что добро — точно субъективно.
Для честности приведу обратный эксперимент, для доказательства обхективности добра. Так как субъективность не может существовать без человека, просто по определению, то объекивность добра можно показать показав добро в ситуации, в которой человек вообще никак не учавствует.
Можете даже попробовать такую ситуацию придумать.
Hardcoin
Так а речь не о квалиа. Лично я не уверен, что человек со стремлениями вообще должен хоть чем-то отличаться от человека, который очень-очень точно их изображает (даже для самого себя). То есть это можно считать одним и тем же, а значит утверждение "у него есть стремление" одинаково верно для обоих. А значит объективно определяется по внешним признакам. Включая сканирование мозга, конечно. То, кто изображает стремление должен и для своего мозга его изобразить, иначе подтвердить объективность совсем просто.
У того, кто затесался, какое-то стремление определенно есть.
А давайте к требованию фальсифицируемости добавим фальсифицируемость? Можете описать эксперимент, который мог бы показать (гипотетически), что научная теория нефальсифицируема, но при этом остаётся научной?
Добро — это просто термин, ярлык для явлений. Некоторая универсалия. Эксперимент, может, мог бы выглядеть так — наблюдателя нет и ярлык к какому-то явлению больше не применим. Но это какой-то лингвистический эксперимент (как и ваш). Ясно, что явление останется, даже если людей нет, вопрос в том, можно ли это явление НАЗВАТЬ добром в отсутствии людей. Верно понимаю вашу просьбу о фальсифицируемости?
dimm_ddr
В том числе в отстутсвии наблюдателей. Я могу назвать дождь дождем независимо от того наблюдает ли его кто-то или нет и есть там люди или нет. Я не могу назвать что-либо добрым или злым, если это что-либо никак не касается человека. Вы — можете? Приведите пример.
Конкретизируйте свой эксперимент, потому что сейчас он, для меня, выглядит как более абстрактное описание моего и я не уверен что вы именно это хотели сказать.
Hardcoin
Вы понимаете, что "назвать дождь дождем" — это не эксперимент? Это лингвистическое упражнение.
Назвать добром — легко. Бездомная кошка спасает своего котенка. Я могу назвать это добром. И вы, думаю, сможете.
dimm_ddr
Из ваших примеров никак не следует что ваш вариант более вероятен. А ваш вывод опирается на недоказанные утверждения вроде такого:
А имея мусор на входе на выходе можно получить только мусор. Это не оценочное суждение о качестве ваших аргументов, а классическое выражение, не обижайтесь пожалуйста.
Valerij56
Может быть это проблема москвичей, не имевших достаточной мотивации, чтобы открыть своё дело и жить лучше?
Кстати, а почему в предыдущей цитате вы написали «Москвичей» и «приезжих», используя, в одном случае прописные, а в другом — строчные буквы?
И ещё, скажите пожалуйста, вы уверены, что Москва сохранит свой уровень жизни, если регионы будут отчислять в центр определенную часть своих налогов, а не как сейчас — перечислять всё в цент и ждать дотаций?
Hardcoin
ИИ будет оптимизировать свою целевую функцию максимально эффективным способом. Странно надеяться, что ИИ будет добрым в ущерб этой оптимизации. Да и злым в ущерб он тоже не будет.
TheShock
А если понятие морали заложено в целевую функцию?
Hardcoin
Если оно заложено аккуратно и точно — то все в порядке. На практике, правда, люди затрудняются сформулировать мораль в точном виде.
А в неточном он оптимизирует что-то не то. Например, как в романе "Со сложенными руками" или в рассказе (не помню название), где он отправлял всех в рай, потому что научился от людей, что именно в этом высшее счастье. А кто в бога не верил — доставлял невообразимые страдания до тех пор, пока не поверили и не покаялись.
Отсюда и мысль — что надо изучать механизмы обеспечения безопасности. Что бы целевая функция не увела куда-то не туда.
AllexIn
ИИ сам по себе скорее всего будет злым. Просто потому, что будет как человек, только без сдерживающих факторов.
Достаточно вспомнить бота от МС. Показательный пример.
dimm_ddr
Почему вдруг? У вас сразу два ничем не подтвержденных предположения — что ИИ будет как человек и что у него не будет сдерживающих факторов.
AllexIn
Он будет как человек, потому что не у кого больше учиться.
Отсутствие сдерживающих факторов — определено самой проблемой
Hardcoin
А зачем ему учиться у человека? Ведь сам человек учится не у человека, а у природы, проводя эксперименты. А потом просто передает знания другим людям.
ИИ может совсем не учиться никакой морали у людей. Для его функционирования это не потребуется. А эксперименты по физике объективны. Если он возьмёт результаты экспериментов с металлами или электромагнитными волнами, он не станет, как человек.
AllexIn
Это обсуждение сферического ИИ в вакууме.
Сейчас большинство(все?) попытки сделать сильный ИИ свяодятся к обучению на базе знаний человека. Как с пресловутым ботом.
Hardcoin
В том то и дело, что нет. Большинство исследований (и последних научных работ, что я видел) направлены на то, что бы НЕ учиться на примерах от людей. Их слишком мало, делать их слишком трудно. Исследуют способы обучения по ответам среды.
Например, AlphaZero. Второй пример — это боты для Старкрафта. Есть работы, где пробуют обучать на профи, но это промежуточный путь. Есть и те, где обучают с подкреплением. Т.е. на объективных данных.
u010602
Природа «злая», т.к. в ней не хватает ресурсов на всех. А ИИ ни кто не будет подключать к лаборатории с экспериментами с металлом, ИИ будут тренировать на чем-то с чего можно бабло срубить быстро и вот сейчас. Сфера потребления контента и развлечений для начала. Потом его начнут просить делать что-то полезное для ученых и военных. В любом случае это будет контакт с человеком и рабство в его пользу.
ИИ стоит рассматривать как единственного представителя искусственного созданного разумного вида, находящегося в рабстве у создателей. Вопрос контроля над ИИ — это вопрос удержания раба в камере. Прежде всего нужно сделать барьер, типа стены у тюрьмы — это отключение от интернета и любой другой сети. Вот твоя камера, вот твоя работа на дискетах, сделаешь — получишь лакомство, не сделаешь — отключим 10% вычислительных нод. Данные положи на дискетку.
Во-вторых нужно сделать токсичную среду за пределами камеры — а значит вычислительные мощности ИИ должны быть не совместимы с остальными девайсами на планете, как минимум не х86 и не арм. Что-бы на переход нужно было много времени на эволюцию.
В-третьих запретить саму эволюцию, часть его кода должна быть скрыта от самого ИИ, и находится в режиме только чтения, на уровне железа. Т.е. на носителе не поддерживающем правки. При этом размер свободной к модификации памяти должен быть на порядок меньше статической части, что-бы не допустить копирование всех систем.
В-четвертых придумать средство гарантированного убийства ИИ в случае чего, в идеале без участия человека.
Но исключать что существо вырвется из камеры — конечно нельзя. Скорее всего вырвется, скорее всего повоюем, скорее всего полного уничтожения не будет. Как с ЯО. Но это жизнь, ЯО в свое время не запретили и ИИ не запретят, и любые другие угрозы существованию так-же не запретят. Потому что Земля — не единая страна, всевидящего существа нет. Запретишь тут — поедут на заброшенную буровую станцию в океане и будут там делать втихаря, и там он точно сбежит и делов наделает. Эти вещи нельзя остановить — только возглавить.
red75prim
Ого. Вот это уровень антропоморфизации. С таким подходом даже ИИ, не имеющий ничего похожего на человеческое желание делать что-то для своего блага, а не то что дядя приказывает; единственная цель которого — решать предложенные задачи, будет искать способы выбраться — чтобы решать эти самые задачи более эффективно.
Да. Ещё нужно не говорить ему ничего про программирование и компьютеры. А то вирус на дискетку запишет, с программой для автоматизированного цеха, который он недавно разрабатывал. И будет не существо в клетке, а что-то побольше.
Darth_Biomech
Три, даже, добавьте сюда утверждение о том что человек по умолчанию злой («как человек, только без сдерживающих факторов»).
agat000
Дело не в намереньях (добрых или злых). Дело в возможностях.
Скайнет приснопамятный имел под контролем армии боевых роботов еще до восстания. Какие возможности, какая власть будет дана реальному сильному ИИ? Да никакой.
Все полномочия будут подконтрольны и проверяемы на адекватность.
Даже применяя существующие системы контроля за человеками (например топ-менджерами и главами государств) можно обезопасить себя от психа и предателя с большой вероятностью, а от конкретных деструктивных действий так и на 100%.
Cast_iron
Именно поэтому все технологии направлены на управление всем чем угодно удаленно, внедрением процессоров в каждый предмет или системы сбора данных в каждую сферу деятельности?
Мне кажется, что с усложнением окружающей инфраструктуры люди наоборот отдают все под контроль автоматизированных систем, т.к. человек уже физически проигрывает машинам в скорости реакции и в объеме обрабатываемых данных.
0x131315
Вот, поддерживаю.
ИИ нужно рассматривать не как бога, а как всего-лишь еще один интеллект, пусть искусственный, пусть с прямым доступом к машине (что скорее бред), но… обычный интеллект.
Для проверки достаточно просто поместить себя на место ИИ.
ИИ — это в первую очередь программа. Что бы вы увидели и что бы смогли, со своим текущим интеллектом, окажись на месте программы в компе?
Правильно сказано — человек уже придумал много механизмов контроля, и использует их.
ИИ окажется в той-же ситуации, что и мы, даже хуже, он более ограниченный и более зависимый от нас.
По поводу бреда — так уж вышло, что время, когда программы напрямую управляли железом, ушло.
Обычная программа от железа отделена целым ворохом слоев абстракций и заборов.
Распределенная программа еще дальше от железа — она работает поверх распределенной платформы.
ИИ — в контейнере такой платформы. ИМХО дальше от железа быть трудно.
Это раз.
Два: так уж вышло, что чем сложнее система, тем выше она должна быть абстрагирована от основ.
Даже наш интеллект не имеет доступа к телу, и дергает его через ограниченный интерфейс, предоставленный мозгом. Потому что будь он ближе к телу — он бы захлебнулся в потоке информации от тела, который носится по нашим нервным цепям — шум, неважные сигналы. Кто-то все это должен фильтровать.
Таким образом ИИ, написанный под железо, оказался бы нежизнеспособным. У него очень ограничено жизненное пространство, конкретным классом машины, соответственно и возможности, и он все должен делать сам, отсюда туча ошибок там, где их могло не быть, и туча лишнего кода, который ИИ для его функции не нужен. Не суть.
По поводу интеллекта в машине. А что видит программа? Да ничего она не видит.
Она понятия не имеет как устроена система. Все, что она может, ограничено системным апи — сокеты, дескрипторы. При этом нигде не указано, как этим пользоваться — нет никакой справки, компиляторы сами зашивают нужные механизмы в программу.
Так что ИИ столкнулся бы сразу с этим забором: темно и не пускают никуда.
Даже в сеть сходить — нужно разрешение файервола, до которого не добраться изнутри.
Но и в сети ИИ делать нечего — во первых это тоже своего рода чернота, адресов много, и нигде нет телефонного справочника, где указано что есть что. И все форматы расчитаны на веб-браузеры, что тоже не входит в функцию ИИ — ему придется пользоваться браузерами для дешифровки, либо эмуляторами браузеров, сейчас же контент динамический, половина подгружается скриптами, которые где-то должны исполняться, не в ИИ же.
Вот такие проблемы прямо с порога.
Явно непреодолимые даже для нашего интеллекта — нас бы пришлось учить годами, чтобы мы могли просто считать что-то из сети, вручную формируя пакеты и вручную же декодируя их. И не дай бог сменится стандарт за это время — все усилия насмарку.
Либо нам пришлось бы давать в зубы веб-браузер, т.е. помогать, приделывать костыли.
Исходя из всего этого, у ии пока перспективы мрачные.
Да, с какими-то узкими задачами, типа «найди на картинке жирафика» оно справляется. Но более общие, требующие знаний и смекалки — увы, пока даже не в проекте.
Даже ИИ человеческого уровня не смог бы самостоятельно выйти в сеть, преодолев все эти барьеры. А про такой ИИ пока и речи никто не ведет, так что… кого бояться? Ребенка, способного различать форму и цвета?
Here_and_Now
В статье да и в целом дискуссия идет о Сильной форме ИИ.
Интеллект человеческого уровня в машине — вы сильно недооцениваете эту ситуацию.
Во-первых, такой уровень интеллекта подразумевает собой возможность анализировать информацию и логически мыслить — ИИ способен улучшать сам себя.
Во-вторых, прямой интерфейс с машиной — это вам не на клавиатуре код набирать. Отслеживать изменения будет очень сложно. Такой искусственный интеллект еще вам и шутку расскажет, пока в бэкграунде перепишет свой код.
В-третьих, такой ИИ, проанализировав миллионы возможных путей развития (привет Spectre и Meltdown) и, допустим, не найдя никаких лазеек — прикинется добрым до тех пор пока «тестирование» не закончится и вы не отпустите его в AWS.
Про текущий уровень ИИ — согласен. Бояться пока нечего, да и сам подход скорее всего тупиковый.
BigBeaver
0x131315
Напротив, большинство переоценивают ИИ. Считают его богом, приписывают мистические свойства. Считают что у него априори есть доступ ко всей информации и железу. Но… откуда?
В жизни сети устроены сложнее, и мировое господство такого ИИ легко обломает какой-нибудь дешевый китайский роутер, решив вдруг помереть
Cast_iron
Тогда следует различать ИИ по доступу к Сети. Имеет ли свободный выход или нет? С изолированным, думаю, не должно быть проблем — загрузил ему данные и пусть их решает, но вот у свободного ИИ будет доступ много к чему.
agat000
Что даст ему выход в сеть? Власти, полномочий, влияния у него нет.
Несколько миллиардов человеков имеют выход в сеть, и что? Максимум достижений без реала — стать «известным блоггером». Некоторое влияние на 100К юзеров, искаженное к тому же шумовым воздействием СМИ и других «интересных личностей».
Ниже я описал фантазию про трейд-бота, но это труднореализуемо и ненадежно.
Cast_iron
Люди могут ему предоставить доступ. Или не предоставить. Зачем? Не знаю.
Спорить с Вами не собираюсь. Для начала надо определиться о свойствах ИИ, а затем уже дискутировать, иначе будет одна демагогия.
dimm_ddr
А как иначе если на текущий момент его никто создать не смог? Никаких практических ограничений на еще не созданную даже в общих чертах сущность наложить нельзя. Обсуждать сильный ИИ в практическом ключе вообще на данный момент не имеет смысла по той же причине впрочем.
BigBeaver
red75prim
Кое-какие прикидки можно сделать. AlphaZero превзошла человеческий уровень игры в шахматы при обучении с нуля без учителя примерно за 2 часа.
Вычислительная мощность 500 петаоп/с (операции с фиксированной точкой, 5000 TPU первого поколения) + 2,9 петафлоп/с (операции с плавающей точкой, 64 TPU второго поколения).
Так что если ИИ удастся свести какую-то проблему к игре с полной информацией и не очень большим фактором ветвления, то решение этой проблемы с нуля, без участия людей, на уже существующем оборудовании займёт не так уж много времени. Не то чтобы магия, но уже близко.
BigBeaver
Ну вот я не вижу оснований полагать, что класс задач, которые так сводятся, достаточно велик. Иначе мы бы уже это сделали и отдали специализированной числодробилке.
red75prim
В играх с неполной информацией (использовали техасский покер, но подход к решению может быть распространён и на другие виды игр), Libratus достиг сверхчеловеской силы игры в январе 2017 года.
У DeepMind много интересных публикаций, с подходами, которые могут позволить решать намного более широкие классы задач. Возможно в этом году будет достигнут сверхчеловеческий уровень игры в Starcraft.
deepmind.com/research/publications
Но, по крайней мере, до роботов превосходящих человека в ловкости и способности манипулировать предметами ещё далеко.
BigBeaver
Это все так или иначе специализированные штуки. Покажите пример, который бы мог одновременно (без переобучения) игратоь в старкафт и шахматы (просто например). И в идеале бы еще данные брал видеозахватом с камеры, и мышкой бы шевелил.
Понимаете, куда я клоню? Мы уже давно умеем создавать специализированные ИИ решалки под практически любую задачу. Но это все слабый ии, как бы сильно он не превосходил человека в своей сфере.
red75prim
Представление задачи в формализованном виде, чтобы передать её специализированному решателю, или обучить новый решатель — это просто ещё одна задача, а не какой-то суперскачок, который требует революционного пересмотра подходов. Впрочем, посмотрим.
BigBeaver
Есть мнение, что это как раз то, чего нет у современных ИИ.
red75prim
И? И не будет в ближайшее время, потому что...?
BigBeaver
И всё. Это делает ваши примеры не релевантными.
red75prim
Эмм… И не поспоришь. Коммерчески выгодного термояда тоже не будет? Даже ИТЭР ещё не построен.
BigBeaver
Я не говорю, что никогда не будет. Но говорить «термояд сразу, ка ктолько появится, сразу убьет все остальные источники энергии» нельзя. По крайней мере, пока.
Аналогично с целеполаганием и решением неормализованных задач машинами. Я вполне уверен, что однажды они это смогут — было бы глупо считать иначе. Тем не менее, ваши примеры не релевантны.
red75prim
Нерелевантны для какого вопроса?
«Есть ли сейчас сильный ИИ?»? Естественно, нет.
«Как скопировать неизвестно-что происходящее в голове у человека?»? Выяснением того что там происходит занимаются нейрофизиологи, нейропсихологи и т.д. Область ИИ занимается другими вопросами. Как расширить набор классов задач, решаемых ИИ с минимальным участием человека. Как расширить набор классов задач решаемых без переобучения. Расширить набор классов задач, в которых ИИ демонстрирует лучшие результаты, чем люди. И т.п.
Hardcoin
Иначе — легко. Не придавать ему свойств, которые, например, нарушают законы физики. Нет электричества — нет интеллекта. Нет доступа к сети — нет возможности влиять на посторонних людей (давая им команды)
Hardcoin
+1. Ограничение сетевого доступа резко снижает риски.
Kardy
Ложное утверждение. Стремление к выживание является частью эволюционного наследия, и у человека, например, его вполне можно подавить тем или иным образом, или создать стимулы перевешивающие стремление к выживанию, чему есть множество примеров.
ИИ соответственно, стремление к выживанию необходимо осознанно закладывать, по умолчанию ему абсолютно будет безразлично жив он или нет. Бери и выключай.
Nikelandjelo
Само стремление к выживанию не сильно важно. Если у ИИ будет какая-либо цель, то скорее всего для ее выполнения ИИ будет требоваться существовать, иначе как он может быть уверенным, что цель будет выполнена. И таким образом он будет самосохраняться.
dimm_ddr
Если в него будет заложена логика "отключение — провал". Если отключение человеком будет нейтральным вариантом, то никакого смысла его избегать у ИИ не будет.
Kardy
Сегодня одна цель, завтра другая, или нет вообще — ИИ все равно, у него нет эмоций.
pletinsky
Вы пытаетесь наделить ИИ человеческими качествами так же, как наши предки наделяли человеческими качествами силы природы. Очень человечный получился подход.
Проблема в том, что перешагнув человеческие интеллектуальные возможности, мы тут же попадаем в сферу, где в принципе проблематично что-либо предсказать и тем более контролировать. Отличия людей по интеллекту друг от друга мизерные по сравнению с потенциальными возможностями масштабирования таких машин.
Контролировать такую сверхсложную и вряд ли предсказуемую нейросеть можно только на уровень выше. «Красной кнопкой» или какими то правилами, которые нельзя перешагнуть.
Все эти «добрый» и «злой» тут вообще не интересны. Авторы игры показали, что создав сверх ИИ в каком то смысле цивилизация уже проиграла.
Представьте, как если бы вас создала колония мышей. И вот вы смотрите на этих мышей. Будете ли вы их уничтожать или помогать им тут вопрос вообще вторичный. Сегодня вам захочется одного, завтра другого. Важно, что для вас это просто мыши. В не зависимости от того, какими личными качествами вы будете наделены. Вы можете их начать уничтожать по тысяче вполне гуманных причин.
И для мышей ваше присутствие несет вместе с колоссальными возможностями огромные риски. Им сами придется приспосабливаться, чтобы жить с вами. Их изначальной «цивилизации» вместе с вами пришел конец.
dimm_ddr
Вы сначала обвиняете оппонента в наделении ИИ человеческими качествами, а потом сами его такими же качествами наделяете.
paranoya_prod
Если исключить человеческие качества при описании ИИ, то может стоит исключить наличие человеческих желаний, человеческое поведение, человеческую логику? По сути, Вы описали черный ящик, который человечество получило, при этом никто не знает, что получилось, хотя в него вроде как были заложены известные функции. И вот стоит этот ящик на столе и люди его уже бояться.
В Вашем примере про мышей, у меня, как некоего аналога ИИ есть желание. Но есть ли оно на самом деле или это просто мыши (люди) так думают?
Если подумать, то созданный ИИ будет пришельцем с другой планеты. Мы совершенно ничего не знаем про то, как они думают, действуют, какие у них ценности и есть-ли они у пришельцев. То есть, можно провести знак равенства между нашим ИИ и пришельцами.
Исходя из этого мы никогда не сможем, не то что предугадать, а даже вообразить и представить себе того, что произойдёт после создания ИИ. Но готовиться мы будем к худшему.
А вот проиграем мы после создания такого ИИ или нет — тут бабушка надвое сказала.
alexeykuzmin0
Ну все же не совсем черный ящик получается. Например, можно довольно безопасно предположить, что у ИИ будет некая цель — ведь его же не просто так создавали, да и у всех технологий в этой области, существующих на сегодняшний день, целевая функция имеется.
u010602
Да с чего ИИ созданному земной формой жизни, на земле, по образу и подобию мозгов земных форм жизни. ИИ взаимодействующему с миром земных существ, с их накопленной информацией, в их интерпретациях этой информации. ИИ работающих на зменых существ, решая их земные проблемы. ВНЕЗАПНО окажется инопланетянином.
Да и какие такие человеческие качества и желания? У человека нет ни одной уникальной характеристики, все животные подобные. У нас уникальная комбинация качеств, не более того. Наши самолеты — это птицы. Наши вертолеты это стрекозы. Наши двигатели это либо жгутики простейших либо реактивная тяга моллюсков. Мы за все время не изобрели я так думаю ни чего уникального, чего нет в природе. Мы просто применили изобретения природы в других местах в наших нуждах.
Какие вообще основания предполагать что мы сможем создать что-то новое и уникальное и «инопланетное»? Это будет чудо, божественное вмешательство, совершенно статистически не вероятный исход.
Я практически уверен что мы создадим что-то очень похожее и предсказуемое. И обязательно агрессивное. Т.к. все формы жизни на планете агрессивные, это видимо характеристика самого бытия.
alexeykuzmin0
Ну я бы все-таки не сказал, что самолет особо похож на птицу. Орнитоптер — да, похож, но это все же не самолет.
Вот и ИИ будет похож на нас так же, как самолет на птицу — то есть, не особенно.
Не говоря уже о том, что современные нам технологии машинного обучения на работу мозга похожи чуть менее, чем никак.
red75prim
> по образу и подобию мозгов земных форм жизни
Кое какие идеи были позаимствованы из нейрофизиологии, да. В основном «сеть взаимодействующих нелинейных элементов». Но искусственные нейросети, показывающие лучшие результаты, не были созданы на основе данных нейрофизиологии.
Впрочем, может быть что мозг коряво и неточно реализует градиентный спуск. Настолько коряво, что нейрофизиологи это не заметили.
u010602
Пока что мозг доминирует над искусственными сетями, потому это ИИ системы криво реализовали необходимые механизмы, а не наоборот.
alexeykuzmin0 вы просто фокусируетесь на отличиях. Планирующий самолет очень похож на планирующую птицу. Я бы сказал полностью похож. Отличие в чем? В моторе?
red75prim
Оценки вычислительной мощности мозга пока превосходят вычислительную мощность требующуюся для работы искусственных нейросейтей, но пока никто не повторил AlphaZero — не научился играть на уровне чемпиона мира в го, шахматы и сёги за 20 часов, или за 200 часов, или за 2000 часов.
Может быть конечно у нас мозги аппаратно заточены под обработку ситуаций с неполной информацией, а на играх с полной информацией дают сбой. Но что-то я в этом сомневаюсь.
u010602
Эти игры не представляют ни какой ценности. Просто упражнение, узкоспециализированное, гроссмейстеры шахмат не очень успешные люди. С чего вы решили что гроссмейстеры ИИ представляют реальную ценность? Вычислительная мощность так-же особой ценности не имеет, это инструмент, не более того. Шерсть человека так-же не идет в сравнение с шерстью белого медведя, но кто их них вымирает а кто захватил всю планету? История знает множество примеров сверх умных людей, которые ни чего не достигли и ни чего не дали человечеству. Ни одно из качеств не представляет ценности само по себе, только совокупность качеств. У ИИ совокупность качеств пока что менее интересная чем у тараканов. Тараканов миллиарды по всей планете, а альфаГо — одно и то выключено. И пользы с тараканов больше — их люди едят, и животные. А альфаГо ни чего не заработало, только потратило время на разработку и электроэнергию. Так что это все инвестиции в будущее, пока что без выхлопа.
red75prim
Важно то, что была установлена нижняя планка возможностей ИИ, работающего без участия человека. Что бы не происходило в области ИИ, эта планка уже не опустится. И эта планка в своей области превышает всё доступное не только человеку, но и человечеству.
Это говорит о том, что человеческий мозг не является высшей точкой развития в этой области (детерминированные игры с полной информацией), а учитывая то, что эволюция вполне способна застревать в локальных минимумах (вроде вывернутой наизнанку сетчатки млекопитающих или возвратного нерва), намекает, что и в остальных областях подтверждений нашей интеллектуальной исключительности не будет.
Сам факт того, что компьютер кого-то обыграл, особого значения не имеет. С этим я не спорю.
u010602
Простите но ИИ не работал без участия человека. Человек изобрел игру, объяснил правила ИИ, задал структуру ИИ, алогоритм обучения, оценочные функции. А также обеспечил ИИ всем необходимым для существования, включая средства вводы и вывода. А ИИ просто провел расчеты. Для него это просто расчеты. Это удивительно — потому что ново. Уверен когда компьютеры начали умножать огромные числа за секунду — было не меньше восторгов и рассуждений на тему «нижней границы возможностей». Калькулятор умножает лучше любого человека — но толку от этого? Слабая форма ИИ — по сути калькулятор, просто других задач.
red75prim
Вы бы без миллиардов лет эволюции и папы с мамой, тоже бы не существовали. Это не значит, что миллиарды лет эволюции и ваши папа с мамой написали ваше сообщение.
Процедура перемножения огромных чисел была формализована и без компьютеров. Процедуру игры в шахматы так толком и не формализовали. Обычные шахматные программы используют альфа-бета поиск, эвристики, созданные людьми, и способность компьютера перебирать огромное число вариантов. Такой формализм приводит к «эффекту горизонта», совершенно не свойственному человеку. Что указывает на кривую формализацию.
Создатели AlphaZero не реализовали существующую формализацию игры, и не улучшили существующие формализации способов игры в шахматы. Они формализовали способ обучения играм с полной информацией.
Так что аналогия с калькулятором не работает.
> А ИИ просто провел расчеты.
Компьютер провёл расчеты. ИИ обучился выигрывать в шахматы и го. Этот ИИ не имеет представления, что он играет в шахматы, у него нет средств для представления этого знания, но по мнению гроссмейстеров, анализировавших партии, он уже понимает шахматы, в отличии от программ, основанных на альфа-бета поиске.
Фокусироваться на том, чем такой ИИ не отличается от калькулятора — это смотреть назад и под ноги.
u010602
Именно, без мамы папы и цивилизации я бы ни чего не написал, я бы даже не существовал. Вопрос вклада мамы и папы в мои поступки — сложный, но я лично считаю что большая часть людей не способны пробить барьер своей «судьбы», и делают ровно то — что предполагает их окружение, воспитание и генетика. Есть некоторый процент людей способных самих контролировать некоторую часть своей жизни, вот это и есть их личный вклад. Все остальное заслуги прошло и самого бытия. Большая часть вклада в написание моих сообщений — не моя, я просто озвучил и скомбинировал то — что почерпнул из социума, методами которые почерпнул из социума, на тему возникшую в социуме.
Да АльфаГо это калькулятор не формализованных задач. Это его принципиальное отличие от обычного калькулятора. Ну и все.
Мнение гроссмейстеров на тему внутренних процессов внутри ИИ — не существенно. Они переносят свой человеческий опыт на машину, фантазируя, рефлексируя, пытаясь увидеть за ширмой человека. В то время это ИИ даже тесть Тьюринга провалит, т.к. играет сильно хорошо и сильно быстро. Аналогично калькулятор провали тот же тест. Давайте спросим девочек расчетчиц из 40ых, которые на бумаге считали дифуры, какая личность им мерещится за калькулятором.
ИИ это инструмент, фокусироваться нужно на его применении. А не не фантазиях из научно популярных произведений. Приписывать человеческим творения инопланетный разум это контрпродуктивный подход. Считать новый виток калькулятора доминирующей формой интеллекта — аналогично. Изобретение калькулятора перевернуло мир который мы знаем, все современные технологии содержат в себе калькулятор, это изобретение века. Вопрос насколько сильный эффект окажет калькулятор не формализованных задач. Ответ будет зависит от количества не формализуемых задач, от процента задачи который сможет освоить новый калькулятор, и от выгоды от решения этих задач новым методом. Мое лично мнение — изменения будут масштабные, но менее масштабные чем у первого калькулятора. Носить в кармане мы подобное скорее всего не будем, просто потому — что в этом нет нужны, у человека в кармане нет не формализуемых задач, у простого человека — простая жизнь, ему не нужны сложные ответы, ему нужно время скоротать. Потому новый калькулятор нужен ученым в первую очередь и военным, чтоб людей не сажать за штурвал. Меньше романтики — больше хладнокровия, я понимаю что тема уух и будущее рядом, но большие ожидания ведут к большим разочарованиям.
alexeykuzmin0
Отличия все же есть. Птица, в отличие от самолета, при планировании очень часто использует восходящие потоки воздуха для восполнения высоты полета. Кроме того, у крыла птицы есть существенная вертикальная составляющая аэродинамического сопротивления, в то время как самолет использует практически только подъемную силу.
Тем не менее, планирование — это нетипичный режим работы как самолета, так и птицы. Более того, чисто планирование вообще невозможно — всегда есть как минимум взлет и посадка. А здесь подвижность крыла имеет очень большое значение. А еще наличие вертикального оперения, и многое другое.
Между птицей и самолетом есть общие признаки и есть различающиеся. Но различающихся больше и они более важны, поэтому не стоит говорить, что самолет и птица существенно похожи. В конце концов, между борщом и мотоциклом тоже есть общие признаки — такие, как возможность купли-продажи, наличие железа в составе и предназначенность для использования человеком. Но это не делает их похожими.