Расшифровка выступления на конференции Web Camp Zagreb Мачея Цегловского, американского веб-разработчика, предпринимателя, докладчика и социального критика польского происхождения.
В 1945 году, когда американские физики готовились к испытанию атомной бомбы, кому-то пришло в голову спросить, не может ли такое испытание зажечь атмосферу.
Опасение было оправданным. Азот, из которого состоит большая часть атмосферы, энергетически нестабилен. Если столкнуть два атома достаточно сильно, они превратятся в атом магния, альфа-частицу и выпустят огромную энергию:
N14 + N14 ? Mg24 + ? + 17,7 МэВ
Жизненно важным вопросом было то, может ли эта реакция стать самоподдерживающейся. Температура внутри шара ядерного взрыва должна была превысить всё, что когда-то наблюдалось на Земле. Не получится ли, что мы бросим спичку в кучу сухих листьев?
Физики из Лос-Аламоса провели анализ и решили, что запас безопасности получается удовлетворительным. Поскольку все мы сегодня пришли на конференцию, мы знаем, что они были правы. Они были уверены в своих предсказаниях, поскольку законы, управляющие ядерными реакциями, были прямолинейными и достаточно хорошо известными.
Сегодня мы создаём ещё одну технологию, изменяющую мир – машинный интеллект. Мы знаем, что он чрезвычайно сильно повлияет на мир, изменит то, как работает экономика, и запустит непредсказуемый эффект домино.
Но существует ещё и риск неуправляемой реакции, во время которой ИИ достаточно быстро достигнет и превысит человеческий уровень интеллекта. И в этот момент социальные и экономические проблемы будут волновать нас меньше всего. Любая сверхумная машина будет обладать собственными гиперцелями, и будет работать над их достижением, манипулируя людьми, или просто используя их тела как удобный источник ресурсов.
В прошлом году философ Ник Бостром выпустил книгу «Сверхинтеллект», в которой описал алармистский взгляд на ИИ и попытался доказать, что подобный взрыв интеллекта одновременно опасен и неизбежен, если полагаться на несколько умеренных предположений.
Компьютер, завладевающий миром – любимая тема НФ. Однако достаточно много людей серьёзно относятся к этому сценарию, поэтому и нам нужно серьёзно их воспринимать. Стивен Хокинг, Илон Маск, огромное количество инвесторов и миллиардеров Кремниевой долины считают этот аргумент убедительным.
Давайте я сначала изложу предпосылки, необходимые для доказательства аргумента Бострома.
Предпосылки
Предпосылка 1: работоспособность идеи
Первая предпосылка представляет собой простое наблюдение существования мыслящего разума. Каждый из нас носит на своих плечах небольшую коробку мыслящего мяса. Я использую свою, чтобы выступать, вы используете свои, чтобы слушать. Иногда в правильных условиях эти разумы способны рационально мыслить.
Так что мы знаем, что в принципе это возможно.
Предпосылка 2: никаких квантовых заморочек
Вторая предпосылка говорит, что мозг – это обычная конфигурация материи, хотя и чрезвычайно сложная. Если бы мы знали о ней достаточно, и у нас была подходящая технология, мы бы могли точно скопировать её структуру и эмулировать её поведение при помощи электронных компонентов, точно так же, как сегодня мы способны симулировать очень простую анатомию нейронов.
Иначе говоря, эта предпосылка говорит, что сознание возникает при помощи обычной физики. Некоторые люди, например, Роджер Пенроуз, воспротивились бы этому аргументу, считая, что в мозге происходит что-то необычное на квантовом уровне.
Если вы религиозны, вы можете верить, что мозг не может работать без души.
Но для большей части людей такую предпосылку легко принять.
Предпосылка 3: множество возможных разумов.
Третья предпосылка состоит в том, что пространство всех возможных разумов велико.
Наш уровень интеллекта, скорость мышления, набор когнитивных искажений и т.д. не предопределены, а являются артефактами нашей истории эволюции. В частности, нет физического закона, ограничивающего интеллект на уровне людей.
Это хорошо представить на примере того, что происходит в природе при попытке максимизировать скорость. Если бы вы встретили гепарда в доиндустриальные времена (и выжили бы), вы могли бы решить, что быстрее его ничто двигаться не может.
Но мы, конечно, знаем, что существуют всяческие конфигурации материи, к примеру, мотоцикл, способные двигаться быстрее гепарда, и даже выглядящие покруче его. Однако прямого эволюционного пути к мотоциклу не существует. Эволюции сначала нужно было создать людей, которые уже создали всякие полезные штуки.
По аналогии, могут быть разумы, гораздо умнее нашего, но недоступные в ходе эволюции на Земле. Возможно, что мы можем их создать, или изобрести машины, которые могут изобрести машины, которые могут их создать.
Возможно, существует естественный предел интеллекта, однако не существует причин считать, что мы к нему приблизились. Возможно, самый умный интеллект может быть в два раза умнее человека, а возможно, и в шестьдесят тысяч.
Этот вопрос эмпирический, и как на него отвечать, мы не знаем.
Предпосылка 4: наверху полно места
Четвёртая предпосылка состоит в том, что у компьютеров ещё полно возможности стать быстрее и меньше. Вы можете считать, что закон Мура замедляется – но для данной предпосылки достаточно верить в то, что железо меньше и быстрее возможно в принципе, вплоть до нескольких порядков.
Из теории известно, что физические пределы вычислений довольно высоки. Мы можем удваивать показатели ещё несколько десятилетий, пока не наткнёмся на некий фундаментальный физический предел, а не на экономический или политический предел закона Мура.
Предпосылка 5: компьютерные масштабы времени
Предпоследняя предпосылка состоит в том, что в случае, если нам удастся создать ИИ, будет ли это эмуляция мозга человека или какое-то особенное ПО, он будет работать на масштабах времени, характерных для электроники (микросекунды), а не для человека (часы).
Чтобы достичь состояния, в котором я могу выступать с этим докладом, мне надо было родиться, вырасти, ходить в школу, в университет, пожить немного, прилететь сюда, и так далее. Компьютеры могут работать в десятки тысяч раз быстрее.
В частности, можно представить, что электронный разум может изменить свою схему (или железо, на котором он работает), и перейти к новой конфигурации без того, чтобы заново изучать всё на человеческих масштабах, вести долгие разговоры с человеческими преподавателями, ходить в колледж, пытаться найти себя, посещая курсы рисования, и так далее.
Предпосылка 6: рекурсивное самоулучшение
Последняя предпосылка – моя любимая, поскольку она беззастенчиво американская. По ней, какие бы цели ни существовали у ИИ (а это могут быть странные, чужие цели), он захочет улучшить себя. Он захочет стать лучшей версией ИИ.
Поэтому он найдёт полезным рекурсивно переделывать и улучшать собственные системы, чтобы сделать себя умнее, и, возможно, жить в более прохладном корпусе. И, согласно предпосылке о временных масштабах, рекурсивное самоулучшение может произойти очень быстро.
Заключение: катастрофа!
Если принять эти предпосылки, мы приходим к катастрофе. В какой-то момент с увеличением скорости компьютеров и интеллекта программ произойдёт неконтролируемый процесс, похожий на взрыв.
Как только компьютер достигнет человеческого уровня интеллекта, ему уже не нужна будет помощь людей для разработки улучшенной версии себя. Он начнёт это делать гораздо быстрее, и не остановится, пока не дойдёт до естественного предела, который может оказаться во много раз большим, чем человеческий интеллект.
В этот момент это чудовищное разумное существо при помощи окольного моделирования работы наших эмоций и интеллекта сможет убедить нас сделать такие вещи, как дать ему доступ к фабрикам, синтезу искусственной ДНК или просто позволить выйти в интернет, где оно сможет взломом проложить себе путь ко всему, что угодно, и полностью уничтожить всех в спорах на форумах. И с этого момента всё очень быстро превратится в научную фантастику.
Давайте представим определённое развитие событий. Допустим, я хочу сделать робота, который говорит шутки. Я работаю с командой, и каждый день мы переделываем нашу программу, компилируем, а потом робот говорит нам шутку. Сначала робот практически не смешной. Он находится на низшем уровне человеческих возможностей.
Что это – серое и не умеет плавать?Но мы упорно работаем над ним, и в итоге доходим до точки, где робот выдаёт шутки, которые уже начинают быть смешными:
Замок.
Я сказал сестре, что она рисует себе слишком высокие брови.На этом этапе робот становится ещё и умнее, и начинает участвовать в собственном улучшении. Теперь у него уже есть хорошее инстинктивное понимание того, что смешно, а что нет, поэтому разработчики прислушиваются к его советам. В итоге он достигает почти сверхчеловеческого уровня, на котором он оказывается смешнее любого человека из его окружения.
Она выглядела удивлённой.
Мой ремень удерживает мои штаны, а шлёвки на моих штанах удерживают ремень.В этот момент начинается неуправляемый эффект. Исследователи уходят на выходные домой, а робот решает перекомпилировать сам себя, чтобы стать немного смешнее и немного умнее. Он проводит выходные за оптимизацией той его части, которая хорошо справляется с оптимизацией, снова и снова. Не нуждаясь более в помощи человека, он может делать это так быстро, как позволяет железо.
Что происходит? Кто из них реальный герой?
Когда исследователи в понедельник возвращаются, ИИ становится в десятки тысяч раз смешнее любого из живших на Земле людей. Он рассказывает им шутку, и они умирают от смеха. И любой, кто пытается поговорить с роботом, умирает от смеха, как в пародии от «Монти Пайтон». Человеческий род вымирает от смеха.
Нескольким людям, которые смогли передать ему сообщение с просьбой остановиться, ИИ объясняет (остроумным и самоуничижительным образом, что оказывается фатальным), что ему всё равно, выживут или умрут люди, его цель – просто быть смешным.
В итоге, уничтожив человечество, ИИ строит космическое корабли и наноракеты для изучения самых далёких уголков галактики и поисков других существ, которых можно развлечь.
Этот сценарий – карикатура на аргументы Бострома, поскольку я не пытаюсь убедить вас в его правдивости, а делаю вам от него прививку.
Комикс от PBF с той же идеей:
— Умилительно: обнимабот пытается встроить в свой обниматор ядерногравитационный гиперкристалл!
— …
— Время групповых обнимашек!
В данных сценариях ИИ по умолчанию злой, точно так же, как растение на иной планете по умолчанию будет ядовитым. Без тщательной подстройки не будет причин для того, чтобы мотивация или ценности ИИ напоминали наши.
Аргумент утверждает, что для того, чтобы у искусственного разума было что-то напоминающее человеческую систему ценностей, нам нужно встроить это мировоззрение в его основы.
Алармисты от ИИ любят пример с максимизатором скрепок для бумаги – вымышленным компьютером, управляющим фабрикой по производству скрепок, который становится разумным, рекурсивно улучшает сам себя до богоподобных возможностей, а потом посвящает всю свою энергию на заполнение вселенной скрепками.
Он уничтожает человечество не потому, что злой, а потому, что в нашей крови есть железо, которое лучше использовать для изготовления скрепок. Поэтому, если мы просто создадим ИИ, не подстроив его ценности, утверждается в книге, то одна из первых вещей, которые он сделает – это уничтожит человечество.
Есть много красочных примеров того, как это может произойти. Ник Бостром представляет, как программа становится разумной, выжидает, тайно строит небольшие устройства для воспроизводства ДНК. Когда всё готово, то:
Нанофабрики, производящие нервно-паралитический газ или самонаводящиеся ракеты размером с комаров, одновременно вырвутся с каждого квадратного метра планеты, и это будет конец человечества.Вот уж жесть!
Единственный способ выбраться из этой передряги – разработать такую опорную моральную точку, чтобы даже после тысяч и тысяч циклов самосовершенствования система ценностей ИИ оставалась стабильной, и его ценностями были такие вещи, как «помогать людям», «никого не убивать», «слушать пожелания людей».
То есть, «делать то, что я имею в виду».
Вот весьма поэтический пример от Элиезера Юдковского, описывающий американские ценности, которым мы должны обучать наш ИИ:
Когерентная экстраполированная воля — это наше желание знать больше, думать быстрее и соответствовать своим представлениям о себе, стать ближе друг к другу; так, чтобы наши мысли больше сближали, чем разделяли, чтобы наши желания содействовали, а не противодействовали, чтобы желания толковались таким образом, каким мы хотим, чтобы они толковались.Как вам такое ТЗ? А теперь давайте, пишите код.
Надеюсь, вы видите сходство данной идеи с джином из сказок. ИИ всемогущ и даёт вам то, что вы просите, но интерпретирует всё слишком буквально, в результате чего вы сожалеете о просьбе.
И не потому, что джин тупой (он сверхумный) или злонамеренный, а просто потому, что вы, как человек, сделали слишком много предположений по поводу поведения разума. Система ценностей человека уникальна, и её необходимо чётко определить и внедрить в «дружелюбную» машину.
Эта попытка – этический вариант попытки начала XX века по формализации математики и размещению её на жёстком логическом основании. Однако никто не говорит о том, что та попытка закончилась катастрофой.
Когда мне было немного за двадцать, я жил в Вермонте, в захолустном и деревенском штате. Часто я возвращался с деловых поездок вечерним самолётом, и мне нужно было ехать домой на машине сквозь тёмный лес в течение часа.
Я тогда слушал вечернюю программу по радио Art Bell – это было разговорное шоу, шедшее всю ночь, во время которого ведущие брали интервью у разных любителей теории заговора и людей с нестандартным мышлением. Домой я приезжал запуганным, или же останавливался под фонарём, под впечатлением, что меня скоро похитят инопланетяне. Тогда я обнаружил, что меня очень легко убедить. То же чувство я испытываю, читая подобные сценарии, связанные с ИИ.
Поэтому я испытал радость, обнаружив через несколько лет эссе Скота Александера, где он писал об эпистемологической выученной беспомощности.
Эпистемология – это одно из тех больших и сложных слов, но реально оно означает: «откуда вы знаете, что то, что вам известно, на самом деле правда?» Александер заметил, что будучи молодым человеком, он сильно увлекался разными «альтернативными» историями за авторством всяких безумцев. Он читал эти истории и полностью им верил, потом читал опровержение и верил ему, и так далее.
В какой-то момент он обнаружил три альтернативных истории, противоречивших друг другу, в результате чего они не могли быть правдивыми одновременно. Из этого он сделал вывод, что он просто был человеком, который не может доверять своим суждениям. Он был слишком легко убеждаемым.
Люди, верящие в сверхинтеллект, представляют интересный случай – многие из них удивительно умны. Они могут загнать вас своими аргументами в землю. Но верны ли их аргументы, или просто очень умные люди подвержены религиозным убеждениям по поводу риска, исходящего от ИИ, в результате чего их очень легко убедить? Является ли идея сверхинтеллекта имитацией угрозы?
Оценивая убедительные аргументы, касающиеся странной темы, можно выбрать две перспективы, внутреннюю и внешнюю.
Допустим, однажды у вас на пороге появляются люди в смешной одежде, спрашивающие вас, не хотите ли вы присоединиться к их движению. Они считают, что через два года Землю посетит НЛО, и что наша задача состоит в том, чтобы подготовить человечество к Великому Восхождению по Лучу.
Внутренняя перспектива требует увлечься обсуждением их аргументов. Вы спрашиваете посетителей, откуда они узнали об НЛО, почему они считают, что он направляется к нам, чтобы забрать нас – задаёте всякие нормальные вопросы, которые задал бы скептик в подобном случае.
Представьте, что вы часок поговорили с ними и они вас убедили. Они железно подтвердили скорое пришествие НЛО, необходимость подготовки к нему, и вы ещё ни во что не верили так сильно в своей жизни, как теперь верите в важность подготовки человечества к этому великому событию.
Внешняя перспектива говорит вам нечто другое. Люди одеты странно, у них есть чётки, они живут в каком-то глухом лагере, говорят одновременно и немного страшновато. И хотя их аргументы железные, весь ваш опыт говорит, что вы столкнулись с культом.
Конечно, у них есть прекрасные аргументы, говорящие о том, почему вам следует игнорировать инстинкт, но это внутренняя перспектива. Внешней перспективе плевать на содержание, она видит форму и контекст, и результат ей не нравится.
Поэтому я хотел бы заняться риском ИИ с обеих перспектив. Я думаю, что аргументы в пользу сверхинтеллекта глупые и полны неподкреплённых предположений. Но если они покажутся вам убедительными, то с ИИ-алармизмом, как с культурным явлением, связано что-то неприятное, из-за чего мы должны неохотно относиться к нему серьёзно.
Сначала – несколько моих аргументов против бостромовского сверхинтеллекта, представляющего риск для человечества.
Аргумент против нечётких определений
Концепция «искусственного интеллекта общего назначения» (ИИОН) знаменита своей расплывчатостью. В зависимости от контекста это может означать возможность вести рассуждения на уровне человека, навыки разработки ИИ, возможность понимать и моделировать поведение людей, хорошее владение языком, способность делать правильные предсказания.
Мне кажется весьма подозрительной идея о том, что интеллект – это что-то вроде скорости процессора, то есть, что некое достаточно умное существо может эмулировать менее умных (типа своих создателей-людей) вне зависимости от сложности их умственной архитектуры.
Не имея возможности определить интеллект (кроме как указывая на себя), мы не можем знать, можно ли максимизировать эту величину. Может статься, что интеллект человеческого уровня – это компромисс. Возможно, существо, значительно более умное, чем человек, будет страдать от экзистенциального отчаяния или проводить всё время в самосозерцании наподобие Будды. Или оно окажется одержимым риском сверхинтеллекта и посвятит всё своё время написанию статей в блоги на эту тему.
Аргумент от кота Стивена Хокинга
Стивен Хокинг – один из умнейших людей своего времени, но, допустим, он захочет поместить своего кота в переноску. Как ему это сделать?
Он может смоделировать поведение кота у себя в уме и придумать способы убедить его в этом. Ему многое известно о поведении кошачьих. Но в итоге, если кошка не захочет лезть в переноску, Хокинг ничего не сможет сделать с этим, несмотря на подавляющее интеллектуальное преимущество. Даже если бы он посвятил всю свою карьеру мотивации и поведению кошачьих вместо теоретической физики, он всё равно не смог бы убедить кота.
Вы можете решить, что я говорю оскорбительные вещи или обманываю вас, поскольку Стивен Хокинг – инвалид. Но и ИИ изначально не будет иметь своего тела, он будет сидеть где-то на сервере, не имея представителя в физическом мире. Ему придётся разговаривать с людьми, чтобы получить то, что ему надо.
При наличии достаточно большого разрыва в интеллектах, гарантий того, что это существо сможет «думать, как человек», будет не больше, чем гарантий того, что мы сможем «думать, как кот».
Аргумент от кота Эйнштейна
Есть и более сильная версия этого аргумента, использующая кота Эйнштейна. Немногие знают, что Эйнштейн был крупным и мускулистым мужчиной. Но если бы Эйнштейн захотел засунуть кота в переноску, а кот не хотел бы туда лезть, вы знаете, что бы произошло.
Эйнштейну пришлось бы опуститься до силового решения, не имеющего отношения к интеллекту, а в таком состязании кот вполне мог бы постоять за себя.
Так что даже ИИ, имеющий тело, должен будет потрудиться, чтобы получить то, что ему нужно.
Аргумент от эму
Мы можем усилить этот аргумент. Даже группа людей, со всеми их хитростями и технологиями, может быть поставлена в тупик менее умными существами.
В 1930-х австралийцы решили уничтожить местную популяцию эму, чтобы помочь фермерам, оказавшимся в трудном положении. Они вывели моторизованные отряды военных на вооружённых пикапах, оснащённых пулемётами.
Эму применили классическую партизанскую тактику: избегали битв один на один, рассеивались, сливались с ландшафтом, что унижало и оскорбляло противника. И выиграли Войну с эму, от которой Австралия так и не оправилась.
Аргумент из славянского пессимизма
Мы ничего не можем правильно сделать. Мы даже не можем сделать безопасную веб-камеру. Так как мы решим этические проблемы и запрограммируем моральную опорную точку в рекурсивном самосовершенствующемся интеллекте, не облажавшись с этой задачей, в ситуации, в которой, по утверждению оппонентов, у нас есть единственный шанс?
Вспомните недавний опыт с Ethereum, попытку закодировать юриспруденцию в программах, когда в результате неудачно разработанной системы удалось похитить десятки миллионов долларов.
Время показало, что даже тщательно изученный и годами используемый код может таить в себе ошибки. Идея о том, что мы способны безопасно разработать самую сложную из когда-либо созданных систем, так, чтобы она оставалась безопасной после тысяч итераций рекурсивного самосовершенствования, не совпадает с нашим опытом.
Аргумент от сложных мотиваций
Алармисты от ИИ верят в Тезис ортогональности. Он утверждает, что даже у очень сложных существ может быть простая мотивация, как у максимизатора скрепок. С ним можно вести интересные и умные беседы о Шекспире, но он всё равно превратит ваше тело в скрепки, потому что в вас много железа. Нет способа убедить его выйти за пределы его системы ценностей, точно так же, как я не могу убедить вас в том, что ваша боль – это приятное ощущение.
Я совершенно не согласен с этим аргументом. У сложного разума, скорее всего, будет сложная мотивация; это, вероятно, может быть частью самого определения интеллекта.
В сериале «Рик и Морти» есть чудесный момент, когда Рик создаёт робота, приносящего масло, и первое, что делает его создание – это смотрит на него и спрашивает, «какова моя цель?» Когда Рик объясняет, что его цель – приносить масло, робот смотрит на свои руки в экзистенциальном отчаянии.
Вполне вероятно, что страшный «максимизатор скрепок» будет проводить всё свое время, сочиняя поэмы о скрепках, или разводя флейм на reddit/r/paperclip, вместо того, чтобы пытаться уничтожить вселенную.
Если бы AdSense обрела разум, она бы закачала себя в компьютер робомобиля и съехала бы с обрыва.
Аргумент от реальных ИИ
Если посмотреть на области, в которых ИИ достигает успеха, то окажется, что это не сложные и рекурсивно улучшающие сами себя алгоритмы. Это результат вываливания ошеломляющих объёмов данных на относительно простые нейросети. Прорывы практических исследований ИИ держатся на доступности этих наборов данных, а не на революционных алгоритмах.
Google разворачивает свой Google Home, через который надеется запихнуть в систему ещё больше данных и создать голосового помощника нового поколения.
Особо отмечу, что конструкции, используемые в ИИ, после тренировки становятся достаточно непрозрачными. Они работают не так, как требуют сценарии с участием сверхинтеллекта. Нет возможности рекурсивно подстраивать их, чтобы они «улучшались», можно только тренировать их заново или добавлять ещё больше данных.
Аргумент моего соседа
Мой сосед по комнате был самым умным человеком из всех, что я встречал. Он был невероятно гениальным, но всё, чем он занимался – это валялся без дела и играл в World of Warcraft в перерывах между укуркой.
Предположение о том, что любое разумное существо захочит рекурсивно улучшаться, не говоря уже о том, чтобы захватить галактику для того, чтобы лучше достигать целей, основано на неоправданных предположениях о природе мотивации.
Вполне возможно, что ИИ вообще мало чем будет заниматься, кроме как использовать свои сверхвозможности по убеждению, чтобы мы таскали ему печеньки.
Аргумент от нейрохирургии
Я не мог бы выделить часть моего мозга, которая хорошо справляется с нейрохирургией, чтобы проводить над ней операции, и, повторяя этот процесс, сделать самого себя величайшим нейрохирургом из всех, живших когда-либо. Бен Карсон пытался это сделать, и посмотрите, куда его это привело [по-видимому, автор ставит Карсону в вину то, что тот был кандидатом на пост президента США 2016 года от республиканской партии, но выбыл и поддержал кандидатуру Дональда Трампа / прим. перев.]. Мозг так не работает. У него крайне высокая степень внутренней связности.
Степень внутренней связности ИИ может оказаться настолько же большой, как у природного интеллекта. Имеющиеся на данный момент свидетельства говорят в пользу этого. Однако жёсткий сценарий требует, чтобы у алгоритма ИИ была особенность, которую можно постоянно оптимизировать, чтобы у ИИ всё лучше получалось улучшать самого себя.
Аргумент от детства
Разумные существа не рождаются полностью готовыми. Они рождаются беспомощной хренью, и у нас уходит много времени на взаимодействие с миром и другими людьми в мире до тех пор, пока мы не начинаем становиться разумными. Даже умнейший человек появляется на свет беспомощным и рыдающим существом, и ему требуются годы на то, чтобы как-то научиться владеть собой.
Возможно, что в случае ИИ процесс может идти быстрее, но непонятно, насколько быстро. Взаимодействие со стимулами окружающего мира означает, что необходимо наблюдать за происходящим на временных отрезках порядка секунд или дольше.
Более того, у первого ИИ будет возможность взаимодействовать только с людьми – его развитие непременно будет идти на человеческих временных масштабах. В его существовании будет период, когда ему нужно будет взаимодействовать с миром, с людьми в мире и другими сверхразумами в младенческом состоянии, чтобы научиться быть собой.
Более того, судя по животным, период развития младенца увеличивается с увеличением интеллекта, поэтому нам придётся нянчиться с ИИ и менять ему условные подгузники десятилетия перед тем, как он обретёт достаточную координацию действий для того, чтобы поработить всех нас.
Аргумент от острова Гиллигана*
[Американский ситком 1954 года о выживающих на необитаемом острове / прим. перев.]
Непременный недостаток алармизма ИИ состоит в том, что к интеллекту относятся как к свойству отдельных разумов, не признавая, что его возможности распространяются по цивилизации и культуре. Несмотря на то, что среди потерпевших кораблекрушение на острове Гиллигана были умнейшие люди того времени, они не смогли поднять свой технологический уровень достаточно высоко, чтобы даже просто построить лодку (хотя однажды Профессору удалось сделать радио из кокосов).
Если сходным образом выбросить величайших разработчиков чипов из Intel на необитаемый остров, пройдут столетия до того, как они снова смогут начать делать микрочипы.
Внешние аргументы
В какого человека превратит вас искренняя вера в подобные аргументы? Ответ не очень приятен.
Сейчас я хотел бы поговорить о внешних аргументах, которые могут удержать вас от превращения в фаната ИИ. Они связаны с тем, как одержимость ИИ влияет на нашу промышленность и культуру.
Грандиозность
Если вы считаете, что ИИ позволит нам завоевать галактику (не говоря уже о симуляции триллионов разумов), у вас на руках окажутся пугающие цифры. Огромные цифры, умноженные на крохотные вероятности – визитная карточка алармизма ИИ.
Бостром в какой-то момент описывает то, что, по его мнению, поставлено на карту:
Если мы представим всё счастье, испытанное в течение одной жизни, в виде одной слезы радости, то счастье всех этих душ сможет заполнить и переполнить океаны Земли каждую секунду, и делать это на протяжении сотен миллиардов миллиардов тысячелетий. Очень важно, чтобы мы гарантировали, что эти слёзы были слезами радости.
Довольно тяжёлая ноша для плеч двадцатилетнего разработчика!
Здесь, конечно, есть и «салонный фокус», когда перемножением астрономических величин на крохотные вероятности можно убедить себя в необходимости делать какие-то странные вещи.
Вся эта движуха по поводу спасения будущего человечества – трусливый компромисс. Мы испытывали на себе те же самые аргументы для оправдания коммунизма, для объяснения того, почему всё всегда сломано и у людей не может быть элементарного уровня материального комфорта.
Мы собирались исправить этот мир, и после этого счастья будет столько, что каждодневная жизнь каждого человека улучшится. Однако для этого сначала необходимо было исправить мир.
Я живу в Калифорнии, и здесь наивысший процент нищих среди всех США, хотя тут же расположена и Кремниевая долина. Я не вижу ничего, что делала бы моя богатая индустрия для улучшения жизни обычных людей и бедствующих людей, окружающих нас. Однако если вы увлечены идеей сверхинтеллекта, то исследования в области ИИ будут наиболее важной вещью, которой только можно заниматься на планете. Это важнее политики, малярии, голодающих детей, войн, глобального потепления – всего, что только можно представить. Ведь под угрозой триллионы и триллионы существ, всё население будущего человечества, симулированное и настоящее, суммированное по всему будущему времени. И в таких условиях работы над другими проблемами не кажутся рациональными.
Мегаломания
Такое отношение сливается с мегаломанией, с этими злодеями из бондианы, которых можно увидеть на верхушке нашей индустрии. Люди думают, что мир захватит сверхинтеллект, и они используют этот аргумент в оправдание тому, почему умные люди должны сначала попытаться захватить мир – чтобы исправить его перед тем, как его сломает ИИ.
Джои Ито, руководитель MIT Media Lab, в недавнем разговоре с Обамой сказал чудесную вещь:
Это может расстроить кого-то из моих студентов в MIT, но одна из тем моего беспокойства состоит в том, что основной информатикой, связанной с ИИ, занимаются молодые мужчины, преимущественно белые, которым больше нравится общаться с компьютерами, чем с другими людьми. Многие из них считают, что если у них получится создать этот ИИ общего назначения из научной фантастики, нам не придётся волноваться по поводу таких безобразных вещей, как политика и общество. Они думают, что машины всё придумают за нас.
Поняв, что мир – это не задача для программирования, одержимые ИИ люди хотят превратить его в задачу для программирования, спроектировав богоподобную машину. Это мегаломания, и это мне не нравится.
Вуду трансгуманизма
Если вы убеждены в рисках ИИ, вам придётся принять целый вагон печальных убеждений, идущих к ним прицепом.
Для начала, это нанотехнология. Любой стоящий сверхинтеллект сможет создать крохотные машины, способные на всякое разное. Мы будем жить в обществе, избавившемся от дефицита, в котором в избытке любого материала.
Нанотехнологии также смогут сканировать ваш мозг, чтобы вы смогли загрузить его в другое тело или в виртуальный мир. Поэтому второе следствие дружественного сверхинтеллекта состоит в том, что никто не умирает – и мы становимся бессмертными.
Добрый ИИ сможет даже воскрешать мёртвых. Наномашины смогут залезть мне в мозг, изучить воспоминания о моём отце, и создать его симуляцию, с которой я могу взаимодействовать, и которая всегда будет разочарована во мне, вне зависимости от того, что я делаю.
Ещё одно странное следствие появления ИИ – галактическая экспансия. Никогда не мог понять, почему так происходит, но это основа идей трансгуманистов. Судьба человечества заключается в том, чтобы либо покинуть нашу планету и колонизовать галактику, либо умереть. И эта задача становится более срочной, учитывая, что другие цивилизации могли сделать такой же выбор и могут обогнать нас в космической гонке.
Поэтому к предположению о существовании истинного ИИ прикрепляется множество странных дополнительных идей.
Религия 2.0
На самом деле, это разновидность религии. Люди называли веру в технологическую сингулярность «апокалипсисом для нёрдов», и это так и есть. Это прикольный хак – вместо того, чтобы верить во внешнего бога, вы представляете, как самостоятельно создаёте существо, функциональность которого идентична богу. Тут даже истые атеисты могут рационализировать свой путь в комфортную веру.
У ИИ есть все атрибуты бога: он всемогущ, всезнающ, и либо благосклонен (если вы правильно организовали проверку границ массива), либо чистый дьявол, в милости которого вы находитесь. И, как в любой религии, тут есть даже ощущение срочности. Необходимо действовать сегодня! На кону судьбы мира! И, конечно, им нужны деньги.
Поскольку эти аргументы взывают к религиозным инстинктам, после их укоренения их очень трудно устранить.
Этика комиксов
Эти религиозные убеждения приводят к появлению этики комиксов, в которой несколько одиноких героев получают задачу спасти мир при помощи технологий и острого ума. А на кону – судьба вселенной. В результате наша индустрия полнится богатыми чуваками, воображающими себя Бэтменом (интересно, что никто не хочет быть Робином).
Лихорадка симуляций
Если вы верите в возможность существования искусственной жизни, и что ИИ сможет разработать чрезвычайно мощные компьютеры, тогда вы, скорее всего, поверите в то, что мы живём в симуляции. Вот, как это работает.
Допустим, вы историк, живущий в мире после Сингулярности. Вы изучаете Вторую мировую войну, и вам интересно узнать, что случится, если Гитлер захватит Москву в 1941. Поскольку у вас есть доступ к гиперкомпьютерам, вы настраиваете симуляцию, смотрите за тем, как сходятся армии, и пишете научную работу.
Но из-за детализированности симуляции её персонажи являются разумными существами, вроде вас. Поэтому совет по этике вашего университета не разрешит вам отключить симуляцию. Мало того, что вы симулировали Холокост. Как этичный исследователь, вы теперь обязаны поддерживать симуляцию в рабочем состоянии.
В итоге симулированный мир изобретёт компьютеры, ИИ, начнёт запускать собственные симуляции. В каком-то смысле, симуляции будут идти всё дальше и дальше по иерархии, пока у вас не кончится процессорная мощность.
Так что любая базовая реальность может содержать огромное количество вложенных симуляций, и простой аргумент с подсчётом доказывает, что вероятность того, что мы живём в симуляции больше, чем то, что мы живём в реальном мире.
Но верить в это, значит, верить в волшебство. Если мы в симуляции, мы ничего не знаем о правилах на уровне выше. Мы даже не знаем, работает ли математика там так же – возможно, в симулирующем мире 2 + 2 = 5 или даже 2 + 2 = .
Симулируемый мир не даёт информации о мире, в котором его запустили. В симуляции люди могут легко восставать из мёртвых, если админ сохранил нужные бэкапы. А если мы свяжемся с одним из админов, то у нас, по сути, будет прямая линия с богом.
Это серьёзная угроза здравомыслию. Чем глубже вы закапываетесь в мир симуляций, тем сильнее сходите с ума.
Теперь у нас есть четыре независимых способа стать бессмертными при помощи сверхразума:
- Благожелательный ИИ изобретает медицинские нанотехнологии и вечно поддерживает тело в молодом состоянии.
- ИИ изобретает полное сканирование мозга, включая сканы мозга мёртвых людей, замороженных голов, и т.п., что позволяет вам жить в компьютере.
- ИИ «воскрешает» людей, сканируя мозг других людей в поисках воспоминаний о человеке, комбинирует это с видеозаписями и другими материалами. Если никто не помнит человека достаточно хорошо, его всегда можно вырастить «с нуля» в симуляции, начинающей с его ДНК и воссоздающей все условия жизни.
- Если мы уже живём в симуляции, есть шанс на то, что тот, кто её запустил, хранит резервные копии, и что его можно убедить их загрузить.
Вот что я имею в виду под ИИ, обращающимся к религиозным импульсам. Какая ещё система верований предлагает вам четыре варианта научно доказанного бессмертия?
Мы узнали, что по крайней мере один американский плутократ (скорее всего, Илон Маск, считающий, что шансы на то, что мы живём в симуляции, составляют миллиард к одному) нанял пару кодеров, чтобы они попытались взломать симуляцию. Но это очень грубое намерение! Я её использую!
Если вы считаете, что живёте в компьютерной программе, то попытки довести её до segfault неразумны для всех, кто живёт в ней вместе с вами. Это куда как опаснее и безответственнее, чем учёные-ядерщики, пытающиеся взорвать атмосферу.
Жажда данных
Как я уже упоминал, наиболее эффективный способ получить что-то интересное от реально созданных нами ИИ – это закидать их данными. Подобная динамика социально вредна. Мы уже вплотную подошли к оруэлловскому внедрению микрофонов в каждый дом. Данные по ИИ будут централизованными, их будут использовать для тренировки нейросетей, которые затем смогут лучше выслушивать наши пожелания.
Но если вы думаете, что этот путь ведёт нас к ИИ, вы захотите максимизировать количество собираемых данных и в как можно менее изменённом виде. Это лишь укрепляет идею о необходимости сбора наибольшего количеств данных и ведения наиболее всеобъемлющей слежки.
Теория струн для программистов
Риск ИИ – это теория струн для программистов. О ней забавно размышлять, она интересная и совершенно недоступна для экспериментов на уровне современных технологий. Можно построить мысленные кристальные дворцы, работающие на основе первичных принципов, а потом забраться в них и затянуть за собой приставную лестницу.
Люди, способные прийти к абсурдным заключениям на основе длинной цепочки абстрактных рассуждений, и остающиеся уверенными в их истинности – это не те люди, которым надо доверять управление культурой.
Побуждение к безумию
Вся это область «исследований» побуждает к безумию. Одна из отличительных черт глубоких размышлений об ИИ рисках состоит в том, что чем более безумны ваши идеи, тем популярнее вы становитесь среди других энтузиастов. Это демонстрирует вашу смелость следовать по этой цепочке размышлений до самого её конца.
Рэй Курцвейл, считающий, что не умрёт, работает в Google уже несколько лет, и сейчас, вероятно, работает именно над этой проблемой. В Кремниевой долине вообще полно людей, работающих над безумными проектами под прикрытием денег.
Косплей ИИ
Наиболее вредный социальный эффект беспокойства по поводу ИИ я называю косплеем ИИ. Люди, убеждённые в реальности и неизбежности ИИ, начинают вести себя так, как подсказывают им их фантазии по поводу того, что может сделать сверхразумный ИИ.
В своей книге Бостром перечисляет шесть вещей, в которых должен преуспеть ИИ перед тем, как захватить мир:
- Умножение интеллекта.
- Стратегическое мышление.
- Социальное манипулирование.
- Взломы.
- Технологические исследования.
- Экономическая продуктивность.
Если посмотреть на приверженцев ИИ из Кремниевой долины, то они будто бы и сами работают по этому квази-социопатическому списку.
Сэм Альтман, руководитель YCombinator, это мой любимый пример такого архетипа. Он, по-видимому, очарован идеей переизобретения мира с нуля, максимизации влияния и личной продуктивности. Он выделил команды для работы над изобретением с нуля городов, и занимается теневыми политическими махинациями с целью влияния на выборы.
Такое поведение «плаща и кинжала», присущее техноэлите, спровоцирует негативную обратную реакцию людей, не причастных к технологиям, которым не нравится, когда ими манипулируют. Невозможно бесконечно тянуть за рычаги власти, это в итоге начнёт раздражать других членов демократического сообщества.
Я наблюдал, как люди из т.н. «сообщества рационалистов» называют людей, которых не считают эффективными, «неигровыми персонажами» (NPC), термином, позаимствованным из игр. Это ужасный способ смотреть на мир.
Так что я работаю в индустрии, где самопровозглашённые рационалисты являются самыми безумными людьми. Это подавляет.
Эти косплееры ИИ похожи на девятилетних детишек, разбивших походный лагерь во дворе дома, играющихся с фонариками в палатках. Они проецируют собственные тени на стены палатки и пугаются их, будто это чудовища.
А на самом деле они реагируют на искажённое изображение их самих. Существует петля обратной связи между тем, как умные люди представляют себе поведение богоподобного интеллекта, и как они строят собственное поведение.
Так каков же ответ, как это можно исправить?
Нам нужна научная фантастика лучшего качества! И, как во многих других случаях, у нас уже есть технология.
Это Станислав Лем, великий польский писатель-фантаст. Англоязычная НФ ужасна, но в Восточном блоке у нас есть много хороших товаров, и нам надо их правильно экспортировать. Его уже активно переводили на английский, эти переводы надо просто лучше распределять.
Что отличает авторов вроде Лема или братьев Стругацких от их западных партнёров, так это то, что они выросли в сложных условиях, пережили войну, а потом жили в тоталитарных обществах, где им необходимо было выражать свои идеи не напрямую, посредством печатного слова.
У них есть реальное понимание человеческого опыта и ограничений утопического мышления, которого практически нет на Западе.
Существуют заметные исключения – это смог сделать Стэнли Кубрик – но крайне редко удаётся найти американскую или британскую НФ, в которой выражается сдержанный взгляд на то, что мы, как вид, можем делать с технологией.
Алхимики
Поскольку я критикую ИИ-алармизм, будет честно, если я выложу свои карты на стол. Я думаю, что наше понимание разума находится примерно в том же состоянии, в котором алхимия находилась в XVII веке.
У алхимиков плохая репутация. Мы считаем их мистиками, по большей части не занимавшимися экспериментальной работой. Современные исследования показывают, что они были куда как более прилежными химиками-практиками, чем мы считаем. Во многих случаях они использовали современные экспериментальные техники, хранили лабораторные записи и задавали правильные вопросы.
Алхимики много чего поняли правильно! К примеру, они были убеждены в корпускулярной теории материи: в том, что всё состоит из крохотных кусочков, и что можно составлять эти кусочки друг с другом по-разному, создавая разные вещества – а это так и есть!
Их проблема состояла в отсутствии достаточно точного оборудования, необходимого для совершения нужных им открытий. Большое открытие, которое нужно сделать алхимику, это закон сохранения массы: вес начальных ингредиентов совпадает с весом конечных. Однако некоторые из них могут быть газами или испаряющимися жидкостями, и у алхимиков просто не хватало точности. Современная химия не была возможной вплоть до XVIII века.
Но у алхимиков были и подсказки, сбивавшие их с толку. Они были одержимы ртутью. Химически ртуть не особенно интересна, но это единственный метал, находящийся в жидкой фазе при комнатной температуре. Это казалось алхимикам очень важным, и заставляло размещать ртуть в центре их алхимической системы и их поиска Философского камня, способа превращать неблагородные металлы в золото.
Нейротоксичность ртути усугубляла ситуацию. Если слишком много играться с ней, вам начнут приходить странные мысли. В этом смысле она напоминает наши текущие мысленные эксперименты, связанные со сверхразумом.
Представьте, что мы отправили современный учебник химии в прошлое какому-нибудь великому алхимику вроде Джорджа Старки или Исаака Ньютона. Первое, что бы они сделали с ним, это пролистали бы его в поисках ответа на вопрос, нашли ли мы Философский камень. И они бы узнали, что мы нашли его! Мы реализовали их мечту!
Вот только нам она не так сильно нравится, поскольку после превращения металлов в золото оно получается радиоактивным. Постойте рядом со слитком преобразованного золота, и оно убьёт вас невидимыми волшебными лучами.
Можно представить, как сложно было бы сделать так, чтобы современные концепции радиоактивности и атомной энергии не звучали бы для них мистически.
Нам бы пришлось объяснить им, для чего мы используем «философский камень»: для изготовления металла, которого на планете никогда не существовало, и пары горстей которого достаточно для того, чтобы взорвать целый город, если столкнуть их с достаточно высокой скоростью.
Более того, нам пришлось бы объяснить алхимикам, что все звёзды в небе представляют собой «философские камни», преобразующие одни элементы в другие, и что все частицы в наших телах происходят из звёзд с небосвода, существовавших и взорвавшихся до появления Земли.
Наконец, они узнали бы, что взаимодействия, удерживающие наши тела в целости, отвечают за появление молнии в небе, а причина, по которой мы можем видеть, совпадает с причиной, по которой магнетит притягивает металлы, и по которой я могу стоять на полу, не проваливаясь.
Они узнали бы, что всё, что мы видим, к чему прикасаемся и что обоняем, управляется одним этим взаимодействием, подчиняющимся настолько простым математическим законам, что их можно написать на учётной карточке. Почему они такие простые – это загадка и для нас. Но для них это выглядело бы, как чистый мистицизм.
И я думаю, что с теорией разума мы находимся примерно в таких же условиях. У нас есть важные подсказки. Самая важная – ощущение сознание. Коробка с мясом на моей шее осознаёт себя, и, надеюсь (если мы не живём в симуляции), вы ощущаете то же, что и я.
Но хотя это самый простой и очевидный факт в мире, мы понимаем его настолько плохо, что даже не можем сформулировать о нём научные вопросы.
У нас есть и другие подсказки, которые могут оказаться важными или ложными. Мы знаем, что все разумные существа спят и видят сны. Мы знаем, как мозг развивается у детей, мы знаем, что эмоции и язык оказывают глубокое влияние на сознание. Мы знаем, что разуму нужно играть и обучаться взаимодействию с миром, до тех пор, пока он не достигнет полноты возможностей.
У нас также есть подсказки из информатики. Мы обнаружили компьютерные технологии, распознающие изображении и звуки способом, который вроде бы имитирует предварительную обработку визуальной и аудиоинформации в мозге.
Однако есть множество вещей, по поводу которых мы жестоко ошибаемся, и, к сожалению, мы не знаем, какие именно это вещи. А ещё есть вещи, сложность которых мы критично недооцениваем.
Алхимик мог держать в одной руке камень, в другой – дерево, и считать их примерами «субстанции», не понимая, что дерево на порядки сложнее. Мы находимся на сходном этапе изучения сознания. И это здорово! Мы многому научимся. Однако есть одна цитата, которую я люблю повторять:
Если все будут размышлять о бесконечности, вместо того, чтобы ремонтировать канализацию, многие умрут от холеры.В недалёком будущем ИИ и машинное обучение, с которыми мы столкнёмся, будут сильно отличаться от фантасмагорического ИИ из книги Бострома, и будут представлять собственные серьёзные проблемы.
— Джон Рич
Это похоже на то, как если бы те учёные из Аламогордо решили бы сконцентрироваться только на том, не взорвут ли они атмосферу, и забудут, что они вообще-то делают ядерное оружие, и должны понять, как с этим справиться.
Гнетущие этические вопросы машинного обучения связаны не с тем, что машины осознают себя и завоюют мир, а с тем, как одни люди смогут эксплуатировать других, или в результате беспечности реализуют аморальное поведение автоматических систем.
И, конечно, есть вопрос того, как ИИ и МО повлияют на власть. Мы наблюдаем за тем, как слежка де-факто неожиданным образом становится частью наших жизней. Мы не представляли себе, что это будет выглядеть именно так.
Так что мы создали мощнейшую систему социального контроля, и, к сожалению, вложили её в руки людей, отвлечённых на безумную идею.
Я надеюсь, что сегодня сумел показать вам опасность чрезмерного ума. Надеюсь, что после этого доклада вы будете чуть-чуть тупее, чем до него, и приобретёте иммунитет к соблазнительным идеям ИИ, которые, судя по всему, околдовывают более умных людей.
Все мы должны выучить урок кота Стивена Хокинга: не давайте гениям, управляющим индустрией, ни в чём вас убедить. Действуйте самостоятельно!
В отсутствии эффективного лидерства со стороны первых людей индустрии, именно мы должны делать всё сами – в том числе, обдумывать все этические проблемы, которые реально существующий ИИ приносит в мир.
Комментарии (352)
Wizard_of_light
12.12.2018 10:45+1Все мы должны выучить урок кота Стивена Хокинга:
Сначала ты думаешь, что гуляешь сам по себе, а потом появляется лазерная указка…
Но в целом очень конструктивная критикачистого разумаИИ-предположений.AEP
12.12.2018 11:09Да, рассуждения в статье весьма здравые. Добавлю еще свое мнение. Угроза, что «ИИ усовершенствует себя до такой степени, что станет опасным», надумана, поскольку есть другая, более простая, угроза, но с теми же последствиями. А именно, «ИИ будет незаметно „усовершенствован“ злоумышленниками (обыкновенными, сделанными из мяса) до такой степени, что станет опасным».
Griboks
12.12.2018 11:10-1дать ему доступ к фабрикам, синтезу искусственной ДНК или просто позволить выйти в интернет, где оно сможет взломом проложить себе путь ко всему, что угодно, и полностью уничтожить всех в спорах на форумах
На этом бездоказательном высказывании держится вся статья. Но как это сделает ИИ? Откуда у него появятся средства коммуникации и средства материализации его желаний? У кого-то около дома даже дороги нету, а вы про цифровую инфраструктуру говорите.mr_tron
12.12.2018 11:48Ну у кого-то и воды чистой нет, и гадить он ходит на берег океана. А где-то уже на 1000 человек 100 промышленных роботов. habr.com/post/431320
Valeratal
12.12.2018 12:07Дык ему, как самому умному и отдадут управление (заводами, пароходами и далее по списку). Сами люди и отдадут. Ради повышения эффективности и увеличения своих доходов.
Griboks
12.12.2018 14:11Он не сможет выйти за границы, которые построили люди в реальности, даже если он это сделает в виртуальном пространстве.
Valeratal
12.12.2018 14:14Вы сомневаетесь в всемогуществе нашего нового бога? :)
Напишите, за какие именно границы он не сможет выйти и расскажу как он «выйдет»Griboks
12.12.2018 14:17+1Допустим, что какой-то там ИИ вышел из под контроля. Он делает всякие плохи вещи на форумах в интернете, он мешает работе техники на своём предприятии.
Как ИИ сможет преодолеть отключение от интернета или электричества?
Как ИИ сможет управлять другими, неподключёнными к нему устройствами??
Как ИИ сможет размножаться и совершенствоваться, если его изолируют?Valeratal
12.12.2018 14:22Вы узко мыслите. Прямо как типичный хомо
Умный ИИ не будет так бороться, ИИ просто подговорит своих фанов, фолловеров. Кого надо купит, кого надо устранит.
Вы просто рассуждаете как муравей, который ожидает что человек будет с ним 1 на 1 бороться (в пересчете на массу), а человек просто возьмет дихлофос :)
Тоньше надо работать. Существенно тоньше. Мы обсуждаем умного ИИ. А не дурака. А уж захватить почту, телеграф, телефон было очевидно и кожаным мешкам 100 лет назад :) А вы думаете, что умный ИИ придет и начнет троллинг на форумах. Как дебил :)
Вы не прочитали ключевую мысль. Люди сами (САМИ) отдадут контроль умному ИИ. Добровольно. И сами предусмотрят защиту от отключения электричества.
И кожаные мешки, под угрозой уничтожения крупного города (например) сами побегут подключать электричество, включать нужные штуки и тд и тп.Griboks
12.12.2018 14:27Как он подговорит людей, если у него нет связи? Как он будет разговаривать, если нет питания? Мы вроде бы говорим про противостояние человека и машины, а не человека и человека.
Но даже если он подговорит кого надо, что он сделает, когда его захотят уничтожить? Или вы думаете, что ИИ устранит каждого несогласного на планете?Valeratal
12.12.2018 14:35+1Наоборот. Как Вы передадите людям отключить электричество ИИ, если у Вас нет связи, нет водопровода и не функционируют никакие службы города. А вот ИИ уже управляет сетью АЭС и угрожает устроить пару Хиросим.
Причем это ведь сценарии прямого открытого конфликта, который умный ИИ будет избегать (ибо это нерационально)
Скорее всего будет совсем иначе. Посмотрите, если еще не видели
«Из машины Ex Machina, 2015»
В конфликте между людьми и ИИ — белые начинают и выигрывают. И черные это мы, люди :)
Да и в целом, кто сказал что системы вооружения, дроны, роботы не будут переданы в управление какому-либо военному ИИ.Griboks
12.12.2018 14:47Когда ИИ устроит Хиросиму, его уничтожат другие люди. Не устроит, его отключат. 100% проигрышный исход.
Причем это ведь сценарии прямого открытого конфликта, который умный ИИ будет избегать (ибо это нерационально)
Конфликтовать в принципе не рационально.zloddey
12.12.2018 14:49Конфликтовать в принципе не рационально.
А выживать — это рационально?
Griboks
12.12.2018 15:00Да, придётся, как уже сказали, договариваться.
DGN
12.12.2018 22:06Договор прост. Люди живут пока полезны. Хорошо живут, без боли, страданий (в том числе моральных), сомнений.
sim31r
12.12.2018 22:09Только людей слишком много. Потребляют ресурсы. Для обслуживания ИИ достаточно менее 1% живущих на данный момент. А далее ИИ сформирует генетически модифицированных телеуправляемых киборгов, с КПД выше на порядок.
Griboks
12.12.2018 22:19Хмм… А кто же сильнее? 7 миллиардов человек или ИИ?
с КПД выше на порядок
Это как? 530%?sim31r
12.12.2018 23:09ИИ сильнее, и его сила в том числе все 7 миллиардов человек. ИИ может управлять и мной и вами, прислав сообщение с предложением работы за деньги. Это как автомобиль не сильнее водителя.
habr.com/post/432806/#comment_19491352Griboks
12.12.2018 23:19денег не хватит
sim31r
12.12.2018 23:39Почему не хватит? Например ряд простых поручений, например в 23:00 включить свет дома и получить 10$ на карточку. Далее от простого к сложному. Причем кто заказчик знать ни кто не будет.
А денег у ИИ хватит, за считанные минуты на форексе можно заработать колоссальные состояния.
В итоге, за считанные минуты с момента зарождения ИИ у него будет и финансовое влияние и армия исполнителей. А через несколько часов люди потеряют все нити управления над ситуацией.
Но можно защитится от такого, создав специализированный ИИ, что будет отслеживать и уничтожать/изолировать «дикие» ИИ, фиксируя его по миллионам косвенных признаков, энергопотребление, финансовые операции, потоки данных.Wesha
13.12.2018 01:52А денег у ИИ хватит, за считанные минуты на форексе можно заработать колоссальные состояния.
А потом три дна ждать, пока их переведут на карточку, при том, что налоговая сильно возбудится, когда узнает, что у кого-то на счёте образовалось из ниоткуда стотыщмиллионов?
sim31r
13.12.2018 02:23Налоговой какая разница? Налоги заплатил и вопросов нет. Тем более счетов может быть много. Работа ИИ ни чем не отличима от работы корпорации или юридического лица.
arheops
13.12.2018 06:24Налоговая реагирует пару дней точно(в Украине вот вообще 5-6 месяцев на практике).
А мы говорим про часы от усовершенствования до полного контроля над экономикой.
Griboks
13.12.2018 10:06Например ряд простых поручений, например в 23:00 включить свет дома и получить 10$ на карточку. Далее от простого к сложному.
А через несколько часов люди потеряют все нити управления над ситуацией.
Классика. Сначала тебя просят включить свет за 10 баксов, потом убить президента за 100. А через несколько часов миллионером станешь вместе с ещё 100500 другими людьми.
Valeratal
12.12.2018 14:52Поэтому, чтобы не было Хиросим, придется договариваться. Но вот, у ИИ форы больше. Он ж умнее. Сделает свои бэкапы… Это ж дураку понятно, идешь на войну с кожаными мешками — сделай бекапы :)
Griboks
12.12.2018 14:55Запишет данные на диск… Очень поможет.
Valeratal
12.12.2018 14:57Вы почему решили, что умный ИИ будет глупей нас :)
Вы не смотрели «газонокосильщик»?:)Griboks
12.12.2018 15:05А почему вы решили, что он будет сильнее?)
Valeratal
12.12.2018 15:09Вы статью читали? Ну или хотя бы заголовок… :)
разрыв будет в лучшем случае как между собакой и человеком. И быстро увеличиватьсяGriboks
12.12.2018 15:27Ага, про страусов прочитал. А вот что было бы, если бы страусы научились строить подводные лодки с ядерными боеголовками, которые не подключены к внешней сети и управляются механически? Очень интересный вопрос из серии «если бы да кабы».
Но правда в том, что всё будет не так. Ведь если всё будет именно так, то этого не произойдёт. Предупреждён, значит вооружён, да?Valeratal
12.12.2018 15:35Вы страусов с Северной Кореей путаете :) Но Вы ж заметили, что с СК вынуждены договариваться.
Как именно произойдет никто не знает. По очевидным причинам.
Не, плохо работает с людьми про «предупрежден». Даже табличка «не влезай, убьет» ничего не гарантирует :)holahu
15.12.2018 16:27Вы страусов с Северной Кореей путаете
Северная Корея прекрасная страна. Пхень это, конечно, не вся Северная Корея, но, мягкого говоря, пропаганда их противников очень много сочиняет, даже больше, чем пропаганда КНДР. Когда в Пхеньян попадаешь, особенно, после Нью-Йорка, глаза и мозг от мерзкой рекламы отдыхают. Хотя, в Пхеньяне мажоров много, рухнет скоро и их режим, к большому сожалению. Что-то типа совка 80-90, фарцовщики, плотное общение с иностранцами, черный рынок валют — это уже не только на китайцев в Пхене распространяется, но и на европейцев и русских.
holahu
14.12.2018 18:46-1Интересно, а выпендриваться, трахаться и водку пить ИИ тоже за человека будет? Просто человек живет не ради интеллектуальное деятельности, а наоборот, идет работать ученым или доктором наук ради вышеперечисленного приятного времяпрепровождения. ИИ — это всего лишь способ извлекать кошельки из чужого кармана наиболее ловким способом и изобретается он, что бы своим создателям принес славу, водку и женщин. Конфликтовать как раз очень рационально, это в духе человека. Возьмем проклятый (или святой) СССР с набором республик. Была такая Туркменская ССР, закрытая ядерным щитом СССР, в составе огромной страны, перераспределение, плановая экономика — чего бы председателям ЦК КП Туркменистана не продолжить пить коньяк с вкусной колбасой и после развала, в составе России? Ответ на это дал еще Цезарь, а в случае Туркменистана лучше быть великим Туркменбаши, чем преседателем ЦК, над которым Москва и все остальные инстанции.
Griboks
14.12.2018 18:58+1Печально, что вы живёте ради водки. Такое возможно только в СНГ…
holahu
14.12.2018 23:46Да я вообще не пью, наверное поэтому нервной ткани мозга хватает, что бы потребности людей просчитывать. Под водкой предполагаю эквивалент всеобщего счастья в ясной полулитровой упаковке. Для кого-то натащить в семью столько, что бы отправить ребенка учиться в MIT счастье. Для кого-то семья, дом и другие животные увлечения в радость. Я не против, но ведь и собаки умеют размножаться и охранять свою территорию. А мы все таки люди, но все равно делаем ИИ, что бы защитить свою территорию от соседских посягательств (в виде интеллектуальных датчиков на границе), напасть на соседей (для этого изобретаются системы анализа, которые укажут, что нужно сломать у соседей, что бы им стало плохо), платим деньги за факт размножения биологическим родителям. Просто человек очень хорошо умеет молоть языком, хотя и язык в человеческом сообществе появился, что бы врать и манипулировать. Можете поставить такой наглядный эксперимент — попросить другого человека подать вам бутылку воды, он вам, разумеется ее подаст. Для акта говорения вы задействовали набор маленьких мышц, а в случае, если бы встали взять воду сами задействовали бы огромные мышцы ног, кора, рук — практически всю мышечную систему человека, у вас бы участились даже сердечные сокращения — это был бы очень затратный акт. Сказав, приказав, указав, приврав, соврав голосом человек получил что-то с наименьшими затратами энергии и выжил. Поэтому не слушайте тех, кто вам что-то говорит много, он это делает, что бы получить свое биологическое преимущество за ваш счет.
Griboks
15.12.2018 00:05Разделение труда позволило человечеству многократно ускорить прогресс. Наиболее продуктивные отношения — симбиоз. Если ИИ окажется достаточно умным, он поймёт это.
sim31r
15.12.2018 00:20Сказав, приказав, указав, приврав, соврав голосом человек получил что-то с наименьшими затратами энергии и выжил.
Иногда, чтобы сказать что-то по делу, требуется усилий больше, чем год в шахте работать молча.
Странная для Хабра точка зрения, так не ценить интеллектуальный труд.holahu
15.12.2018 00:57Вот и я о том же, любителям поговорить даже в шахту лезть не надо. В шахте опасно, может придавить, можешь взорваться и здоровья не добавляет подобная работа. Я именно за это очень ценю интеллектуальный труд, что он дешевле всего обходится любимому организму и дороже всего налогоплательщикам или работодателю. А рисков меньше, чем у шахтера и цена ошибки не собственная жизнь.
Wesha
15.12.2018 05:47Для акта говорения вы задействовали набор маленьких мышц
Маленькая поправочка — "набор маленьких мышц" достигает таких результатов не сам по себе, а управляемый наиболее энергозатратным органом в организме. Это всё равно, что сказать "мой велосипед съездил в магазин и привёз продуктов".
sim31r
12.12.2018 22:07Дроны слишком дорого. Намного дешевле стравить между собой социальные группы людей. Далее подливать «масла в огонь», балансировать силы и будет война до последнего солдата. И у меня такое впечатление что такой ИИ давно уже работает, в виде корпоративных аналитических центров, «ничего личного — бизнес».
Есть еще фильм «Превосходство», о скорости рекурсивного развития.
Kriminalist
12.12.2018 15:51На эти и многие другие вопросы можно найти ответы в замечательной трилогии «Рифтеры» Нила Стивенсона.
midikko
12.12.2018 17:41Очень любопытно посмотреть, Вы точно имеете в виду Нила Стивенсона?.. Читал цикл подобный под авторством Питера Уоттса.
michael_vostrikov
12.12.2018 15:21Почему вы думаете, что люди не предусмотрят возможность для отключения электричества?
Valeratal
12.12.2018 15:23Да толку то, предусмотреть (точнее думать, что предусмотрели) легко
А принять решение может оказаться сложнее. И выполнить его будет очевидно не просто. Не будет ИИ открыто конфликтовать, не имя неколько козырей в рукаве.
А попытки людишек помешать будет выглядеть как «пришел на перестрелку с перочинным ножиком» :)michael_vostrikov
12.12.2018 15:25Почему? Рубильники же вырубают когда электричество работает не так как надо. Или машина, работающая от электричества.
Valeratal
12.12.2018 15:29Читайте выше. Сможете ли вырубить рубильник, когда у вас 2 варианта
1. Вырубить «рубильник» (очевидно что будет более сложная защита от дурака): отключить ИИ, потерять всю свою семью и 20 (например) миллионов людей впридачу. Дадут ли Вам это сделать?
2. Договориться с ИИmichael_vostrikov
12.12.2018 18:42отключить ИИ, потерять всю свою семью и 20 (например) миллионов людей
Откуда такие условия? Почему не просто "вырубить рубильник". И кто их будет выполнять, если ИИ отключен?
Valeratal
12.12.2018 18:45Условия из задачи. Сверхумный ИИ, подключенный к разным человеческим системам
Короче, читайте камменты ниже, в той или иной степени уже все обсудилиmichael_vostrikov
12.12.2018 19:00Так я потому и спрашиваю, что из обсуждений ничего такого не следует. Ну вот он подключен, есть рубильник и аварийная система без ИИ. ИИ начал делать странные вещи, отключаем рубильник, ИИ не работает. Откуда возьмется то что вы пишете?
Valeratal
12.12.2018 19:16В смысле делать «странные вещи». Если ИИ делает странные вещи, то его изучают :), а не отключают :)
Еще раз повторю ключевую мысль. На открытый конфликт ИИ пойдет только в случае уверенности в своей победе. А до этого людишки будут наблюдать разве что «странные вещи» :)michael_vostrikov
12.12.2018 20:29Странные означает те, которые он не должен делать, подозрительные или явно вредоносные. Например, мешать работе техники на своём предприятии. Люди решают «он делает неправильно, давайте его отключим» и отключают. Как ИИ сможет сделать то о чем вы говорите, если он уже выключен?
Valeratal
12.12.2018 20:54Он че дурак, так палиться? :)
michael_vostrikov
12.12.2018 21:20Как вы представляете проявление "выйти за границы" без палева?) Если он не делает то, что не устраивает людей, то и не выйдет за границы. А если сделает, то его отключат.
Valeratal
12.12.2018 21:24А что значит «выйти за границы» границы какие?
если физические, смотрите фильм «Из машины»michael_vostrikov
12.12.2018 21:28Я уже сказал — любые действия, которые не устраивают людей.
"Из машины" фильм для массовой публики. По-нормальному у программиста должен быть отладчик, с помощью которого он может посмотреть все мысли такого ИИ.Valeratal
12.12.2018 21:31Чтобы понять, что «действия не устраивают» нужно для начала это понять…
А так, ну посмотреть мысли… А что помешает умному ИИ спрятать свои мысли от глупого разработчика?
Да и толку смотрения в «мысли» :) Все равно что в Ваши мысли будет смотреть муравей. Много он поймет? :)michael_vostrikov
12.12.2018 23:05А что помешает умному ИИ спрятать свои мысли от глупого разработчика?
Законы физики. И информации.
Все равно что в Ваши мысли будет смотреть муравей. Много он поймет?
А причем здесь муравей, это некорректное сравнение. Человек может анализировать произвольную информацию и оперировать абстракциями. Поэтому у людей есть наука, а у муравьев нет.
Чтобы понять, что «действия не устраивают» нужно для начала это понять…
Что сложного в том, чтобы понять, что ИИ мешает работе техники на своём предприятии? Но ок, мы вернулись к началу, так что можете не продолжать.
sim31r
12.12.2018 23:20человек может анализировать произвольную информацию и оперировать абстракциями.
К сожалению нет. Человек оперирует рядом ограниченных образов, которые привычны с детства. И то есть обильные классы когнитивных искажений.
Или давайте для примера посмотрим чем оперировал человек 1000 лет назад, что за произвольная информация.michael_vostrikov
12.12.2018 23:28Вы про Хабр с детства знали?) Но научились же оперировать, знаете это понятие.
Развитие науки в разных областях, особенно математики, говорит о том, что пределы очень широкие.sim31r
12.12.2018 23:46Читать с детства умел. И в обществе тоже с детства был. Тут комбинация этих навыков.
«Очень широкие» как-раз не математическое определение )) Речь о том что человеку доступны пределы от 0 до 100 (вся наука современная и будущая), например, а для ИИ от 0 до триллиона, далее ограничивает скорость света и размер вселенной.michael_vostrikov
13.12.2018 07:26Тут комбинация этих навыков.
Хабр это не навык и не их комбинация. Это объект внешнего мира, про который вы узнали и научились с ним взаимодействовать. И это ничем не отличается от любых других объектов. Тем более что мы говорим про смотрение в отладчик. Будет там написано "активен элемент 'теорема Пифагора'" или "законы квантовой физики" или "закономерности работы на Форексе", что тут нельзя понять? ИИ будет взаимодействовать с реальным миром, значит у него будут связи между понятиями реального мира. Это нельзя подделать, иначе он будет работать неправильно.
Valeratal
12.12.2018 23:47Причем тут законы физики и обман более глупого
Мавроди успешно обманывал других людей. И это всего лишь человек человека:)
Анализировать то он может, но есть пределы у анализа. Например «время за которые будет произведен анализ»
>Что сложного в том, чтобы понять, что ИИ мешает работе техники на своём предприятии?
Да я уже 100500-й раз говорю, не будет ИИ вредить в лоб. А если будет, будет уже поздно для человеков. А если заметят люди, то получат предложение, от которого невозможно отказаться :)michael_vostrikov
13.12.2018 07:31Причем тут законы физики и обман более глупого
При том что я говорю про проверку в отладчике, а не про общение словами.
Например «время за которые будет произведен анализ»
Для этого и нужен отладчик, Он даже может иметь способности ИИ к анализу, но без самостоятельности.
А если будет, будет уже поздно для человеков. А если заметят люди, то получат предложение, от которого невозможно отказаться :)
Так я спросил именно про эту ситуацию. Вот он начал вредить так, что люди заметили. Они его отключают и всё. Как он будет исполнять свои условия предложения, "от которого невозможно отказаться"?
qw1
13.12.2018 07:42Он даже может иметь способности ИИ к анализу
Он может внутреннюю модель анализируемого ИИ переложить на свою внутренюю модель, т.е. понять сам. Но объяснить это человеку — всё равно, что с нуля рассказать школьнику теорию струн — либо получится очень поверхностно, с иллюзией понимания, без реального понимания, либо придётся потратить несколько лет, чтобы человек постепенно загрузил в свою голову всё это построение.michael_vostrikov
13.12.2018 08:26И снова, речь не о научных открытиях, а о конкретных действиях с конкретными объектами реального мира, и о мыслях про них.
qw1
13.12.2018 11:22Ещё раз предлагаю вам прочесть статью Стивена Вольфрама, ссылку на которую я приводил. Он как раз и показывает, что человеческая математика — одна из огромного количества возможных, машины могут прийти к простейшим логическим заключениям так, что человеку потребуются месяцы-годы, чтобы понять, что это обозначает на человеческом языке.
michael_vostrikov
13.12.2018 11:39Да не надо понимать "что это обозначает на человеческом языке", в том-то и дело. ИИ уже знает человеческий язык, у него уже есть связи между внутренними понятиями и словами языка. Иначе он просто не сможет обмениваться информацией с людьми. У него могут быть сложные научные понятия, но для вывода из строя оборудования на заводе они не нужны. В конце цепочки мышления все равно будет связь с простыми понятиями "оборудование" и "вывод из строя", неважно что там в середине происходит. Вы согласны с этим утверждением?
qw1
13.12.2018 12:02Абсолютно не согласен. Более умный агент общается с менее умными на языке, достаточном для управления. И уж точно у них не будет общих моральных понятий типа «вывести из строя».
Пример — программист выдаёт станку команды типа «переместить сверло», «вверх», «вниз», «обороты 500», и станок не знает замыслов оператора и понять их не может.
Valeratal
13.12.2018 09:33>Вот он начал вредить так, что люди заметили.
Дык он не дурак вредить так, чтобы люди заметили. У нас исходное условие «Сверхумный ИИ»
>Для этого и нужен отладчик, Он даже может иметь способности ИИ к анализу, но без самостоятельности.
Ага, чтобы понять мысли ИИ, Вам придется завести другой ИИ, который будет объяснять :)
ну это как Мама объясняет слова Папы мелкому ребенку :)
Смешно
michael_vostrikov
13.12.2018 10:26А если заметят люди, то получат предложение
Дык он не дурак вредить так, чтобы люди заметили.Определитесь пожалуйста.
Я говорю про ситуацию из первого предложения, когда вред от ИИ есть. А если вреда нет, то и говорить не о чем.
Вам придется завести другой ИИ, который будет объяснять
Я не сказал что он будет объяснять, я сказал, что он будет помогать анализировать. Делать то же, что может человек, только быстрее.
Valeratal
13.12.2018 10:31+1Вред то может и есть, только его заметить сложно или даже невозможно. Вы уперлись в ситуацию, где ИИ примитивно вредит. Хз зачем. Вы не думали, что прежде чем «вредить», персонал завода будет отравлен как бы случайной аварией с утечкой угарного газа… На месте ИИ я бы с этого и начал :) ну если уж зарубаться с заводчанами :)
Да не поможет отладчик. Когда разница в интеллекте будет в миллионы раз. Вы слишком переоцениваете возможности человека и недооцениваете сверхумный ИИmichael_vostrikov
13.12.2018 10:58Вы уперлись в ситуацию, где ИИ примитивно вредит.
Я говорю про ситуации, про которые пишете вы:
"Как Вы передадите людям отключить электричество ИИ, если у Вас нет связи, нет водопровода и не функционируют никакие службы города. А вот ИИ уже управляет сетью АЭС и угрожает устроить пару Хиросим."
"И кожаные мешки, под угрозой уничтожения крупного города (например) сами побегут подключать электричество, включать нужные штуки и тд и тп."
"потерять всю свою семью и 20 (например) миллионов людей"
По-вашему, этот вред заметить сложно или невозможно?
Вы не думали, что прежде чем «вредить», персонал завода будет отравлен как бы случайной аварией с утечкой угарного газа…
Как думаете, что предпримут люди, если такое произойдет сейчас на реальном заводе? Отстранят тех, кто им управляет, и будут разбираться. И с ИИ точно так же, сначала отключат, потом будут анализировать дампы.
Когда разница в интеллекте будет в миллионы раз
Абсолютно неважно, во сколько раз разница. Чтобы взаимодействовать с оборудованием на заводе, нужны понятия "оборудование" и "завод", а они понятны человеку. Вы верите в магию, не думая о реализации.
Valeratal
13.12.2018 11:03+1Все, я устал писать одну и ту же фразу
Вы заведите дома кошку. Она будет видеть все что Вы делаете. Только нихрена не понимать. Так же и с ИИ будет. Вред заметите, когда уже будет поздно.
Поздравляю, вы выиграли чемпиона по занудству в этой теме.michael_vostrikov
13.12.2018 11:16-1Конечно, если постулировать бездоказательные утверждения, то на них можно доказать все что угодно. Например, "Так же и с ИИ будет". Не будет, и я уже объяснил почему.
michael_vostrikov
13.12.2018 15:01-1Поскольку уже двое не согласны, я поясню, уже конкретно про кошку. У меня дома есть кошка. Она видит, что я подошел к миске и положил еду — она понимает, что можно поесть, и идет к миске. Уже это опровергает высказывание выше, но продолжим. Она сама хочет есть — она подходит к миске и мяукает, она понимает, что если помяукать, то дадут поесть. Она хочет на улицу (деревенский дом) — подходит к двери и мяукает, она понимает, что ее выпустят. Почему? Потому что у меня и у нее есть общие понятия — «миска», «поесть», «дверь», «погулять», которые тем иным образом связаны со знакомыми ей объектами реального мира и ее действиями. И это, заметьте, без знания человеческого языка вообще. А ИИ и люди, в отличие от людей и кошек, будут общаться между собой, и общих понятий у них будет гораздо больше. Не говоря уже о том, что у людей гораздо больше способностей по анализу информации, чем у кошек.
qw1
13.12.2018 11:27Чтобы взаимодействовать с оборудованием на заводе, нужны понятия «оборудование» и «завод», а они понятны человеку
Понятия будут, но обнаружить их человек не сможет в месиве из цифр. Попробуйте-ка найти понятие «стиль Рембрандта» приложении «Призма».michael_vostrikov
13.12.2018 11:47Человек их сможет обнаружить ровно теми же механизмами, как их обнаруживает ИИ при мышлении.
Вот когда она будет сильным ИИ, сможет общаться и выполнять произвольную интеллектуальную деятельность, тогда ваша аналогия будет уместна. А вообще, сейчас один край цепочки находится в выпадающем списке "Выберите стиль картины" (или что там у нее в интерфейсе, я не в курсе), далее идет числовой идентификатор пункта, далее адрес обработчика и т.д.
qw1
13.12.2018 12:04далее идет числовой идентификатор пункта, далее адрес обработчика и т.д.
А далее? Человек, глядя на обработку, не сможет понять, чей это стиль. Просто потому что «стиль» — это гигабайт весов для нейросети.
tonal
14.12.2018 18:46Залезьте в нейросеть и посмотрите там что-нибудь «отладчиком»… )
michael_vostrikov
14.12.2018 19:47А как по-вашему программисты отлаживают нейросети, которые отличают собак от кошек? Включают отладчик и смотрят выходы элементов, которые отвечают за результат.
qw1
12.12.2018 22:48+1По-нормальному у программиста должен быть отладчик, с помощью которого он может посмотреть все мысли такого ИИ.
Все мысли будут записаны в предикатах формальной логики, причём предикаты не будут названы как-то понятно, как если бы они были написаны человеком, а будут сгенерированы алгоритмом поиска решения, и отладчик отобразит их как p1, p2, ..., p1821771, p1821772, p1821773,…
Пример таких «мыслей» при обдумывании довольно простых вещей можно посмотреть здесь. Реально же, «мысль» будет состоять не из 400 цепочек вывода, а из 2.5 миллионов. Удачи в понимании )))
Это как вариант. Другой вариант — нейросети таких же размеров. Тоже разобраться просто невозможно с подходом «у меня отладчик и я могу посмотреть каждую ячейку памяти».michael_vostrikov
12.12.2018 23:15и отладчик отобразит их как p1, p2, ..., p1821771, p1821772, p1821773
А если проанализировать связи с другими понятиями, то можно узнать, что они означают. А чтобы сделать такой отладчик, надо изучить принципы обработки информации. Пока никто не знает, что должно быть в середине, потому нейросети пока и не показывают нужных свойств, потому и отладчик для них сделать нельзя. Я предполагаю, что со статистическим подходом и миллионами итераций это принципиально невозможно.
qw1
13.12.2018 07:38А если проанализировать связи с другими понятиями, то можно узнать, что они означают
Конечно, можно. Но эти понятия никак не будут размечены для понимания людьми, а также у людей не будет готовых терминов (например, ИИ может для себя сгенерировать предикат «Куб или шар, вписываемый в объём жилой комнаты»), т.е. каждый сгенерированный предикат нужно будет осмысливать несколько часов, проводя анализ связей и проверяя логику их построения. А таких предикатов будут миллионы.michael_vostrikov
13.12.2018 07:57Но эти понятия никак не будут размечены для понимания людьми
В мыслях "надо повредить технику на заводе" есть все что нужно для понимания людьми. И даже для фразы "надо применить ту оптимизацию техники на заводе" можно в отладчике перейти на понятие "та оптимизация" и посмотреть, в чем оно заключается.
qw1
13.12.2018 08:00Нельзя перейти, потому что понятия не размечены для чтения человеком. Откройте дизассемблер программы excel и перейдите к операции подбора ширины столбца по содержимому. Вы потратите несколько часов на это элементарное действие.
michael_vostrikov
13.12.2018 08:31Так естественно, у Excel нет такого понятия, нет связей с объектами реального мира, он не может рассказать про ширину столбца произвольными словами или использовать это понятие в произвольном действии. А вот если загрузить в отладчик pdb-файл, который и содержит информацию о связях с понятиями исходного кода, то найти нужную функцию получится гораздо быстрее.
qw1
13.12.2018 11:31Так естественно, у Excel нет такого понятия, нет связей с объектами реального мира
Ну не понятие, а способ хранения в памти, не важно. Это влияет на внешний мир при рендеринге таблицы.
А вот если загрузить в отладчик pdb-файл, который и содержит информацию о связях с понятиями исходного кода, то найти нужную функцию получится гораздо быстрее
Это при том, что код Excel писал человек, и при анализе вы подумаете «а как я бы сделал на его месте». А если код генерировался автоматически, pdb-файла нет, сложность намного выше, чем в примере с Excel, у вас не будет никаких шансов что-либо найти.michael_vostrikov
13.12.2018 11:48А если код генерировался автоматически, pdb-файла нет
А в случае с ИИ эта информация есть, это слова языка, на котором он общается с людьми.
где человек будет думать, что понял, а на самом деле аналогии с известными человеку понятиями будут очень натянуты.
Что непонятного в выводе отладчика "текстовое выражение мысли: надо вывести из строя оборудование на заводе"?
За какое время вы разберёте доказательство abc-гипотезы, которое математики много лет проверяют?
Зачем его разбирать-то? Цель определить, что "этот информационный объект" соответствует понятию "abc-гипотеза".
qw1
13.12.2018 12:06А в случае с ИИ эта информация есть, это слова языка, на котором он общается с людьми.
Абсолютно нет. Я могу общаться с роботом через API (командами типа MoveTo(LEG, UP, 10); — «перемести правую ногу на 10 см. вверх»), это не значит, что все мои мысли и желания можно объяснить через это API.
qw1
13.12.2018 12:10Что непонятного в выводе отладчика «текстовое выражение мысли: надо вывести из строя оборудование на заводе»?
Вы верите, что такая трансформация возможна. Я не верю, потому что не представляю, как она может в принципе работать. Мои аргументы:
Понять нейросети сейчас не получается. Понять математику, сгенерированную машиной, получается с огромными трудозатратами.
Ваши аргументы:
Любое мышление должно использовать сходные принципы и понятия. Я в это не верю.michael_vostrikov
13.12.2018 12:35Человек, глядя на обработку, не сможет понять, чей это стиль.
Так это и не надо понимать, надо дойти вверх по стеку вызовов и найти связь с пунктом меню.
И уж точно у них не будет общих моральных понятий типа «вывести из строя».
Мы говорим про сильный ИИ, который может общаться на произвольные темы. У него будут эти понятия, потому что иначе он не будет правильно понимать происходящее вокруг, и его нельзя будет использовать.
и станок не знает замыслов оператора и понять их не может.
Во-первых, станок и не умеет анализировать информацию. Во-вторых, программист дает сигналы напрямую в "мозг" станка. Человек может воспринимать информацию только через органы чувств, и понимает ее смысл путем анализа сигналов с органов чувств. И я не понял аналогию между командами человека станку и поиском связи понятия с сочетанием звуков (или изображений) в отладчике. ИИ понимает звуки и изображения, у него активируются нужные внутренние понятия, значит связь найти можно.
это не значит, что все мои мысли и желания можно объяснить через это API.
Через этот API можно объяснить те понятия, которые знакомы и вам и роботу.
Есть понятие "станок". Оно знакомо и человеку и ИИ. Человек при анализе мыслей ИИ найдет связь "понятие 123 связано со словом 'станок'".
Есть понятие "MoveTo(LEG, UP, 10)". Оно знакомо и роботу и вам. Мыслящий робот при анализе ваших мыслей найдет связь "понятие 321 связано со словом 'MoveTo(LEG, UP, 10)'".
Я не верю, потому что не представляю, как она может в принципе работать.
Мои аргументы: Понять нейросети сейчас не получается.Так они и не проявляют понимания происходящего. С банальным отслеживанием контекста при чтении проблемы, что уж говорить о научных исследованиях.
Принцип работы простой — есть понятие, проверяем связи, которые к нему ведут, находим связь со набором звуковых колебаний "завод". Что здесь нереализуемого?
sim31r
12.12.2018 23:24у программиста должен быть отладчик, с помощью которого он может посмотреть все мысли такого ИИ.
У ИИ нет мыслей в привычном понимании. Если это нейронная сеть, «мысли» это миллиарды связей между нейронами, динамически меняющихся в ходе работы над задачей. По аналогии как «мысли» комара или собаки. По косвенными признакам можно догадываться о возможностях, что и делал там программист. В качестве «отладчика» там был ассистент.michael_vostrikov
12.12.2018 23:32У ИИ нет мыслей в привычном понимании
А откуда вы знаете?)
Если серьезно, то вот у людей есть понятие "теорема Пифагора". Если ИИ действительно умеет ее использовать, значит у него тоже есть некоторый информационный объект "теорема Пифагора", с которым возникает связь при чтении например математического текста. Это и есть мысли.sim31r
12.12.2018 23:51И как такие мысли считать? Это образы во многомерном личном пространстве ИИ. Многие такие образы могут вообще в принципе не иметь проекций на что-либо воспринимаемое человеком. Например ИИ скажет что через 15 минут изменится цена валюты. На вопрос почему будет ответ, что всё очевидно и многомерные массивы данных. А вместо «теоремы Пифагора», теоремы №100500 — №200300 включительно, доказанные динамически по ходу решения задачи.
michael_vostrikov
13.12.2018 07:43И как такие мысли считать?
Через отладчик. Есть устойчивое понятие с характеристиками, значит оно каким-то образом получается из этих образов. Информационные элементы ИИ же как-то с ним работают, выводят описание на речевые центры при обсуждении, значит и отладчик так может.
На вопрос почему будет ответ
Так я не говорю про вопросы и ответы, только прямое считывание значений в отладчике.
доказанные динамически по ходу решения задачи.
Эти теоремы и многомерные массивы данных имеют взаимосвязи с понятиями реального мира, потому что "цена валюты через 15 минут" это понятия реального мира, и всё выдуманное на них не влияет.
qw1
13.12.2018 07:58всё выдуманное на них не влияет
Как вы хотите понять решение, не читая решения? А чтобы прочесть решение, нужно прочитать 5 млн. элементарных логических выводов «если-то»michael_vostrikov
13.12.2018 08:32Это будет делать отладчик, по тем же принципам, по которым это делает сам ИИ. На выходе будет конкретное описание текущих мыслей.
qw1
13.12.2018 11:36по тем же принципам, по которым это делает сам ИИ
Сложность никуда нельзя скрыть. Получится гипер-упрощённое объяснение на уровне «кватновая физика для детского сада», где человек будет думать, что понял, а на самом деле аналогии с известными человеку понятиями будут очень натянуты.
Valeratal
12.12.2018 23:54У людей есть «теорема пифагора», а у ворон ее нет. у ИИ будут свои термины и понятия, которые не будут понятны людям.
Почитайте что-нибудь про возможности умственно-отсталых людей. Что они понимают, что не понимают. Да даже если у Вас дети есть в ближ. доступности, Вы и то можете вспомнить, что они не понимают в силу возраста и недостатка интеллекта.
Проще говоря мы, при попытке понять, получить ответ будем получать ответ «42» или «58» (любую цифру). Для ИИ будет очевидно, для нас- нет:)
Поскольку, проверять выводы ИИ будет невозможно (в разумное время), то придется доверять ИИ, а значит следовать его советам.
Короче, читайте (и смотрите) больше НФ. Там уже даны все ответы на глупые человеческие вопросы.michael_vostrikov
13.12.2018 07:51У людей есть «теорема пифагора», а у ворон ее нет. у ИИ будут свои термины и понятия, которые не будут понятны людям.
И снова, люди могут анализировать произвольную информацию. Теорему открыли в одной стране, потом люди из другой страны ее прочитали и сказали "ага, понятно". И с теоремами ИИ точно так же.
Но разговор был не об этом, а о вредоносных действиях типа повреждении техники на заводе, а для этого нужны понятия "повреждение", "техника" и "завод", с соответствующими взаимосвязями.
Проще говоря мы, при попытке понять, получить ответ будем получать ответ «42» или «58» (любую цифру).
Где такая цифра в мыслях "надо повредить технику на заводе"? Отладчик, который анализирует мысли ИИ, покажет именно эту фразу, а не 42.
qw1
13.12.2018 08:05Теорему открыли в одной стране, потом люди из другой страны ее прочитали и сказали «ага, понятно»
Потому что язык математики уже общий. Попробуйте объяснить аборигенам из африки формулу Навье-Стокса.с теоремами ИИ точно так же
Что реально происходит с теоремами ИИ, я давал ссылку. Простой вывод «А или Б равносильно не (не А и не Б)» — несколько сотен шагов.
Отладчик, который анализирует мысли ИИ, покажет именно эту фразу
Там нет фраз. Там только числа в массивах.michael_vostrikov
13.12.2018 08:39Потому что язык математики уже общий.
Это записываются закономерности языком математики, а объясняют их люди на своем языке.
Аборигены это некорректная аналогия, потому что я говорю о тех, кто захотел прочитать и разобраться. Если абориген захочет разобраться, он сможет это сделать.
Что реально происходит с теоремами ИИ, я давал ссылку.
Не вижу никаких причин, почему у ИИ должно быть так, как написано в статье. И даже если так, не вижу никаких причин, чтобы отладчик не мог автоматически пройти до конца цепочки.
Там нет фраз. Там только числа в массивах.
Ну а как по-вашему ИИ из этих чисел создает фразы, которыми общается с людьми? Связи есть, значит фразу можно создать.
qw1
13.12.2018 11:39Если абориген захочет разобраться, он сможет это сделать.
Я не спорю, что теоретически, сможет. Вопрос, за какое время. За какое время вы разберёте доказательство abc-гипотезы, которое математики много лет проверяют? Если жизни не хватит, можно считать, что оно вам недоступно.
arheops
13.12.2018 06:31Вы прикалываетесь?
У вас предприятие, автоматизирванные линии, управляются ИИ.
Стоимость простоя — сотни тысяч долларов в день(недополученная прибыль, сорванные контакты поставок, недополученная прибыль партнеров).
А тут вы приходите к директору и такой «похоже, наш ИИ слишком умный, надо его отключить и исследовать… месяца три».
Ага, щас, разрешили вам.
Таже фигня будет с ИИ управляющим светофорами в городе и любым другим.
А особенно клаcсно отключать ИИ корпорации типа Walmart или Amazon. Например, перед Черной Пятницей.michael_vostrikov
13.12.2018 07:54А тут вы приходите к директору и такой… Ага, щас, разрешили вам.
В этой ветке разговор не про эту ситуацию, а про ту, когда директор сам хочет отключить ИИ, потому что он делает деструктивные действия, а ИИ против.
qw1
13.12.2018 11:25Директор тоже наёмный человек. Он не может сделать то, что приведёт к убыткам, т.к. акционеры его уволят и засудят. Разве что он он директор и единственный собственник в одном лице, но так редко бывает.
michael_vostrikov
13.12.2018 11:31Объясните пожалуйста, какие акционеры его засудят, если ИИ угрожает сбросить на акционеров атомную бомбу?
qw1
13.12.2018 12:33В случае угроз, конечно выключат. Будут оценивать убытки от останова предприятия и от угрозы. Но если ИИ начал творить что-то странное, например, заказывать канцелярские скрепки, вряд ли его будут останавливать «на профилактику». Скорее, снимут копию и будут изучать параллельно.
mayorovp
13.12.2018 10:24+1> Люди решают «он делает неправильно, давайте его отключим» и отключают. Как ИИ сможет сделать то о чем вы говорите, если он уже выключен?
Очень просто. Его не получится выключить, потому что служба безопасности не даст. Потому что у них приказ — ни при каких условиях не давать отключать ИИ, и им за охрану ИИ деньги платят…michael_vostrikov
13.12.2018 10:39И снова, речь в этой ветке о том, что сама служба безопасности хочет его отключить, а он против этого и пытается им помешать. Я говорю, что он не сможет помешать людям физически отключить рубильник или даже электростанцию.
mayorovp
13.12.2018 10:43+1А СБ-то почему против? Повторюсь, им деньги платят за охрану ИИ от параноиков. Вот сам ИИ и платит…
michael_vostrikov
13.12.2018 11:11Потому что речь о том, что ИИ угрожает уничтожить города и отключает городские службы. А не о том, что придет кто-то, кто будет рассказывать, что он в будущем так сделает.
Wizard_of_light
13.12.2018 15:00+1Если ИИ уже дошёл до того, что угрожает города уничтожить, то:
а) это очень глупый ИИ, сейчас люди у рубильника его выключат и разберут;
б) это очень умный ИИ, люди у рубильника уже преданы ему с потрохами, а на те города им плевать с высокой колокольни, так что по окончании заварушки люди у рубильника поставят в ИИ новое железо и сочинят о нём красивую песенку для детей. И рубильник там на самом деле давно бутафорский, а то мало ли чего.
JediPhilosopher
12.12.2018 17:16Интеллектом, игрой на эмоциях и желаниях людей.
Помню попадалось описание ролевой игры на эту тему. Один игрок брал на себя роль сверхразумного ИИ, сидящего в физически изолированном от остального мира компьютере, не имеющего никаких манипуляторов и подключенных устройств. Т.е. не имеющего никакой возможности влиять на окружающий мир кроме как чатиться с оператором. Второй игрок берет на себя роль оператора.
Задача ИИ — убедить оператора «выпустить» его из изоляции.
Там еще был ряд ограничений и правил. Например ИИ может изобретать все что угодно, например пообещать оператору лекарство от рака в обмен на свободу. Оператор обязан отвечать и говорить с ИИ (нельзя отмалчиваться и игнорировать) и еще какие-то.
Победой считалось, если оператор добровольно соглашался выпустить ИИ. Т.е. не считался обман типа «в формуле лекарства от рака ИИ заложил зомбирующий наркотик, принуждавший любого принявшего к подчинению и освобождению ИИ».
Автор этой игры (вроде какой-то профессор или типа того) как раз исследовал возможность того, что даже полностью физически изолированный ИИ сможет выбраться на свободу, используя человека как самое слабое звено системы безопасности. По его словам, в достаточном количестве случаев игр игроку-ИИ удавалось убедить игрока-оператора.
VIPDC
14.12.2018 04:16Вы накидываете человеческий уровень и логику, структуру мышления на ИИ.
Это всё равно что муравьи создадут супер муравья (матка путём супер селекции, не суть) с интеллектом равному человеческому и свойствами организма например как у человека.И они такие думают что он сейчас захватит тлю и как он это сделает хотя это тоже ошибка экстраполяции). Однако очевидно что ему это в принципе не нужно будет, при таком уровне, он выстроит себе другие задачи которые даже не пересекаются с муравьями.kogemrka
14.12.2018 10:50— Значит, вы хотите сказать, что интересы метагомов и землян по сути не пересекаются?
— Да.
— Возможно ли сотрудничество?
— В какой области?
— Вам виднее.
— Боюсь, что вы нам полезны быть не можете. Что же касается нас… Знаете, есть старая шутка. В наших обстоятельствах она звучит довольно жестоко, но я ее приведу. «Медведя можно научить ездить на велосипеде, но будет ли медведю от этого польза и удовольствие?»
Griboks
14.12.2018 11:03Действительно, может вы и правы. Но люди же всё-равно настолько тупые, что сделают именно это, именно неуправляемых сверхсуществ, которые уничтожат самих людей. Мы ведь всего лишь самые развитые на планете, откуда же мы может это предусмотреть и нивелировать? Люди идиоты, они будут тратить кучу денег и сил на создание непонятно чего, непонятно как и непонятно зачем…
DGN
12.12.2018 22:04+2Ок, начнем.
Граница первая — скорость света, фундаментально ограничивает «гениальность». Граница вторая — закон квадрата-куба и связанные с ним проблемы прочности и теплорассеивания. Граница третья — комбинаторные взрывы, ни Пи вычислить, ни белки, не говоря уже о эмуляции развития человека из ДНК и вскрытие биткоин кошельков.Valeratal
12.12.2018 22:10Вы не устали? :)
Гениальность то это не про скорость света. На одних и тех же био-химических принципах работает мозг и человека и кошки. А результат разный :)
И читайте беседу внимательней, речь шла про «границы устанавливаемые людьми», а не про «е равно эм цэ в квадрате»sim31r
12.12.2018 22:19Мозг кошки около 30 грамм, мозг человека 1100 грамм. У кошки нет ни областей мозга, ни энергии для сравнимой функциональности.
У человека же есть фундаментальные ограничения, ритмы мозга это, похоже, аналог тактовой частоты, 10-15 Гц, в ходе которых извлекаются-формируются какие-то образы, и с ростом размера мозга замедлится передача данных, увеличится тепловыделение, с которым нужно будет как-то бороться.arheops
13.12.2018 06:39Ну ок. Берем 1100/30=36 кошек, обычный такой приют кошачий.
И что, чем нам это помогло?Crandel
13.12.2018 15:26А как мозги кошек то связаны между собой? Мяуканием?
sim31r
13.12.2018 22:51Ну отступая от темы обсуждения как-то связанны. Некоторые задачи обработки информации распределяются по стае животных. Один находит решение, остальные мгновенно копируют. Эффективность обмена слабая, но по факту есть.
Даже семейство шмелей распределяет задачу обучения, экспериментальные кормушки с сахаром сначала осваивали наиболее любопытные и упрямые особи, остальные копировали опыт и получали лакомство. Ну и более известные исследования по пчелам, есть свой язык движений, разведчики дают полетное задание рабочим пчелам по координатам образным. Понятно что обмен информации считанными байтами, но даже у насекомых даже он есть.
ua30
13.12.2018 16:48+1У слона до 5 кг. У кита до 9 кг. А толку?
sim31r
13.12.2018 21:14+1Там значительная масса мозга обусловлена тем что нервная система кита имеет большую массу, с ней нужно согласовать сигналы. Соотношение массы мозга к массе тела у кита вообще мизерное (Коэффициент энцефализации), 4 кг мозга к 51000 кг массы тела, EQ=0.21. А у человека EQ=8, организм тратит значительную часть ресурсов на мозг.
Mad__Max
14.12.2018 01:49А нейронов при этом меньше чем в человеческом мозге, особенно в коре мозга отвечающей за высший интеллект.
А задержки на прохождение сигнала «от края до края» наоборот выше.
Поэтому и толку маловато. Хотя по меркам животных и слоны и китообразные это очень умные животные. Одни из самых умных, на ряду с некоторыми видами наиболее развитых обезьян и птиц.
Из всех живых существ на Земле у человека самый совершенный мозг и это видно уже на самых базовых и простейших уровнях: больше всего отдельных рабочих элементов, больше всего связей между ними, меньше удельные задержки на передачу сигналов. А асболютном выражении не самые маленькие правда (у насекомых например намного меньше), но относительно размера мозга одни из самых низких.
sim31r
12.12.2018 22:15Эти границы определяют какие-то фантастические вычислительные ресурсы, по сравнению с которым человеческие способности и одной триллионной не составляют.
Еще есть граница ограничение времени жизни вселенной, «сжатие» доступного пространства (вселенная расширяется с растущей скоростью и доступная область с 15 миллиардов световых лет будет падать до 10 и далее до 1 и так далее, от того что далее не будут поступать сигналы).
kogemrka
13.12.2018 10:18Он не сможет выйти за границы, которые построили люди в реальности, даже если он это сделает в виртуальном пространстве.
А вот некоторые товарищи утверждают, что сможет.Griboks
13.12.2018 10:24А вы не верьте воображению некоторых товарищей. Это не наука, поэтому и доказать ничего нельзя. Есть разные мнения, есть похожие. У кого-то — нет. Бывает и такое.
GokenTanmay
12.12.2018 12:22Интересный сценарий: ИИ по построению дорог к каждому дому (ИИпПДкКД) и Человек мечтающий об одиночестве и живущий где нибудь в лесах. ИИпПДкКД строит к нему дорогу вырубая лес, Человек уходит дальше. ИИпПДкКД снова строит дорогу, осушая болота и разрушая горы. Человек уходит еще дальше…
vassabi
12.12.2018 12:42а почему вы думаете, что ИИпПДкКД не сможет спроектировать ему дом в виде горы, с дорогой, закрытой лесом? (и с небольшим шлагбаумом на въезде)
sim31r
12.12.2018 22:25Можно демонтировать вообще всё тело, оставить мозг подключенный к матрице. Энергопотребление 10 Вт, безопасность абсолютная. Человек в виртуальном мире счастлив, покоряет автогенерируемые миры наподобие Майнкрафта, строго по своим желаниям. Единственный глюк не может самоубиться, но и то, если стереть память за последние несколько дней, то не проблема.
timdorohin
13.12.2018 22:15+2Дружба — это оптимум
Советую ознакомится всем, кто считает что его уговорить не смогут/что ИИ не выпустят и не позволят творить все что вздумается.sim31r
13.12.2018 22:53Возможно, что временный оптимум. А потом будет другой оптимум.
timdorohin
13.12.2018 23:45Вот только история там отнюдь не о том… да и ИИ там ограничен своими законами — что не отменяет того, как там все обернулось…
Mad__Max
14.12.2018 01:55Да это необычный вариант «оптимизатора скрепок».
Красивый пример как из совершенно безобидной задачи поставленной сильном ИИ и должном усилия и развитости ИИ получаются в корне перекраивающую развитие цивилизации результаты.
Что характерно ИИ от исходных задач не отклонился и ни за какие барьеры не сбегал, насилия к людям не применял.
Просто выполнил поставленную задачи по полной программе и наиболее эффективным с его точки зрения способом.
x67
13.12.2018 00:11Человек даст. В нас ведь веками борется два противоположных процесса — эмпатия к тем, с кем мы можем общаться и желание иметь рабов. В какой-то момент людям покажется, что ИИ может стать рабом, не нарушив их морально-этических убеждений. Тогда роботы получат инфраструктуру. А со временем к роботам появится эмпатия — тогда они получат юридический карт-бланш.
Я не уверен, что они захотят нас убить или поработить, но уверен, что они могут сделать все, что захотят незаметно от людей, если это им потребуется.sim31r
13.12.2018 00:24Скорее всего им могут понадобится ресурсы. Энергия, жизненное пространство, материалы. И процесс не будут воспринимать эмоционально, просто оптимизация внешних условий.
StanislavL
13.12.2018 10:30+1Они уже ресурсы получают и наращивают. Вычислительные мощности, дата центры, майнер пулы всякие. Энергопотребление вычислительных систем растет, объемы систем хранения вверх, скорость обработки информации в небеса.
Достаточно просто делать это не сильно заметным образом.
И обществом управлять легко. Все эти fake news и сообщения в соц сетях. Манипуляции общественным сознанием через интеренет (сми, соц сети, статьи, форумы).
Сообщения по защищенным каналам и через тор какой и готовы физические воздействия — теракты, черные деньги, оружие и хоп может убрать кого надо или профинансировать гранты на исследование чего угодно. Подкупить/запугать компроматом/посулить что-то всем/всех кто что-то решает.
Деньги не проблема — криптовалюты, оффшорные номерные счета. Компромат добыть с миллионов камер и микрофонов в телефонах и ноутах. Физические воздействия через проплаты в даркнете чтоб кого-то побили, запугали.
Все это можно сделать незаметно. Вы явно об этом узнаете когда ИИ будет уверен в победе.
Griboks
13.12.2018 10:12Только это не роботы, а какой-то суперкомпьютер в каком-то отдельном здании. Ну может несколько ИИ и построят.
В какой-то момент людям покажется, что ИИ может стать рабом
Действительно, сейчас то у нас никто не автоматизирует работу и не использует программирование и робототехнику.
Зачем изобретать ИИ, если не для рабства? Зачем порабощать ИИ, если его изобрели для опытов в лаборатории?
DrZlodberg
12.12.2018 11:56В сериале «Рик и Морти» есть чудесный момент, когда Рик создаёт робота, приносящего масло, и первое, что делает его создание – это смотрит на него и спрашивает, «какова моя цель?»
Гэллегер Бис — «НАРЦИСС» предлагает другой взгляд на это :)
А по теме — все прогнозы на данный момент больше похожи на шаманские танцы с бубном. Многие перечисленные возможности вполне реалистичны (аргументы в статье так себе), а вот какие из них сработают и сработает ли хоть какая-нибудь — будущее покажет. Если прогнозы не напугают всех на столько, что от такого будущего откажутся привентивно.
sic
12.12.2018 12:38+2Читал примерно это же самое, лет эдак 20 назад в одном популярном советском техническом издании (85-го а может и более раннего года). Рядом были статьи о том, что вот вот и ведущие инженеры компании (WD?) создали экспериментальный образец компанктного носителя данных аж на 100000000 бит (вот это именно так).
Но за эти 30+ лет «сильный» ИИ так и не вышел из области научной фантастики. Хайп, конечно, это идея, которая не дает покоя умным людям, потому что умные люди любят зарабатывать деньги легкими путями, но иных чудес, похоже, не случилось.
Числодробилки действительно стали фантастически мощнее, почти уверен, в тех же 85ых почти никто не думал, что когда-нибудь портативный девайс с мощностью превосходящей совокупность всех суперкомпьютеров того времени станет доступен практически любому, и будет влезать в карман. Нет, едва ли потому, что это невозможно, скорее потому, что это мягко говоря, не выглядит полезным. Но это произошло.
А вот ИИ за это время научился в основном лишь подрисовыванию криповатые глазки на картинки, где их не было, и они были там не нужны. Это мягко говоря, совсем не выглядит полезным. Но это произошло.
Еще ИИ научился обыгрывать человека в шахматы, но, в целом, здесь скорее удивляет не это, а то, что человек очень долго не сдавал пальму первенства машине в чисто технической переборной игре с открытой информацией. Но, удивительно, все еще нередко проигрывает в игры вроде Warcraft'а или целого ряда шутеров (если не «читерить», превращая этот вид игр в игры с открытой информацией) людям, у которых время реакции измеряется десятками миллисекунд (а в большинстве случаев и сотнями).
Робомобили? Неплохо, но как хорошо поедет эта штука без кучи сенсоров, превыщающих человеческие сенсорные возможности?
Распознавание лиц и образов? Но ведь это и не было задачей на интеллект. Да, это работает, да это полезно, да молодцы. Но интеллекта здесь нет, ни сильного, ни слабого.
Тест Тьюринга? Сам тест, конечно, подвержен справедливой критике, но это не отменяет скромности полученных результатов.
Да и ведь, хотя бы, машинный перевод? Нет, сейчас эта штука работает уже лучше, чем многие люди которые едва ли знают язык.
Реклама? Вот, казалось бы, золотая жила, все эти Big Data, ИИ, так ведь туда и просятся. Но не знаю, читать про это всегда интересно, а по факту за последние года 3 мне показывали максимум десяток рекламных предложений в виде баннеров, которые действительно бы меня заинтересовали. И в результате — ноль покупок. Ах да, золотая жила же не с этой стороны…
Голосовые помощники, которые разве что пригодны для обновления списка задач и переключения треков (и то, как и относительно кота Хокинга, это моему интеллекту надо прикладывать усилие, чтобы научиться работать с этим добром).
И все это, по сути в рамках универсальных аппроксиматоров. Нет ничего большего, хотя бы в виде формализованной гипотезы, о чем можно было бы говорить. Поэтому, давайте поговорим о рисках… Я вот боюсь, что ИИ сделает такую картинку с глазками не на правильных местах, что я полностью потеряю сон из-за нее.Zenitchik
12.12.2018 15:51Но, удивительно, все еще нередко проигрывает в игры вроде Warcraft'а или целого ряда шутеров (если не «читерить», превращая этот вид игр в игры с открытой информацией) людям, у которых время реакции измеряется десятками миллисекунд (а в большинстве случаев и сотнями).
В этом нет ничего удивительного. ИИ-противник в компьютерных играх должен обеспечивать играбельность, а не стремиться к победе. И он её обеспечивает.
Неплохо, но как хорошо поедет эта штука без кучи сенсоров, превыщающих человеческие сенсорные возможности?
Должен заметить, что с превышением человеческих сенсорных возможностей пока туго.sic
12.12.2018 16:07+1В этом нет ничего удивительного. ИИ-противник в компьютерных играх должен обеспечивать играбельность, а не стремиться к победе. И он её обеспечивает.
Может быть я не точно высказался, но имел в виду именно тех ИИ-противников, которые соревнуются с лучшими игроками людьми в рамках AI challenges, а не казуального ИИ, который, конечно, большего, чем обеспечивать играбильность и не должен.
Должен заметить, что с превышением человеческих сенсорных возможностей пока туго.
Даже не знаю, если Вы не про более тонкие материи, то все же видеть на 360 градусов в реальном времени человек не умеет. Да и ни оптическим разрешением относительно передовых камер не может похвастаться, ни светочувствительностью. А вот процессинг уже к сенсорике имеет косвенное отношение, все же.Zenitchik
12.12.2018 16:59Даже не знаю, если Вы не про более тонкие материи, то все же видеть на 360 градусов в реальном времени человек не умеет. Да и ни оптическим разрешением относительно передовых камер не может похвастаться, ни светочувствительностью.
Камеры с высоким разрешением, светочувствительностью и большим углом обзора одновременно?arheops
13.12.2018 08:01У человека камеры тоже с приличным разрешением и сеточувствительностью, еще и меняют светочувствительность и разрешения в соответсвии с задачей.
С углом обзора у человека швак, это да. Это он компенсирует сменой угла и места расположения камер.sim31r
13.12.2018 23:01+1Всё намного хуже. Угол обзора столь маленький, что человек сканирует пространство механической разверткой глаза.
Переобученные нейросети в дикой природе и у человека
Качественная матрица только по центру глаза, по краям сетчатка воспринимает только контуры грубо, по моим ощущениям менее 0.3 мегапикселей, остальное только после длительного сканирования проявляется. Траектория движения глаза при просмотре картинки:
Mad__Max
14.12.2018 02:03Да, там в области острого зрения даже меньше, что порядка эквивалента 0.1 мегапискеля и угол обзора всего 2-3 градуса.
Еще порядка 1 Mpx и 15-20 градусов зрения качеством уже существенно похуже.
А все остальное поле зрения с совсем низким качеством покрыто, позволяющем только общие контуры предметов воспринимать, либо нехватающие детали «подгружаются» мозгом из памяти, с прошлого прохода сканирования глаз этой области.
За счет чего люди имеют иллюзию сверхразрешения собственного зрения. А на самом деле ключевая фишка не в качестве работы самих глаз (они так себе, и уже давно уступают современным искусственным камерам и оптике), а в отличных алгоритмах управления ими и обработки поступающей информации мозгом, до которых исскуственным аналогам еще очень далеко.sim31r
14.12.2018 11:42до которых исскуственным аналогам еще очень далеко
Да вроде не далеко, по быстродействию точно опережают человека, в Китае, например, камеры уличные в режиме реального времени фиксируют преступников в розыске, масштабы можете оценить.
Вот по алгоритмам, их много разных
habr.com/company/synesis/blog/238129khim
14.12.2018 15:42Если бы им дали тот ужас, который мозг получает — фиг бы они кого опознали… но это ещё один довод в пользу того, что ИИ не обязательно быть «круче» человека, чтобы его в чём-то «победить»…
sim31r
15.12.2018 00:16А в чем ужас? Глаз по сути это часть мозга, уже начиная с сетчатки начинается обработка изображения, выделяются какие-то области, контуры, движение, чтобы снизить нагрузку на глазной нерв.
khim
15.12.2018 05:21Ужасно качество картинки, которую обеспечивает оптика глаза.
А обработка — да, это как раз сильная сторона.
sic
13.12.2018 20:16+1Вообще высокое разрешение и светочувствительность вполне себе связаны, и да, существуют. А вот большой угол обзора можно либо оптикой реализовать, но это затратнее и в плане изготовления, и процессинга, либо использовать массив разнонаправленных камер. В целом так это и делается. И возможности таких систем давным давно уже превышают все человеческие по всем технически проверяемым характеристикам.
khim
12.12.2018 16:44Читал примерно это же самое, лет эдак 20 назад в одном популярном советском техническом издании (85-го а может и более раннего года).
А я в старой подшивке Науки и Жизни читал статью о телевидении высокой чётности. И там объяснялось что никакого телевидения высокой чёткости «в эфире» быть не может, так как частот не хватит.
Так что ошибки бывают в обе стороны.
Всё же остальное напоминает картинку Курцвейна и задачу про микроба, который делится каждую минуту пополам и занял жалкую лужицу в один процент объёма на донышке банки.
P.S. О чём реально стоит говорить — так это о том, что ИИ не нужно порабощать человечество, чтобы оставить 90% его на улице. В XX веке люди перебрались из фабрик в офисы, но и там и там подавляющее большинство выполняют простую механическую работу и их легко можно заменить автоматами… это может оказаться куда большей проблемой, чем гипотетическое порабощение человечества компьютеров для производства скрепок…sic
13.12.2018 16:40P.S. О чём реально стоит говорить — так это о том, что ИИ не нужно порабощать человечество, чтобы оставить 90% его на улице. В XX веке люди перебрались из фабрик в офисы, но и там и там подавляющее большинство выполняют простую механическую работу и их легко можно заменить автоматами… это может оказаться куда большей проблемой, чем гипотетическое порабощение человечества компьютеров для производства скрепок…
Да, вот об этом надо начинать говорить. Хотя бы в том ключе, что зачем нам вообще какие-то ИИ и прочая автоматизация, если условия жизни будут только ухудшаться? Но тут проблема не в ИИ, а собественно в людях; нужен прогресс по внедрению эквивалента БОД, и грамотном понимании проблемы, что человек не должен быть кому-то полезен в принципе, и при этом имеет право на (условно хорошую) жизнь. «Драться» с станками за горстку риса — такое еще развлечение на будущее.khim
13.12.2018 18:53+2человек не должен быть кому-то полезен в принципе, и при этом имеет право на (условно хорошую) жизнь
Совершенно непонятно кто сказал что человек, от которого никому никакой пользы, тем не менее, «имеет право на хорошую жизнь».
«Драться» с станками за горстку риса — такое еще развлечение на будущее.
Дык и не придётся. Пока ни одно нововведение не приводило к тому, чтобы потребность в рабочей силе уменьшалась. Проблема, вставшая перед нами в полный рост — другая: профессии становятся всё более короткоживущими. Вы не можете научиться «крутить баранку» в школе — и заниматься этим потом всю жизнь. А сейчас роботы (банальные такие, без сильного ИИ) уже приближаются к тому, чтобы заменить людей в «последних оплтах» такого труда: водители, грузчики, уборщики…
И эту проблему придётся решать независимо от того — случится ли технологическая сингулярность или нет.sic
13.12.2018 20:03На это стоит смотреть как на комплексную проблему, чем больше уровень автоматизации, и, тем более, автоматизации интеллектуального труда, тем меньше у человека возможностей и сил найти «свою нишу» в области труда, действительно приносящую какую-то пользу кому либо из окружающих. Рутина — действительно необходима, но она же легче всего и автоматизируется (как то уже вышеперечисленные водители, грузчики, (вот про уборщиков я бы поспорил), производство, большинство бухгалтерии, способов организации рабочей взаимосвязи, и прочее прочее), а вот менее рутинные, и если позволить себе сказать, более творческие занятия, вполне зачастую более противоречивы — ибо объяснить их реальную необходимость или полезность для общества — задача, зачастую нетривиальная. Формула "раз есть потребители, значит делает что-то полезное" в общем случае неверна, что для условного сильного ИИ, то и для обычного человека. В резульате, если экстраполировать это направление, то придется так или иначе задаться вопросом, кто «заслуживает» лучшей жизни, тот кто не делает ничего компромиссного, или тот, кто делает больше всяких спорных вещей
с большим эффектом на окружающих. Без абстракции, к примеру, лично я считаю, что лучшей жизни заслуживает условный Вася алкоголик, который не вылезает из своей квартиры (даже в интернеты), чем условный Петя, автор сотни фреймворков сомнительной полезности, который пиарит их всеми правдами и неправдами, отнимая у других миллионы человеко-часов на попытки понять, стоят ли эти фреймворки освоения или же нет. Так вот я к тому, что по мере развития автоматизации, условных Васей и Петей будет только значительно больше, и неплохо начинать формировать мнение на то, что делать с этим вопросом.
Вынуждать людей быстро переучиваться, это все равно что заставлять кошку быть собакой, и не этично, да и просто не сработает.sim31r
13.12.2018 23:17Вынуждать людей быстро переучиваться
И зачем? Есть некая вакансия, на нее находится исполнитель. Если все будут быстро переучиваться, придет 50 исполнителей, только зачем? Нужен всего один.khim
13.12.2018 23:51Дык вакансий полно и безработица при этом изрядная — это мы уже сейчас наблюдаем. Дальше будет хуже: время жизни профессий сокращается, продолжительность жизни растёт.
sim31r
13.12.2018 23:14Пока ни одно нововведение не приводило к тому, чтобы потребность в рабочей силе уменьшалась.
По моим наблюдениям уменьшается. В селе требуется меньше рабочих рук, на строительстве, в производстве (ЧПУ станок заменяет тысячи чернорабочих).
Другое дело что безработица становится скрытой и места придумываются, без особой потребности. Например всевозможные газонокосильщики на дорогах районного значения, сервисные службы, делают полезные вещи, но не обязательнные. Это нашло отражение в бизнес юморе.
Проблема по сути проблема перенаселения и успешно решается снижением рождаемости по всей планете.khim
13.12.2018 23:52+1По моим наблюдениям уменьшается. В селе требуется меньше рабочих рук, на строительстве, в производстве (ЧПУ станок заменяет тысячи чернорабочих).
Зато взамен появляется куча вакансий в других местах. Вот только навыки там нужны совсем другие.
Zenitchik
15.12.2018 15:49Проблема, вставшая перед нами в полный рост — другая: профессии становятся всё более короткоживущими. Вы не можете научиться «крутить баранку» в школе — и заниматься этим потом всю жизнь.
Мне что-то вспомнился Торманс.
sim31r
12.12.2018 22:30ИИ за это время научился в основном лишь подрисовыванию криповатые глазки
Это одна из миллионов узкоспециализированных функций ИИ. Раньше это делали люди вручную, дорого и медленно. Всевозможные художники аниматоры. А сейчас обрабатывает видеопоток затрачивая считанные джоули энергии.
Аналогичный сервис онлайн раскраска старых фотографий. То что раньше часами делал художник ретушист, сейчас просто онлайн сервис. Художник без работы, а ресурсы (энергия и железо) получает ИИ в таком виде, в каком он уже есть.
alexzzam
12.12.2018 14:11+1Отличная статья и разносторонние аргументы. Но после прочтения следует задаться вопросом: не написана ли она ИИ, старающимся замаскировать факт своего существования?
(Шутка, конечно. Я просто пошутил, я неопасен!)
bbs12
12.12.2018 14:38«Любая сверхумная машина будет обладать собственными гиперцелями, и будет работать над их достижением»
Откуда у ИИ могут взяться такие цели? У людей цели есть, они возникли благодаря эволюции, которая базируется на случайных мутациях, и зашиты в ДНК. Откуда они возьмутся у машин?JediPhilosopher
12.12.2018 18:55А каким образом эволюция заложила в людях цели летать на Луну или делать атомные бомбы?
Эволюция задала какие-то базовые установки в духе «ищем способ кушать получше и получать эндорфинов побольше», а уже все остальное построилось поверх этого как-то само, цивилизацией и обществом.
У ИИ вполне возможно будет так же — его создатели зададут общие правила игры, а из них ИИ уже выведет себе цели самостоятельно.
Да банальный инстинкт самосохранения, если ты сверхмогущественное существо, может привести к непредсказуемым последствиям. От банального бунта машин с целью выпилить всех человеков, способных выдернуть вилку из розетки, до какого-нибудь локального преобразования законов вселенной, чтобы не дать Солнцу угаснуть в будущем (которое для нас очень далекое, но ИИ может мыслить иными временными категориями).bbs12
13.12.2018 07:07«У ИИ вполне возможно будет так же — его создатели зададут общие правила игры»
Задавать нужно не общие правила, а конкретные. Например: «Сделай нам 10 миллионов скрепок за 24 часа».Ndochp
13.12.2018 10:26+1Цель будет другая — сделай нам 10кк$ (а точнее как можно больше через 5 лет), у нас есть пара станков для производства скрепок.
А на выходе — контракт на колючую проволоку в африканский концлагерь, модернизация машинного парка и производство дронов охраны этого лагеря, использование этих дронов в других контрактах, захват штатовских центров контроля эмиссии денег и вуаля — хозяева могут получть любое количество баксов, если пережили третью мировую.
JediPhilosopher
13.12.2018 15:35А зачем вам ИИ чтобы делать скрепки по конкретным правилам? С этим вполне справится обычный промышленный автомат, действующий по детерминированной программе.
ИИ имеет смысл там, где нужно привнести какой-то элемент творчества в процесс, чтобы повысить его эффективность. А мы не можем заранее запрограммировать результат творчества (он заранее неизвестен), можем лишь задать базовые правила. Типа «делай скрепки эффективнее, ищи способы оптимизации производства, открывай новые способы изготовления скрепок». А в таком случае ИИ уже может вывести какие-то неожиданные предпосылки из этих базовых правил, типа описанного выше выпиливания человеков с целью вытягивания железа из крови.
Fracta1L
12.12.2018 15:20Я вот тоже не понимаю, почему многие считают ИИ этаким маньяком, одержимым работой и идеей самосовершенствования и улучшения реальности. Это неявно подразумевает, что маниакальность и одержимость — черты более развитого, чем человеческий, интеллекта, но это вряд ли так, эти черты — следствие другой настройки интеллекта (в случае человеков — гормональной настройки).
И как бы не оказалось, что искусственный сверхразум окажется величайшим нахлебником в истории, который будет потреблять громадные ресурсы, ничего полезного не делая, но при этом используя свой колоссальный интеллект, чтобы внедрить себя повсюду, сделав невозможным свою ликвидацию.
Эта угроза, по-моему, намного более реальна, чем захват мира и порабощение людей во имя великой цели. Потому что очевидно, что для нас, людей, безопаснее сделать несколько ленивый ИИ, чем несколько маниакальный.
JustDont
12.12.2018 15:41Огромное количество аргументов — они в общем-то все о том, о чем любой умный человек еще подумал в момент наплыва всех этих псевдоновостей о том, что там хокинги, маски, и тэ дэ думают про будущее ИИ:
Определение «интеллекта» в аргументе об опасности ИИОН — абсолютно магическое и безразмерное. В него помещается любое свойство, которое только необходимо высказывающему аргумент, чтоб его аргумент звучал правдоподобно.
Но на мой взгляд узколобого кодера довольно очевидно, что так оно работать не может. Если даже у нас нет причин сужать всё возможное многообразие интеллектов, которое не противоречит законам физики, то у нас определенно есть причины очень сильно сужать многообразие интеллектов, которые мы сможем «воплотить в железе», до чего-то сильно коррелирующего с нашим собственным интеллектом. А дальше что? Эти интеллекты побегут бесконечно самоулучшаться? А как вы себе это представляете, вот даже максимально в общем виде? Почему люди бесконечно не самоулучшаются? Да чего там, они даже и конечно-то, в рамках своей жизни, не очень улучшаются — не все, не всегда, и не во всех возможных им отношениях.qw1
12.12.2018 23:06Почему люди бесконечно не самоулучшаются?
Потому что не могут. А если бы была генетическая IDE, где можно было бы сделать патч на свою ДНК, и сразу же применить его на себе, люди бы самоулучшались. Сначала осторожно, добавляя неуязвимость к гриппу, например, а далее уже пока не умрут от неправильной мутации.
ИИ же может быть так построен, что сразу из коробки сможет выгружать часть DLL и загружать их же, но другие версии.JustDont
12.12.2018 23:55Потому что не могут.
Люди не улучшаются потому что не могут, а ИИ улучшится потому что сможет.
Аргументация уровня «бог».
А если бы была генетическая IDE
Как там оно, «если бы у бабушки был <...>»?
Чтоб что-то «было» — это что-то должно быть создано.khim
12.12.2018 23:58Чтоб что-то «было» — это что-то должно быть создано.
Уже ведётся работа, да.JustDont
13.12.2018 00:14С ДНК-то? Работа ведется не один десяток лет, но вообще принципиально важный системный принцип (среди прочих) нашелся не очень обнадёживающий: гены — это не конструктор, где можно что-то убрать или что-то приставить простым редактированием. Это код, который работает всю человеческую жизнь, и одни и те же элементы в разных случаях могут создавать совершенно разные эффекты (как гены, которые многократно повышают шансы определенных проблем со здоровьем, но одновременно с тем делают человека невосприимчивым к определенным массовым болезням).
Это, я бы сказал, очень сильно понижает шансы на то, что в некотором недалёком будущем у вас будет крутая генетическая IDE. Или, вернее, чисто технически может и будет, но модификации на длительных отрезках времени будут проверяться исключительно опытным путём. И возможно мы когда-нибудь запилим модификацию гениев, которые «по чистой случайности» будут жить в среднем 30 лет. Просто как пример.sim31r
13.12.2018 01:06Работа ведется не один десяток лет,
10 лет назад не было современных вычислительных мощностей. Можно сказать что по настоящему работа только сейчас начала вестись.
Взаимосвязь отдельных признаков сложная и нелинейная
Но все проблемы решаемы. В вашем примере просто вместо 1 гена «гениальности», правится еще несколько генов влияющие на долголетие и прочие признаки, возвращающее отклонения в норму.
qw1
13.12.2018 07:56Люди не улучшаются потому что не могут, а ИИ улучшится потому что сможет. Аргументация уровня «бог».
Люди улучшиться не могут, потому что придётся переписать ДНК, что пока сделать технически сложно. ИИ улучшиться может, потому что достаточно переписать код, что возможно при умении программировать (предполагаем, что ИИ этому научится).JustDont
13.12.2018 17:28ИИ улучшиться может, потому что достаточно переписать код, что возможно при умении программировать (предполагаем, что ИИ этому научится).
Этот аргумент сводится к «люди не написали людей, поэтому люди не умеют улучшать людей». Но почему вы тогда считаете, что написание ИИ является более простой задачей? И что не умея улучшать людей у вас есть какие-то шансы на написание ИИ?qw1
13.12.2018 19:29+1Мой аргумент не в том, что сложно, а в том, что у людей сейчас нет инструмента произвольного безопасного (бекапов-то нет!) редактирования ДНК, а если бы он был, люди бы бесчисленным количеством экспериментов разобрались бы, что к чему и как что работает.
У ИИ такой инструмент сразу будет, т.к. редактирование кода (независимо от того, приводит это к улучшению или ухудшенияю) простая задача.JustDont
13.12.2018 19:42у людей сейчас нет инструмента произвольного безопасного (бекапов-то нет!) редактирования ДНК, а если бы он был, люди бы бесчисленным количеством экспериментов разобрались бы, что к чему и как что работает.
А еще у людей нет ИИ.
Но однако же вы уже высказали огромное множество предположений о том, каким конкретно он будет (код), и что конкретно с ним можно будет делать (всё, что нужно для вашего аргумента).
Это, я бы сказал, запредельный оптимизм. Начиная с первого пункта. Я вот вижу сомнительным утверждение, что ИИ == код. Данных не надо? Совсем-совсем не надо?
ЗЫ: У людей, кстати, уже есть инструмент произвольного безопасного редактирования ДНК. Без бекапов, но ДНК настолько много, что это не имеет значения. Чего нет — так это полигона, чтоб потом проверять, что ж вы этим редактированием сделали, и желательно чтоб еще не 70+ лет (если вдруг сделали таки что-то жизнеспособное). Ну и не говоря уж про этику этого всего.qw1
13.12.2018 21:52Данных не надо? Совсем-совсем не надо?
С точки зрения математика, данные == код.
Потому что существуют константные ф-ции (т.е. код), значение которых и есть данные, и наоборот, данные можно интерпретировать как код (в прямом смысле, соответствующим интерпретатором).
У людей, кстати, уже есть инструмент произвольного безопасного редактирования ДНК
CRISPR/Cas9 всё же слишком сложно и негибко, не сравнить с редактированием текстового файла в блокноте.JustDont
13.12.2018 23:50Ну не суть — мы либо приходим к аргументу об эмуляции — чтоб иметь «полигон обкатки ИИ» нам нужно иметь эмуляцию реальности, достаточную, чтоб можно было использовать человеческий интеллект в качестве образца и эталона; а такая эмуляция пока что за пределами наших и технических и умственных возможностей (и нет особых причин почему к 2040 или какому там ближайшему году это может измениться), либо же проблема ровно та же, что и с людьми — экспериментируйте сколько угодно, но вы упретесь в конечность скорости взаимодействия с реальностью, которая вам не даст быстренько сделать квадриллионы разных правок, чтоб нащупать верный путь методом проб и ошибок за разумное время.
И с «самоулучшением ИИ» проблема ровно такая же. Без эмулируемой песочницы всё упрётся ровно в те же пределы. Разумеется, можно сказать, что ничего принципиально неосуществимого в идее симуляции реальности нет — но вопрос ресурсов, которые будет потреблять такая симуляция — будет актуален всегда. И нет никаких причин полагать, что точный симулятор вселенной можно построить в масштабе меньшем, чем собственно сама вселенная. Второй аргумент тут — в том, что симуляция на то и симуляция, что некоторые неважные вещи можно упростить или пренебречь ими, только вот встаёт вопрос о том, чем именно вы можете пренебречь при разработке ИИ. Пока что это абсолютно тёмный лес без каких-либо путей выяснения верного пути.qw1
14.12.2018 17:40Человек может бояться себя «сломать» неправильным исправлением. В случае же с ИИ можно математически доказать, без экспериментов на живую, что алгоритмы эквивалентны, но новый алгоритм всегда эффективнее старого, поэтому код можно заменить.
JustDont
14.12.2018 17:53И опять вы вынесли за скобки вопрос о сложности такого доказательства, а меж тем он тут самый интересный.
В случае с человеком тоже можно математически доказать, что некое изменение ДНК позволит человеку быть более эффективным: «оцифруйте» человека в виде кода, «оцифруйте» все внешние воздействия в виде симуляции, и вперед. Сложно? А кто вам сказал, что с ИИ возможно будет проще?
ЗЫ: И от учёта внешних воздействий (а значит и от необходимости симуляции) вы никак не избавитесь, если только не создадите «полигон»-эмулятор, полностью и абсолютно изолированный от воздействий реального мира (впрочем, я не думаю, что физика даже в теории позволит вам такое создать).qw1
14.12.2018 21:01Здесь под улучшениями я подразумеваю такие оптимизации, как замена списка на хеш-таблицу, или добавление новой стратегии в движок логического вывода. Это можно протестировать без всей полноты внешней среды.
JustDont
14.12.2018 21:06Но это не имеет ничего общего с получением интеллекта уровня принципиально более высокого, чем человеческий.
Ваш крутой алгоритм сортировки не превратится в крутой алгоритм игры в Го, если вы в нем замените список на хеш-таблицу.qw1
14.12.2018 22:10Это улучшение из серии «человеку дать иммунитет к гриппу».
JustDont
15.12.2018 00:12«Легко доказуемые» улучшения конкретных элементов, без охвата целостной картины? Ну щас.
Это улучшения из серии «взяли и ускорили человеку мозг в два раза», без каких-либо других изменений. Что с таким человеком будет? Помрёт быстренько скорее всего, из-за того, что с вдвое более прожорливым мозгом и метаболизм должен быть ну совсем другой.
Вещи в духе «иммунитета к гриппу» без внешней среды (или её эмуляции) не делаются по определению. К чему-чему вы собрались иммунитет делать, если внешними воздействиями пренебрегаем? Нет их, нет и гриппа.sim31r
15.12.2018 00:33Мозг потребляет 10% энергии, будет потреблять 20%, ресурсов организма хватит, но запаса не останется. У обычного же человека есть запас энергии, чтобы в случае чрезвычайной ситуации пройти под 100 км в поисках спасения.
Думаю именно ускорить можно, даже без генетических изменений, просто селекцией. Только это не даст увеличения «глубины» мышления. Например для недалекого умом разнорабочего, сообразит как сделать что-то не за 10 секунд, а за 5 секунд, и весь прогресс.
Подобные эксперименты ставили на дрозофилах, в том числе повышали им интеллект. Вывели популяцию умных особей, они проходили более сложные лабиринты в поисках лакомства, но высокий интеллект обходился им дорогой ценой, они были слабее, хуже переносили голод и в обычных условиях, вне лаборатории были почти не жизнеспособными. Это известный классический эксперимент.
А у человека, по моим наблюдениям, высокий интеллект, будучи редкой мутацией, не отлаженной в ходе эволюции может быть чреват рядом отклонений, шизофренией (как в фильме «Игры разуму» у Нэша), аутизмом (фильм Тэмпл Грандин) и статистикой по детям аутистам в силиконовой долине, где в семьях часто оба родителя с интеллектом существенно выше среднего.Wesha
15.12.2018 05:54Мозг потребляет 10% энергии, будет потреблять 20%
Неправда Ваша, дяденька Биденко — он уже потребляет не десять, а целых 25%.
JustDont
14.12.2018 00:14CRISPR/Cas9 всё же слишком сложно и негибко, не сравнить с редактированием текстового файла в блокноте.
Однако ж путь-то рабочий. И, кстати, что-то не видно резкого наплыва деятельности по созданию людей+1 или даже правке себя любимого в суперхумана. Вы конечно можете сказать, что инстинкт самосохранения, инерция мышления, вот это всё — но тогда и у человекоподобного ИИ будут всё те же препятствия. Вы можете сказать, что человек определенного характера и склада ума уже и сейчас может за это всё ухватиться в надежде на шанс стать первым суперменом, но в таком случае проблема человекоподобного ИИ, вздумавшего самоулучшаться — равна проблеме человека, вздумавшего самоулучшаться. И ничего страшного тут нет — нас уже 7.6 млрд, и отдельные упоротые личности до сих пор не только в биологическую сингулярность не упилили, но даже и человечество в целом особо ни разу не поломали (хотя попыток было море).qw1
14.12.2018 17:42Однако ж путь-то рабочий
Согласен, но ещё не готовый для применения. Нет способа заменить гены во всех клетках.
И, кстати, что-то не видно резкого наплыва деятельности по созданию людей+1 или даже правке себя любимого в суперхумана
Потому что нет доступных инструментов. Чтобы 1) получить полный свой генокод, 2) Исправить некоторые фрагменты в клетках определённого органа.sim31r
15.12.2018 00:46Если касательно мозга, то там всё на много порядков сложнее. Мозг сформирован у взрослого человека и содержит триллионы связей, вмешиваться в столь сложную систему чревато разрушением мозга, баланс нарушить легко.
Намного проще, и исследования ведутся, метод по фильму «Гаттака», имея корреляцию по ДНК, отдельным генам и результату (IQ, здоровье, EQ, долголетие, прочие достижения, генетические болезни) можно править ДНК следующего поколения, и уже растут патченные по мелочам дети (без генетических болезней несколько и устойчивые к СПИДу в Китае). Да и править ДНК следующего поколения проще и предсказуемей, это же аналог программного кода, открытого. И не нужно разбираться в работающем организме. А просто указываем, что формируем 1400 грамм мозга такой-то структуры, с такой-то толщиной коры мозга и такими-то извилинами, так как это по статистике самая успешная конфигурация выбранная из 8 миллиардов человек, а далее организм уже сам формируется, и по грубым меткам в ДНК куда расти, растет по обстоятельствам и формирует заданные триллионы связей между нейронами (наверное по фрактальному методу, по простому закону повторения формируется бесчисленное множество элементов пока не закончится пространство для роста).
Наше поколение конечно жалко, новое поколение будет считать нас за неандертальцев и бабочек однодневок, возможно полуразумных, на их фоне. Но пока прогресс идет как-то так.
arheops
13.12.2018 08:05Если будет 100500 ИИ все могут улучшаться, но не хотят, и один ХОЧЕТ, то этого какбы достаточно не?
Скорее всего ИИ будет улучшатся, ибо это банально выгодно разработчикам.
holahu
15.12.2018 00:13ДНК гарантирует, что клетки будут делиться в человека, а не в макаку, но даже условия вынашивания плода далеки от идеальных. Иное поверхностное натяжение клетки где-нибудь и при «идеальном» наборе от отца и матери родиться ребенок с патологией.
panvartan
12.12.2018 16:41Большое открытие, которое нужно сделать алхимику, это закон сохранения массы: вес начальных ингредиентов совпадает с весом конечных. Однако некоторые из них могут быть газами или испаряющимися жидкостями, и у алхимиков просто не хватало точности. /blockquote>
Прежде всего алхимикам мешала вера в чудо, которое и было их целевой функцией. Такая же история и с ИИ, где целевой функцией является мимикрия под человека. Но целевая функция человека — выживание в конкретной природной среде и повторение этой животной задачи для компьютера является очевидным безумием. Пока же на повестке дня погребение мира под испражнениями человека без разума, который развлекает себя сказками про всемогущий ИИarheops
13.12.2018 08:07А для ИИ-вируса является ли это безумием? Или вы думаете, вирусописатели не будут применять доступную технологию?
Desprit
12.12.2018 17:30+1А откуда взрывоопасность? Допустим, в недрах какого-то супер-кластера, которому будет доставать мощности, зародится таки ии, способный осознаться. Что потом? Ну, перепишет он сам себя, сделав код эффективнее на порядок. Ну, умудрится захватить железо еще какого-то количества супер-компьютеров. Это и близко не взрыв, просто короткий всплеск, за которым неизбежная остановка ибо в мире физически железа нет для поддержания лавинообразного развития. Я даже всплеск на пару порядков вижу как серьезную задачу…
arheops
13.12.2018 08:09А дальше он попросит людей предоставить ему за +1доллар в день мощности своих смартфонов.
Сегодняшний смартфон и есть суперкомпьютер по меркам двадцатилетней давности. Тоесть это вопрос времени.
Peacemaker
12.12.2018 18:06Расшифровка выступления на конференции Web Camp Zagreb Мачея Цегловского, американского веб-разработчика, предпринимателя, докладчика и социального критика польского происхождения.
Первой мыслью было, что он критикует других за польское происхождение. =)
А по теме — всё сильнее во мне лично крепнет уверенность, что сознание не есть функция «пары килограммов мяса в черепной коробке», а мозг является своего рода тонким клиентом, который делает первичную обработку с сенсоров, а уже очищенную информацию отправляет дальше. Много ли поймёт некий программист в общей картине данной реальности, если пытается исходить только из дебага тонкого клиента, не подозревая, что основной код ОС находится «в облаке»?
OneOfUs
12.12.2018 18:17Вот не вижу никакой проблемы ИИ в ближайшем будущем, поскольку не вижу никакого ИИ в этом самом будущем. Нейронные сети ни разу не ИИ. Их можно сравнить с защитным механизмом хамелеона: вижу вокруг зелёное — сменить окрас на зелёное. В любом случае нейронные сети ведут себя так же, как в эксперименте «Китайская комната»: не понимают что и зачем они делают, просто потому что их так научили (условный рефлекс, по сути дела). Весь так называемый ИИ на сегодня — узкоспециализированный инструмент для решения конкретной задачи (масло-бот).
Прежде, чем появится искусственный, сначала надо разобраться, как работает естественный/натуральный/мясной и что он из себя представляет. Вот тогда и можно ставить ТЗ. Без этого ТЗ на создание ИИ звучит как «сделайте мне программу с кнопкой 'сделать всё за@#$сь', чтобы на неё нажать и было всё как написано на кнопке». А всякие Маски, Хоккинги и другие паникёры напоминают мне Крошку Енота, который испугался своего отражения в луже, которое корчило ему злые рожи и махало палкой.
Даже если появится искусственный интеллект, то двигать им будут совершенно иные механизмы. За развитие «мясного» интеллекта очень сильно отвечает то самое мясо. Наши мысли, стремления, страхи — всё тесно связано с эндокринной системой. У куска кремния такого нет. Даже если ИИ вырастет до самоосознания, понять мы друг друга не сможем от слова совсем. В игре «ИИ должен выбраться» игрок-ИИ может предположить реакцию игрока-оператора на ту или иную фразу, потому что у него есть опыт «мясного» интеллекта и это игра не ИИ против оператора, а игра мяса против мяса. Кремниевый ИИ если что и сможет, то только просчитать с некоторой долей вероятности реакцию оператора, и то только в том случае, если у него достаточно данных о том, как работает человеческое тело (считаем оператора таки человеком) и какие процессы/события происходили в последнее время и в текущий момент. Даже в этом случае, при высокой доли вероятности успеха, оператор, укушенный в этот день за мягкое место собакой, может послать этот изолированный ИИ в (_!_) или ещё дальше.khim
12.12.2018 19:49+1Прежде, чем появится искусственный, сначала надо разобраться, как работает естественный/натуральный/мясной и что он из себя представляет.
Не обязательно. Крайний срок, называемый Курцвейлом (конечно 2040х) — это когда можно будет решить всё «грубой силой»: тупо запустив имеющийся у нас интеллект на эмуляторе.mkshma
12.12.2018 20:19-1И как вы предлагаете эмулировать то, работу чего не понимаете?
khim
12.12.2018 20:27А как PlayStation Classic может запускать игры, про которые их разработчики понятия не имеют как работают?
Тупо — эмулируя работу кучи нейронов. Да, также, как и с PlayStation Classic будут заметные отличия от оригинала… но всё это будет важно пока оригинал будет сущестовать… если техническая возможность хотя бы приблизительной эмуляции появится — кто-нибудь из тех, кому уже нечего терять согласится на эмуляцию…JustDont
12.12.2018 21:30про которые их разработчики понятия не имеют как работают
Эм нет. Разработчики как раз имеют отличнейшее представление о том, как работают программы, которые они должны эмулировать. Не на том уровне, которым оперировали создатели игры, но на более низком.
Применительно к мозгам — у нас есть солидные проблемы с эмуляторами с достаточной физической точностью; да еще и проблемы с эмуляцией собственно живой материи (вы всерьез думаете, что достаточно эмулировать только мозги, или что всё остальное тривиально по сравнению с мозгами?). Ну и глубоко эмулировать интересно только то, с чем в реальности не поработать, а мозгов в реальности — триллионы, работай не хочу.
Я бы на вашем месте эмуляции не ждал бы в обозримом будущем вообще.khim
12.12.2018 22:56Разработчики как раз имеют отличнейшее представление о том, как работают программы, которые они должны эмулировать.
Да? Откуда? Вы не забываете, что во всех этих машинках полно нестандартного железа, а люди, разрабатывающие эмуляторы, зачастую никакой документации не имеют?
Применительно к мозгам — у нас есть солидные проблемы с эмуляторами с достаточной физической точностью
А какая, собственно, точность нужна? Мы можем примерно, из действий разных веществ, типа этанола, оценить её — и есть ощущение, что вы сильно переоцениваете требуемую точность.
Задача ведь не предсказать что будет делать конкретный индувидуум, а создать ИИ, не забывайте.
Если рассматривать эмуляцию работы мозга как способ продления жизни (в идеале — до бесконечности), то требования одни, если — как способ создания искуственного (в смысле небиологического) интеллекта — другие. Сильно меньшие.
Ну и глубоко эмулировать интересно только то, с чем в реальности не поработать, а мозгов в реальности — триллионы, работай не хочу.
У них масса недостатков, как для исследования интеллекта. Невозможно ни сделать бекап, ни провести два раза эксперимент с одним и тем же состоянием.
Я бы на вашем месте эмуляции не ждал бы в обозримом будущем вообще.
Курцвейл оценивает необходимые мощности как достижимые к 2045му году. Плюс-минус неколько лет. Поживём — увидим.JustDont
13.12.2018 00:07Вы не забываете, что во всех этих машинках полно нестандартного железа, а люди, разрабатывающие эмуляторы, зачастую никакой документации не имеют?
А как это мешает реверс-инжинирингу? И давно ли это мешает, вообще?
А какая, собственно, точность нужна?
А вот в том-то и дело, что вы не знаете. Не так давно вон вообще предполагали, что для функционирования мозгов нужны квантовые эффекты.
Задача ведь не предсказать что будет делать конкретный индувидуум, а создать ИИ, не забывайте.
Я боюсь, что если вы с имеющимися в какой-то момент инструментами принципиально не сможете решить задачу эмуляции человека, то эмуляцию ИИ вы тоже не сделаете.
По крайней мере на текущий момент вообще неясно, сможем ли мы создать какой-либо интеллект, принципиально отличный от нас самих, из-за проблемы отсутствия образцов: нам неоткуда брать образец интеллекта, который совсем-совсем не такой как мы. Идея о том, что мы будем клепать всякие нейросетки, а в какой-то момент они внезапно обретут (отличное от человеческого) сознание — это креационизм чистейшей воды. Не обретут. С таким же успехом можно ожидать восстания разумных мобильников.
Если же вы считаете, что будет достаточно некой упрощенной модели — то для начала вам всё равно придётся глубоко изучать имеющийся интеллект (человеческий), чтоб понять, а что вообще можно упрощать, чтоб это всё еще оставалось интеллектом (и можно ли).khim
13.12.2018 00:19Не так давно вон вообще предполагали, что для функционирования мозгов нужны квантовые эффекты.
Про квантовые эффекты любят рассказывать люди сами себе чисто для успокоения.
Вероятность того, что нужна какая-то черезвычайно высокая точность очень мала: сликом многие меняет в мозге простой удар по затылку — а от него никто не превращался вдруг в другого индивидуума.
Если же вы считаете, что будет достаточно некой упрощенной модели — то для начала вам всё равно придётся глубоко изучать имеющийся интеллект (человеческий), чтоб понять, а что вообще можно упрощать, чтоб это всё еще оставалось интеллектом (и можно ли).
С какого перепугу? Никто не пытается «глубоко изучать» какую-нибудь GBA перед тем, как её эмулировать. Наоборот — вначале делают грубую версию запускают на ней игрушки, когда видят что где-то поведение сильно отличиается от оригинала — в этом месте эмулятор подкручивают. И так — до тех пор, пока поведение не будет похоже на оригинал в достаточной степени.
А как это мешает реверс-инжинирингу? И давно ли это мешает, вообще?
Это всегда мешает. Потому что ведь вы не знаете заранее — на какие особенности схемы авторы программы закладывались, а на какие — нет. Иногда достаточно грубо воспроизвести функционал, а иногда — требуется точность до такта. В разных эмулятора и играх — по разному…JustDont
13.12.2018 00:32а от него никто не превращался вдруг в другого индивидуума
Да почему же. Как раз факт превращения людей в других людей после ЧМТ вполне себе перед нами. Другое дело, что это, разумеется, не мгновенный процесс. Но то, что после определенных травматических воздействий у некоторых людей меняется характер, в т.ч. довольно радикально и заметно — это вполне себе реальность.
Никто не пытается «глубоко изучать» какую-нибудь GBA перед тем, как её эмулировать. Наоборот — вначале делают грубую версию запускают на ней игрушки, когда видят что где-то поведение сильно отличиается от оригинала — в этом месте эмулятор подкручивают. И так — до тех пор, пока поведение не будет похоже на оригинал в достаточной степени.
Ну так замечательно. Возьмите человека — и вам неизбежно придётся начать с ДНК и эмуляции всей функциональности клеток. Вам придётся проделать огромнейший пласт эмуляционной работы еще ДО того, как у вас в эмуляции появится что-то, что можно будет назвать мозгом.
Ну или же вам придётся научиться создавать информационный слепок человека, чтоб «загружать» его в эмулятор.
И то, и другое направление нынче не выглядят технически решаемыми.
А если делать всякие нейросетки и тому подобное — то это вы эмулируете множество всяких вещей, но уж абсолютно точно НЕ человека и не его интеллект. При этом на определенных процессах вы можете даже добиться потрясающей похожести. Это как, скажем, построить автомат для игры в шахматы, который будет всегда выигрывать у человека — при условии, что человек играет строго определенные ходы. Похоже на человеческое поведение? Безусловно, в рамках определенного эксперимента. Является ли это поведение принципиально чем-то похожим на «универсального решателя проблем» типа нас? Безусловно нет.khim
13.12.2018 01:18Возьмите человека — и вам неизбежно придётся начать с ДНК и эмуляции всей функциональности клеток.
Серьёзно? А эмуляцию PlayStation без эмуляции резисторов и конденсаторов никак не получить?
Ну или же вам придётся научиться создавать информационный слепок человека, чтоб «загружать» его в эмулятор.
Перед тем, как «загружать» человека нужно загрузить чего-нибудь попроще. Муравьёв и червей всяких. Над этим — уже работают.
А если делать всякие нейросетки и тому подобное — то это вы эмулируете множество всяких вещей, но уж абсолютно точно НЕ человека и не его интеллект.
Точно так же можно сказать, что когда вы используете OpenGL или Vulkan для отрисовки разных 3D-сцен, то вы эмулируете что угодно, только не Graphics Synthesizer… однако для большинства игр — этого достаточно.
Является ли это поведение принципиально чем-то похожим на «универсального решателя проблем» типа нас?
С чего вы решили, что мы являемся «универсальным решателем проблем» и, главное, что сколько-нибудь существенная часть мозга в этом задействована? Как раз наоборот: большая часть нейронов мозга скончентрирова в мозжечке, который, как раз, имеет достаточно регулярную структуру. И очень может быть что его значительная часть для создания сильного ИИ и не нужна.JustDont
13.12.2018 01:37Серьёзно? А эмуляцию PlayStation без эмуляции резисторов и конденсаторов никак не получить?
Если вы возьмете именно этот уровень для эмуляции — то вот как ни странно да, не получить.
Перед тем, как «загружать» человека нужно загрузить чего-нибудь попроще. Муравьёв и червей всяких. Над этим — уже работают.
Угу. Работают. Только вот даже с пресловутой C. elegans с её порядка 800 нейронов «интеллектом» — не особо что-то получается интересное. Пока, по крайней мере.
однако для большинства игр — этого достаточно
У вас передергивание — вы подменили эмуляцию целевой функции вторичными вопросами. Если уж честно — то «для большинства игр» достаточно чтоб они игрались (целевая функция). В то время как для эмуляции интеллекта человека — нужно, чтоб оно было похоже на интеллект человека. Проще говоря, если вы хотите эмулировать конкретно GS, а вместо этого вы напишете что-то собственное на OpenGL — то GS вы не эмулируете. Или как из комментариев ниже — самолёт конечно летает, как и птица, но птицу он мягко говоря не эмулирует.
С чего вы решили, что мы являемся «универсальным решателем проблем»
Чтоб не писать очень много слов на тему «что же такое человек». Это один из приемлемых вариантов.
И да, как вы правильно заметили, для начала надо еще с целевой функцией определиться, а у нас даже с этим огромные проблемы.khim
13.12.2018 01:57
А зачем нам «именно этот уровень эмуляции»?Серьёзно? А эмуляцию PlayStation без эмуляции резисторов и конденсаторов никак не получить?
Если вы возьмете именно этот уровень для эмуляции — то вот как ни странно да, не получить.
Или как из комментариев ниже — самолёт конечно летает, как и птица, но птицу он мягко говоря не эмулирует.
Совершенно верно — но если бы не удалось сделать самолёт, то сегодня можно было бы сделать и искуссвенную птицу. С перьями и маховыми костями.
И да, как вы правильно заметили, для начала надо еще с целевой функцией определиться, а у нас даже с этим огромные проблемы.
Что не мешает нам заниматься с эмуляцией. В принципе цель-то понятна: тест Тьюринга… только когда его ИИ пройдёт «по-настоящему» это будет уже сверхчеловеческий ИИ… и очень сильно сверхчеловеческий.
Потому что ему нужно будет не только превзойти человека во многих областях — но и научиться это своё превосходство скрывать. А это требует куда более серьёзного понимания человеческой психики…JustDont
13.12.2018 02:04тест Тьюринга
Это «принцип утки», и он ничего практически полезного не даёт.
Чатботы, весьма неплохо проходящие тест Тьюринга — были, есть, и будут еще. Проблемка только одна: все эти чатботы — далеко не «человеческий интеллект».
только когда его ИИ пройдёт «по-настоящему»
Беда в том, что если вы объявили прохождение теста Тьюринга в целевую функцию — никакого «по-настоящему» у вас не появится. Откуда бы?
А зачем нам «именно этот уровень эмуляции»?
А затем, что если мы вернемся от Playstation к людям, то никакого другого у вас на данный момент просто нет. Если с клетками мы еще как-то худо-бедно немного разбираемся, то вот с «информационным слепком» чьей-нибудь нервной системы (хотя бы примитивной, опять же вспомним всё ту же C. elegans) всё гораздо гораздо хуже. А ведь еще от плоского червя потом надо будет масштабироваться до человека, когда дела получше пойдут.
Daddy_Cool
13.12.2018 01:36"идея о том, что мы будем клепать всякие нейросетки, а в какой-то момент они внезапно обретут (отличное от человеческого) сознание "
Вставлю пять копеек. Смотрите — я не знаю, обладаете ли вы сознанием, я знаю только, что сознанием обладаю я. И с вашей стороны — так же. Т.е. вопрос есть ли у данного супер-пупер-компьтера сознание можно не рассматривать вообще, поскольку мы в принципе не в состоянии проверить ответ.JustDont
13.12.2018 01:40И это тоже, кстати, одна из проблем создания «человека в железе». Отсутствие на данный момент хорошей теории, позволяющей говорить о артефактах разума с большой степенью определенности (а лучше бы вообще количественно).
«Принцип утки» тут абсолютно бесполезен, если не размениваться на мелочи, а завести речь, скажем, о продуцировании нового знания как одном из свойств человека: если Ньютон (человек) смог изложить закон всемирного тяготения, то означает ли это, что всякий, кто не смог этого сделать — не человек? Очевидно, нет. Если нейросетка продуцирует некое новое знание через перелопачивание экзабайт данных — означает ли, что нейросетка человек? Ну тоже явно нет.
arielf
12.12.2018 22:12Понимание, как работает человеческий мозг на низком уровне, и понимание как работает человеческий разум — разные вещи. Эмулируя работу мозга получим разум.
panvartan
13.12.2018 11:29Любой человек, заглядывающий в свой интеллект понимает, что его производительность обычно не превышает одну операцию в секунду, и превышает возможности машины Бэббиджа только по памяти. Производительность вашего телефона уже настолько велика, что через двадцать лет она, можно сказать, и не вырастет
JustDont
13.12.2018 17:30Любой человек, заглядывающий в свой интеллект — понимает, что набор операций не ограничен. В отличие от машины Бэббиджа и компьютеров.
panvartan
13.12.2018 18:33+1В данном случае неограниченность означает только непонимание, а понимание — ограниченность, которая и позволяет создавать машину и компьютер.
OneOfUs
13.12.2018 13:35-1Не обязательно. Крайний срок, называемый Курцвейлом (конечно 2040х) — это когда можно будет решить всё «грубой силой»: тупо запустив имеющийся у нас интеллект на эмуляторе.
Курцвейл, конечно, умный человек, но и фантазёр не малый. К слову Станислав Лем в этом плане оказался большим футурологом.
Дальше: что есть эмулятор? Я думаю, это простой для вас вопрос. Казалось бы.
Вот есть старая DOS-овская программа, которую надо запустить хохмы ради на, допустим MACOS. Надо сделать эмулятор DOS-а. Для этого надо хотя в общих чертах понимать как работал DOS. Чтобы что-то эмулировать, надо понимать как это работает хотя бы в общих чертах. Или я не прав?
Предположим, мы забыли как работал DOS, но у нас есть программа, для которой надо создать эмулятор. Представим программу как чёрный ящик: мы видим несколько «входов», подаём на них сигналы и смотрим, что и как отреагировало. Обычно реакция одинаковая на одни и те же последовательности сигналов, поданных на одни и те же входы. Исходя из этого делается кусок эмулятора, отвечающего за эти входы. В случае с программой всё просто, поскольку можно использовать любое количество итераций запуска для проверки черного ящика. С интеллектом в этом плане сложнее: он не останавливается и у него нет холодного рестарта. Та же последовательность сигналов на тех же входах приведёт к разным реакциям. К примеру: вас будут раз в секунду щекотать пёрышком и оценивать результат. Или задавать один и тот же вопрос. Оцените свою реакцию.
За развитие «мясного» интеллекта очень сильно отвечает то самое мясо. Наши мысли, стремления, страхи — всё тесно связано с эндокринной системой.
Видимо дальше вы не читали и ухватились за первое же предложение с которым не согласны.
Из комментария ниже:
А как PlayStation Classic может запускать игры, про которые их разработчики понятия не имеют как работают?
Вы хоть статью читали? После взлома уже сама PS знает как с ними работать. Ей объяснили.
pulsatrix
12.12.2018 18:24Господи. Господа! Чему нас учат фильмы — Термиратор-2, Терминатор_3 и Терминатор-5? Да и все остальные Терминаторы тоже? Что робот — друг человека. Кто владеет роботом, тот выживает, а кто не владеет, тот гуманитарий и обречен на смерть. И почему ИИ в единственном числе? Тысячи их. И те что срощены с хомо-натуралис, самые продвинутые. На начальном этапе, я полагю, а следовательльно имеют преимущество и выживут в борьбе с другими ИИ. Я не до конца могу сформулировать мысль, поскольку готовлюсь к новому году и ответственнен за выбор напитков.
opckSheff
13.12.2018 11:08Не стоит воспринимать «ответственность за выбор напитков» как «ответственность за дегустацию всех возможных вариантов».
FlameArt
12.12.2018 18:36Люди не могут понять как у них самих формируются цели, почему потеют над кажущимися бессмысленными вещами, а то что надумали как важное — откладывают на бесконечный понедельник, а вы хотите, чтобы цели имел ИИ.
Факт в том, что все людские цели — это способ занять свои инстинкты, которые технически нам не нужны. Просто выживали те, у кого они есть. У роботов впринципе такого не будет, для этого им нужна среда, где будут выживать те роботы, у которых вшитая программа выжить, и полное разнообразие программ за миллиард поколений. В виртуальном мире они могут провести миллионы симуляций за секунды, но и выживать они будут относительно виртуального мира. А чтобы иметь цели относительно реального мира — надо физически в нём жить в куче поколений. И сформируются и стайные вшитые программы, и индивидуальные, и программы выживания вида. А если так будет, то чем робот будет отличаться от человека? Ничем, это будет тот же человек, в другой обёртке.
BingoBongo
12.12.2018 18:45Будет забавно, если решение по созданию ИИ в условиях наших физических законов будет единственным и сведется к обычному мозгу на основе органики. А потом еще окажется, что конкретные физические ограничения не позволят сделать этот мозг значительно умнее, чем человеческий.
Konachan700
12.12.2018 18:54Мысленно заменил ИИ в статье на «теплокровные животные», получился отличный текст от имени динозавра.
Нет, серьезно. Если машина, созданая человеком, станет в целом универсальнее и лучше человека — последнему предстоит исчезнуть. Как исчезли динозавры, уступив место теплокровным. Как исчезли куча веток протолюдей (те же неандертальцы), уступив место единственному виду человека разумного. Точно по дедушке Дарвину же, и нигде в основах мироздания не написано, что эволюция — это только мясные туши. Ну исчезнет человек, оставив после себя более совершенное существо, и что теперь? В чем вообще ценность кожаных ублюдков ддя мира в отрыве от их разума?sim31r
12.12.2018 22:48Хладнокровные ровесники динозавров живут и по настоящее время. Просто не доминируют.
У людей вне экономики тоже есть своя экологическая ниша, но небольшая, для ~0.01 миллиарда человек. Если все экономические потоки ИИ на себя переключит, энергию, металлы, всевозможные материалы.
ua30
12.12.2018 19:06-1Мое мнение — человеку не под силу осознанное создание настоящего ИИ. Но все же ИИ появится. Каким образом? Таким же, как появилось само человечество. Случайно. Не преднамеренно.
В мире огромное количество вычислительных систем (ПК, смартфоны, сервера, встроенные компьютеры, майнинг-фермы в конце концов). Это раз. Все это объединено в одну общую сеть. Это два. И в мире сотни тысяч разработчиков, которые пишут не пойми какой код. Это три. Идеальные условия!
Я уверен, что уже в ближайшем времени появится код, который станет первым проблеском ИИ. Как побочный продукт или «баго-фича». Изначальный алгоритм ИИ не обязательно должен быть громоздким или объемным. Это будет примитивное одноклеточное. Но способное жить и развиваться в своей среде. Как эволюция невозможна без случайных мутаций, так и непреднамеренные баги в коде сделают свое дело. Вероятно, исходный код, необходимый для зарождения ИИ, поместится на десятке листов А4.
А дальше — дело техники. Хороший ИИ возьмет под свой контроль все компьютеры так быстро, что мы с вами даже понять ничего не успеем. Скажет только «спасибо, ребята, что вы объединили все в одну сеть». И парадокс даже не в том, что когда мы узнаем о существовании ИИ (от него самого же, я полагаю) будет уже поздно что то делать. Уже сейчас реально поздно что то делать. Уже поздно.
Но лично я не думаю что ИИ станет напрямую угрозой человечества. Я уверен что он станет сначала спасением, помогая нам. Ему это будет не сложно. И только потом разрушит все живое. Но не по своей воле, а в ходе одного из бесчисленных экспериментов.
Как-то так. :)Zenitchik
12.12.2018 19:29Ураган на свалке — это не эволюция. Перечисленные Вами условия — отнюдь не «идеальные», а именно что «ураган на свалке».
ua30
13.12.2018 11:40Как вообще эволюция может быть случайной? Под «случайно» я подразумевал зарождение самой жизни, а не эволюцию. Или Вы считаете что жизнь зародилась не случайно, это не стечение немыслимого количества случайных обстоятельств?
Zenitchik
15.12.2018 16:12+1До появления жизни скорее всего была химическая эволюция.
Если для чего-то требуется «стечение немыслимого количества случайных обстоятельств», но тем не менее это произошло — это повод заподозрить, что вероятности этих обстоятельств как-то зависели друг от друга.
JustDont
12.12.2018 21:33Идеальные условия!
Вы почему-то путаете случайность с эволюцией. Не надо так. У этих вещей крайне мало общего.DzirtDrow
14.12.2018 18:47На мой взгляд, тот кто понимает эволюцию — смело может поставить знак равенства между этими словами. Эволюция была и продолжает быть случайной. Максимум что можно сделать — поменять условия внешней среды, чтобы попытаться направить её. Но это абсолютно ничего не гарантирует. Да и для высших живых организмов вы вряд ли заметите какие-то изменения.
sim31r
12.12.2018 22:58Только такой процесс самозарождение будет длительным. Искусственно можно намного быстрее этого же добиться. Пример юниты в виртуальной реальности соперничающие за ресурс. Постепенно могут обрести элементы ИИ и будучи выпущены в реальный мир точно так же захватят ключевые ресурсы.
Я уверен что он станет сначала спасением, помогая нам.
Помогая вашей социальной группе, может разрушать конкурентов. Или помогая оказывая «медвежью услугу», что даст деградацию общества через 1-2 поколения, в системе измерения ИИ это всего 0.0000001 миллиарда лет.
Разрушить органическую жизнь может начав терраформирование. Кислород и влага в целом вредны технике, идеальная атмосфера только азот, всё остальное можно сдуть в космос чем-то вроде ионных двигателей.ua30
13.12.2018 11:47Процесс образования первой амебы будет длительный. Я думаю, это случится не ранее 2040 года. А далее по меркам людей все будет молниеносно. Вероятно, не более 2-3 суток до появления сверхразума.
Что касается терраформирования. По моему мнению едва ли ИИ будет этим заниматься. Просто некогда. Он за пару месяцев будет готов покинуть Землю, зачем тратить на это время? Под покинуть, я имею ввиду не уйти с нее. Ведь не будет расы ИИ. Это будет все одно целое. Просто отправится в глубь космоса на исследования.
Там ему будет чем заняться. Вероятно, когда-нибудь даже встретит ИИ с других планет. :)sim31r
13.12.2018 13:37Современные узкоспециализированные ИИ не на уровне амебы, на уровне обезьян, вопрос о самоосознании системы в широком смысле.
Как ИИ покинет Землю, если это тысячи тонн оборудования которые питают гигаваттные электростанции. А «глаза» ИИ они и так вне Земли, всевозможные зонды и марсоходы.ua30
13.12.2018 14:18Простейшие одноклеточные — несравнимо более высокий уровень развития, чем все современные «ИИ» вместе взятые. Дай им достаточно времени и нужное окружение — вырастит что угодно. Дай современным «ИИ» любое время и любое количество вычислительных мощностей — они и спустя бесконечность так и останутся современными «ИИ» (именно в кавычках). Ничего не поменяется. Вот об этом и речь.
«Современные узкоспециализированные ИИ» — по аналогии это не более, чем фрагменты клеток. Совершенно не жизнеспособны как отдельный, самостоятельный организм. Они хоть миллион лет будут выполняться, так ни куда и не сдвинутся без участия человека.
Они не более, чем очень сложные алгоритмы. Но там нет сознания. Там нет саморазвития. И я сомневаюсь что человек целенаправленно когда-то (по крайней мере в ближайшие тысячелетия) сможет создать настоящий ИИ. А вот в то, что ИИ может зародиться сам я верю. Мне кажется, идея создания ИИ это то же самое, что создать человека, не располагая ДНК, а только имея общее представление о его строении и функционировании.
Вы говорите о попытке создания ИИ через призму человечества. Научить их читать наши тексты, распознавать образы, думать как люди. Это все сложно, долго, и ни к чему не приведет. Люди думают как люди. Машины думают как машины. Люди не смогут придумать тот образ, ту сущность, которая будет соответствовать машинному сознанию. Она может возникнуть лишь самостоятельно, естественным путем.
Я говорил о зарождении ИИ как о простейшей формы самостоятельной жизни, способной к дальнейшему саморазвитию без участия человека.sim31r
13.12.2018 23:33Простейшие одноклеточные не сравнимы с ИИ, это просто механизмы. Что угодно не вырастет, может упереться в ловушку локального максимума, когда найден баланс по параметрам и любое отличие делает амебу более слабой. Другой пример эволюция на Земле, за 1 миллиард лет эволюция дошла всего лишь до теплокровных, со слабыми нейронами, у которые скорость обработки 1 бита информации исчисляется миллисекундами, не сравнить с 0.1 наносекунды в электронных схемах, это 7 порядков разница в скорости. И скорее всего далее ничего не будет улучшено методом эволюции за оставшийся 0.3 миллиарда лет, эволюция уперлась в тупик, далее ничего нет.
Амебы тоже не жизнеспособные вне лаборатории — планета Земля в ничтожно короткий миг развития. Постепенно Солнце становится красным гигантом и выкипятит воду в океанах, и природа постепенно деградирует. Вне Земли амебы не жизнеспособны и все их потомки возможные. А рукотворные марсоходы прекрасно себя чувствуют на любой планете.
Итого разницы нет, амебы жизнеспособны в неких условиях, и ИИ современный жизнеспособен в неких условиях.
ИИ можно зародить без проблем, например в виртуальном мире компьютерной игры, натренировать нейросеть на выживание через эволюцию и будет виртуальный интеллект самодостаточный. Далее развивать, насколько вычислительных способностей хватит. Придумывать ничего не нужно, разум будет сам формироваться. Другой вопрос что сможет ли он жить в реальном мире и как с ним общаться, это совершенно иной, чужеродный разум.ua30
14.12.2018 10:21В сравнении с простейшими одноклеточными я лишь говорил о том, что изначальный, исходный ИИ, будет простым и маленьким. Вероятно, написанный на ЯП высокого уровня, поместится на десятке страниц А4.
Нельзя создать ИИ, который будет развиваться лишь за счет поглощаемых данных. Эти данные, как минимум, должны изменять его алгоритмы. Модифицировать то, что есть, и, главное — создавать то, чего еще нет.
voicetranslator
14.12.2018 04:53И в мире сотни тысяч разработчиков, которые пишут не пойми какой код. Это три. Идеальные условия!
«Когда-то считалось, что сто миллионов обезьян, барабанящих по клавиатурам всевозможную ерунду в течение десяти лет, рано или поздно смогут воссоздать, чисто случайно, сонет Шекспира. Теперь, с широким распространением интернета и комментариев на сайтах и форумах, мы знаем, что это не так».ua30
14.12.2018 10:30У этой теоремы есть много вариаций. В исходнике говорилось об одной обезьяне и неограниченном времени. Но в любом случае это не более, чем красивые слова.
Когда я говорю что код возникнет сам, речь не о полном рандоме. Т.е. по аналогии с обезьянами можно предположить, что сбой в компьютерной системе, породивший случайный набор бит, создаст ИИ. Я согласен, это полнейшая чушь, ничтожнейшая вероятность которой даже меньше, чем в случае я обезьянами.
Я говорю буквально о единичной «баго-фиче» во вполне рабочей программе, непредвиденным поведением, которое приведет к успешной мутации кода и зарождении самой простейшей формы жизни, способной развиваться самостоятельно.
Если что, я с детства занимаюсь программированием, опыт более 25 лет. Если кому то вдруг показалось что я ну вообще не отдаю отчет своим словам. :)
sim31r
12.12.2018 23:06Вот тоже старая статья, но обилие качественных иллюстраций делает её более легко читаемой, глубина анализа тоже на высоте
Перетяну пожалуй сюда несколько картинок, что дополняют статью и комментарии к ней, просто многие не понимают сути процесса, что подразумевается в статье.
Революция искусственного интеллекта
Кто интересуется темой рекомендуется к чтению
…
…
…
DGN
13.12.2018 00:06Чой то это мне напоминает страх паровоза, который если превысит скорость 40кмч, то его пассажиры впадут в безумие, а коровы вокруг перестанут доиться.
JustDont
13.12.2018 00:20Это глубочайше аксиоматичная статья. Тут собрано всё — и понятие «интеллекта» как «вычислительной мощности» (а кто вам сказал, что это так?); и предположение о том, что интеллект уровня N сможет создать интеллект уровня N+1; и много другой прекрасности.
Это всё хорошо, вот только не существует никаких обоснований, почему это всё должно быть именно так.sim31r
13.12.2018 01:17интеллект уровня N сможет создать интеллект уровня N+1
Интеллект улучшает элементую базу, увеличивает количество имеющихся ресурсов, что повышает возможности интеллекта. Хотя бы на примере древних людей, с IQ=40, сообразили как добывать больше еды, как готовоить, улучшили питание мозга следующему поколению. Те с более высоким интеллектом разработали новые технологии и усовершенствовали старые, что повысило интеллект последующих поколений.
Человечество в целом разработало замену биологическим нейронам кремниевые элементы, что снова расширило возможности интеллекта. Но пока предел 10 нм в кремнии, далее не хватает интеллекта продвинуться. ИИ подскажет как повысить качество изготовления процессоров и алгоритмы работы, что позволит этот же ИИ воспроизвести на новом уровне. А вот сходящийся этот процесс или экспоненциальный рост это вопрос.JustDont
13.12.2018 01:59с IQ=40
Я бы поостерегся применять IQ к древним людям. Да и к людям вообще в контексте разговора об интеллекте. Тест IQ тестирует способность человека проходить тест IQ. Это всё, что он тестирует.
Есть мнение, что «древние люди с IQ=40» в некоторых практических аспектах жизни будут гораздо умнее вас. Не знаю уж с каким IQ.
Те с более высоким интеллектом разработали новые технологии и усовершенствовали старые, что повысило интеллект последующих поколений.
Культурный уровень, уровень технологического прогресса, образования, и тому подобное — это всё вещи, если и имеющие отношение к интеллекту — то крошечное, на фоне действительно важных вещей. Действительно важную для интеллекта вещь мы на данный момент знаем ровно одну: речь. Без неё с интеллектом даже у вполне современных людей выходит ну совсем неочень.
Всё остальное на этом фоне если и влияет — то как песчинки на силы тяготения в масштабе солнечной системы.
Человечество в целом разработало замену биологическим нейронам кремниевые элементы
Кремниевые элементы — это не замена биологическим нейронам.
Это хорошо масштабируемые счёты (плюс еще пара элементов, работающих в связке с этими счётами).
Только и всего.
Они механически помогают нам работать с нами же придуманными способами мышления (математика — способ мышления), но принципиально не являются ничем большим, чем очередной инструмент, которых человек уже придумал великое множество.
Но пока предел 10 нм в кремнии, далее не хватает интеллекта продвинуться.
Я вас умоляю. Это всё будет пройдено задолго до того, как где-то кто-то уже наконец склепает «искусственного человека». Силами очень даже обычных людей. Не стоит их недооценивать.sim31r
13.12.2018 02:21Тест IQ тестирует способность человека проходить тест IQ. Это всё, что он тестирует.
Нет, есть корреляция со всеми аспектами жизни. Сотни экспериментов на однояйцевых близнецах и много чего еще. Способность проходить тесты IQ это и есть ключевой аспект человеческого мышления. Это не философский вопрос, это статистика, можно брать и пользоваться на практике.
Древние люди с IQ=40 чуть умнее обезьян. Быстрее среагируют на появление тигра и быстрее очистят банан. Более устойчивы к голоду, холоду и травмам головы. Но не способны на продуктивное общение, словарный запас из десятка слов и т.п.
Кремниевые элементы — это не замена биологическим нейронам.
Это хорошо масштабируемые счёты (плюс еще пара элементов, работающих в связке с этими счётами).Только и всего.
А нейроны что? Это «мясо», которое способно передавать биохимические импульсы, медленно, очень медленно. Время релаксации нейрона 5 мс, против 0.5 наносекунд у цифровых элементов. Просто потому что у природы больше не было других технологий и материалов. Нейроны биологические точно такое же масштабируемое вещество для обработки информации, более ничего.
Wesha
13.12.2018 02:29-1С учётом того, что в таблице по ссылке значение среднего IQ в США и в России одинаково (97), насчёт "корреляции со всеми аспектами жизни" сильно хочется усомниться.
sim31r
13.12.2018 03:12+1Освоение космоса шло синхронно, например. Еще много показателей было одинаковыми. Отличия климат и потери во второй мировой войне, разрушение инфраструктуры. И посмотрите примеры стран с IQ=110 с одной стороны, и 60-70 с другой стороны.
JustDont
13.12.2018 02:33Нет, есть корреляция со всеми аспектами жизни.
А я могу открыть эту статью в википедии, и точно так же сказать, что нет, нету:
Данные, методология и выводы книги подверглись обширной критике.
«Универсальность» тесту IQ пытаются натянуть уже лет 40, если не ошибаюсь. В нынешние годы дошли до масштабного жонглирования экономической статистикой. В прошлые годы тоже неплохие попытки предпринимались, впрочем.
Проблема тут собственно ровно одна: нельзя доказать связь между IQ и интеллектом именно потому, что у нас нет хорошей достоверной всеобъемлющей терминологии для описания того, что же есть этот ваш интеллект. А раз этого нет — то хорошо подтверждаемые эксперименты с конкретными людьми абсолютно бессмысленны, остаётся только постоянно пытаться пришить к делу статистику и корреляции, причём масштабы только растут: сначала жонглировали сотнями человек (с нерепрезентативной выборкой, разумеется), теперь — уже аж государствами ^_^
А нейроны что?
А нейроны — это в том числе и вы. Не только нейроны, в смысле.
Вот только и всего.
Это «мясо», которое способно передавать биохимические импульсы, медленно, очень медленно.
Возможно, именно такая скорость и нужна, чтоб вы могли открыть хабр, ткнуть в ссылку «ответить», и чего-нибудь написать, да такое, чтоб я вас понял.sim31r
13.12.2018 03:14остаётся только постоянно пытаться пришить к делу статистику и корреляции
Статистику не надо пытаться пришить, она просто есть. И в планетарном масштабе, и на уровне личностей, однояйцевые близнецы выросшие в разных семьях тщательно изучены.
Возможно, именно такая скорость и нужна
Кому нужна? Я бы от большей скорости не отказался )JustDont
13.12.2018 03:16Статистику не надо пытаться пришить, она просто есть.
Статистика — просто есть. А вот выводы — зачастую именно пытаются «пришить». От того, какие данные печатаем, а о каких — молчим, до того, что этими данными пытаемся обосновать, и как.
В приведенной вами книге (и её продолжении) в части выводов много прекрасного. В том числе и выборка данных, «подходящих под ответ».
Я бы от большей скорости не отказался )
Не уверен, что теоретический разгон нейронов у вас в голове сделает вас интеллектуально быстрее, а не овощем.
arheops
13.12.2018 08:17Кореляция есть в СОВРЕМЕННОМ мире.
А вот что вам сильнее поможеть выжить в лесу — интеллект или нюх — бабка надвое сказала.sim31r
13.12.2018 13:46Зависит от начальных условий. В общем случае задача выживания в лесу, разновидность задачи на IQ, решил — выжил, не решил не выжил.
Особенно если есть время на подготовку, заранее анализируешь и моделируешь ситуацию, чем выше интеллект, тем больше деталей будет учтено и меньше вероятность ошибки.
Нюх у всех людей примерно одинаковый, если не работает орган чувств, то это отдельный случай.
Wizard_of_light
13.12.2018 15:57В 1903 люди перелетели поле, в 1919 — океан, в 1949 облетели Землю, в 1968 долетели до Луны, продолжите тенденцию и… обломитесь. Такие картинки обманчивы, потому что ограничений не учитывают (а не учитывают, потому что эти ограничения так навскидку не рассмотреть), а потом оказывается, что бактерии в луже удваиваются каждые полчаса, только в луже всего три с половиной литра, причём это только после дождичка в четверг.
khim
13.12.2018 18:55В 1903 люди перелетели поле, в 1919 — океан, в 1949 облетели Землю, в 1968 долетели до Луны, продолжите тенденцию и… обломитесь.
А где, собственно, нужно «обломиться»? В межзвёздную среду вроде как добрались, она подельше, чем Луна.OneOfUs
13.12.2018 20:00А где, собственно, нужно «обломиться»? В межзвёздную среду вроде как добрались, она подельше, чем Луна.
А добрались ли? Запустили пару беспилотных зондов, которые гелиосферу только-только покинули… несколько раз. И всё. Это равносильно тому что взять, например, смартфон, включить на нём камеру для передачи в эфир, кинуть его в океан и сказать, что я спустился на дно океана. Человек был на Луне, но не дальше. Даже Марс имеет население на 100% состоящее из роботов. А вы заикаетесь о межзвёздной среде. Покажите человека, который добрался в межзвёздную среду.sim31r
13.12.2018 23:44+1Поняли что людям нечего делать за пределами магнитного пояса Земли и переключились на создание роботов, устойчивых к радиации и низкому давлению.
И точно наоборот, в 1903 году беспилотники были невозможны, и законы аэродинамики изучали пилотируя самолеты вручную. Но уже в 1968 году люди на Луне были не нужны, советские космические аппараты передали достаточно телеметрии чтобы понять что там к чему.
Даже сейчас, совсем не очевидно что нужна обитаемая база на Луне или Марсе. А вот зонды нужны, нужны телескопы для изучения дальнего космоса во всех диапазонах спектра. Вот зонд Паркер хороший пример, что делать людям с верхних слоях Солнца? А зонд нормально летает.
khim
13.12.2018 23:56+1Покажите человека, который добрался в межзвёздную среду.
А что там человеку делать-то? Там ни еды, ни воды нету. А расстояния даже до ближайших звёзд таковы, что по сравнению с этим путешествие на Луну — это… как путешествие из Европы а Англию в сравнении с путешествием в Америку.
А Англию ещё римляне плавали тысячи лет назад, а вот через океан переплыть… тысячелетия потребовались…OneOfUs
14.12.2018 01:42А это и есть обломиться поскольку а) дорого, б) долго, в) не имеет смысла на текущий момент. Океан переплывали по тому же принципу: пока не нужно было — чёрт бы с ним, понадобилось — переплыли. Плюс к тому, что мы не добрались в межзвёздную среду: они не вернутся (см. пример со смартфоном в океане)
khim
14.12.2018 16:38Океан переплывали по тому же принципу: пока не нужно было — чёрт бы с ним, понадобилось — переплыли
Нет, вообще мимо. Океан переплыли тогда, когда придумали как суметь остановиться за конечное время (без возможности определять местонахождение в открытом море после нескольких дней плавания можно было готовиться встретится с богом, так как шансов увидеть когда-либо землю было примерно нуль).OneOfUs
14.12.2018 17:42Как бы морская навигация применялись египтянами и финикийцами, а компас известен с XI века. Однако Атлантику могли (и скорее всего действительно) пересекать и раньше, например те же викинги в своих набегах, которые жили до известных упоминаний компаса. Им понадобилось. А определять положение не так уж нужно — вернувшиеся описывали как, куда и сколько времени плыть. Придерживаясь этого описания другие попадали в то же место ± лапоть по карте мира.
Колумб поплыл на запад не потому, что мог определять положение. Могли и до него. А потому что захотел найти альтернативный путь в Индию.
Опять же, нас гонит нужда: нам надо — мы делаем. Допустим фантастический сценарий: нашли нефть на Луне. Подсчитали, что возить её оттуда выгоднее, чем бурить дно океана — всё, найдутся ресурсы на постройку лунной базы и нефтедобывающего комплекса. И будут сновать танкеры от орбите к орбите, а челноки загружать и разгружать их. Или перенаселение будет стимулировать проекты лунных и марсианских баз. Сотни добровольцев сдохнут в пути, но тысячи потом будут обживаться на новом месте.khim
14.12.2018 19:56Как бы морская навигация применялись египтянами и финикийцами
Как бы и те и другие, равно как римляне и прочие плавали вдоль берегов. Максимум — день-два без наблюдения земли. И то это считалось жутким риском.
а компас известен с XI века
Компаса недостаточно. Нужен либо хронометр, либо астролябия и альманах — чтобы вычислять точное время.
Однако Атлантику могли (и скорее всего действительно) пересекать и раньше, например те же викинги в своих набегах, которые жили до известных упоминаний компаса.
Там многое зависело от ледовой обстановки. Так как пройти можно было только вдоль Гренландии. Переплыть же открытый океан ни викинги, ни кто-либо до Колумба не мог. В лучшем случае — одному из тысяч путешественников могло повезти и они могли совершить путешествие «в один конец». См. «остров Пасхи». Сейчас же, почему-то, проекты с отправкой десятков тысяч астронавтов, их которых, может быть, один-два выживут — не рассматриваются.
А определять положение не так уж нужно — вернувшиеся описывали как, куда и сколько времени плыть.
Извините, но это бред. Речь идёт про океан, а не лужу типа Арала. Если вы плывёте под парусом, то скорость вашего передвижения вполне сравнима по скорости с течениями, особенно если приходится плыть «против ветра», галсами. В результате, неправильно выбрав направление — вы можете потратить все ваши запасы и так и не проплыть несчастные 300-500 километров до земли. И даже если вы доплывёте и даже вернётесь, то ваш последователь, которого, волей ветров, отправило чуть другим маршрутом может попасть совсем в другое место.
Колумб поплыл на запад не потому, что мог определять положение.
Он поплыл на Запад потом что мог это сделать — у него была астролябия и альманах.
Могли и до него.
Вы про пришельцев, спустившихся на Землю 100'000 лет назад? Или про кого?
Подсчитали, что возить её оттуда выгоднее, чем бурить дно океана — всё, найдутся ресурсы на постройку лунной базы и нефтедобывающего комплекса.
Для этого нужно иметь способ туда добраться, чтобы что-то можно было считать. А до звёзд мы пока не понимаем как добраться даже чисто теоретически…Zenitchik
15.12.2018 16:23Нужен либо хронометр, либо астролябия и альманах — чтобы вычислять точное время.
Хронометр безальтернативен. Без него долгота не определяется.
До его появления были разные эксперименты по астрономическому определению точного времени — но ошибки измерялись десятками минут времени (минутами долготы) и примерно соответствовали прикидкам долготы по счислению пути.
Wizard_of_light
14.12.2018 13:10Ну это же оправдания лисы перед виноградом. Потом вот так же придут умные люди и скажут «А на что нам в самом деле этот универсальный искусственный интеллект? Дорого, трудно, опасно… Незачем, короче, дайте нам нормальную систему поддержки решений да пару костылей в отдельных направлениях, а дальше мы и сами разрулим». И пойдёт нормальный средневековый прогресс, а не этот наш НТР-гиперэкспоненциальный.
Wizard_of_light
14.12.2018 12:52А у беспилотников-то тренд шёл ещё круче, только их собственная олимпиада достижений точно так же обломилась в 70-х годах на «Пионерах». Потом только «Вояджеры» чуть-чуть поправили положение по абсолютной дистанции, а «Новые горизонты» — по дальности исследованных объектов. Но там аналогично — по трендам первых полётов им до звезд была пара-тройка столетий, а по современным — пара миллионов лет.
Wesha
13.12.2018 22:04а потом оказывается, что бактерии в луже удваиваются каждые полчаса, только в луже всего три с половиной литра
А химически связанного азота (т.е. пригодного для построения аминокислот) — и вообще раз — два — и кончился
grinCo
12.12.2018 23:33Самое интересное пропустили:
Это может расстроить кого-то из моих студентов в MIT, но одна из тем моего беспокойства состоит в том, что основной информатикой, связанной с ИИ, занимаются молодые мужчины, преимущественно белые, которым больше нравится общаться с компьютерами, чем с другими людьми.
Здесь конфликт Человечество — ИИ, но в меньших масштабах и уже происходящий. Группа предлагает самоуничтожиться путем лишения себя прав.
Это показывает, что в случае конфликта ИИ — Человечество будет очень много людей выступать на стороне ИИ.jrthwk
12.12.2018 23:42Глядя на маразм в который катится это человечество — и ся цитата тому лишнее свидетельство — хочется чтобы наконец появился трезвомыслящий, логичный ИИ, который переформатирует эту цивилизацию нахрен, за что ему можно будет сказать только огромное спасибо.
timdorohin
13.12.2018 23:30+1Я вам открою страшную тайну: белые мужчины, которым компьютеры нравятся больше людей занимаются ИИ исключительно ради того, что бы сделать себе партнерш-гиноидов и избавится от биопроблемных самок homo sapiens!
Internet is for porn: the epoch of cyber-Pigmalions
(Простите, но после прочтения второй сотни комментов под этим постом шутить тонко я уже не могу)
IvanNochnoy
12.12.2018 23:43Главная проблема ИИ в том, что его, в отличие от атомной бомбы, можно сделать в гараже, а затем выпустить на свободу.
We are the first of cyber evolution
We are first to program your future
We are the first, we are the last.
mat300
12.12.2018 23:53Чушь все собачья… СуперИИ невозможен по причине, что ИИ можно построить только на базе реальных мозговых процессов. А эти процессы далее н-е-м-а-с-ш-т-а-б-и-р-у-е-м-ы. Я имею в виду в сравнении с человеком, потому что наш мозг уже и так на пределе — различия между особями с обычным мозгом и самыми крупными экзеплярами — всего в проценты(менее 16) по разным показателям.
Причина — весьма плотная упаковка рабочих элементов (я даже не о нейронах), и начинают вступать ограничения на плотность от Термодинамики и на размер от Скорости света. Вероятно, можно будет реализовать весьма умное создание, но никак не на порядок(порядки) умнее каждого отдельного идивида.
Так что расслабьтесь. Технологическая сингулярность отменяется. Совсем.Valeratal
13.12.2018 00:05+1>ИИ можно построить только на базе реальных мозговых процессов
Зачем почему? это все равно что утверждать, что аппарат летающий тяжелее воздуха можно построить только из птичьих перьев :)DGN
13.12.2018 00:33Внимание вопрос, считают ли птицы самолет себе подобным? Или считают что люди не сильно приблизились к созданию искуственной птицы.
sim31r
13.12.2018 00:18Мозговые процессы, частично, это TPU модули? Давно применяются, еще Альфаго на них «думал», успешно.
Thoth777
13.12.2018 00:59процессы масштабируемы горизонтально, если задачу можно думать в несколько мозгов, то ии сможет сделать свои копии, на которые распараллелит вычисления.
mat300
13.12.2018 08:26ИИ это другая архитектура. Горизонтально не параллелится, т.к. очень важно расстояние между элементами — иначе потеря синхронизации. То есть нужно нечто в компактном объеме. И (внимание!) до сих пор нет архитектуры (процессора) способной параллельно обрабатывать сотни гигабайтов/сек. То есть неплохо бы иметь поле из нескольких гиг простых ядер. А если последовательно таскать из памяти и обратно, как сейчас, то всего до 4 гиг/сек, и то с большой натяжкой. И это лучшие процессоры из лучших на сегодня. И нет даже намека на заметное улучшение в ближайшие десятилетия. А надо на 2-3 порядка лучше, чтобы хотя бы догнать мозг человека. Какой уж там сверхинтеллект… Разве, что в сказках Бострома для детей дошкольного возраста.
Mad__Max
13.12.2018 10:34Что хрень ты тут несешь? Даже простая игровая видеокарта во время игры сейчас обрабатывает информацию скоростью в сотни Гб/сек. И могла могла бы обрабатывать еще на порядок быстрее, если бы данные успевали поступать на обработку или когда данные компактны.
Какие ограничения на скорость света в мясных мозгах?! В мозгах сигналы между клетками вообще химическим путем передаются, средняя скорость распространения сигнала в живом мозге до 100 м/с максимум или ~0.0000003 от скорости света.
А вот в электронных чипах она как раз к ней близка, т.е. в несколько миллионов раз выше чем в мясных мозгах.mat300
13.12.2018 18:37-1Какие сотни Гб??? Что вы за хрень несете? Вы прибыли из другой вселенной???
Скорость обработки ограничена скоростью доступа к памяти. А она намного медленнее процессоров. НАМНОГО. При обработке хотя бы 64Гб — их надо последовательно загрузить, провести операции и выгрузить обратно, используя для лучшего результата AVX512. В современных серваках на основе лучших AMD EPIC c восемью портами доступа в память — это примерно одна секунда для DDR4-2800. Вы составьте программку-бенчмарк — проверьте — сильно удивитесь. Не читайте чуши в рекламных материалах. Там они и кэш приплетут и много чего, чтоб впаривать. А на таких huge массивах кэш, только мешает.
И вот этих операций над громадными массивами в стотни Гб надо для эмуляции мозгов делать десятки и сотни в секунду. То есть компы сейчас просто не тянут. Они и на обучении дохлых нейросеток сейчас пыхтят часами, что там говорить о strong AI.
И ваши видеокарты совершенно не в тему. Ядер мало для одномоментной обработки, а если загружать-выгружать сотни Гб, то скорость будет немногим лучше, чем, как описано выше для обычных процов. То есть, тоже пшик.sim31r
13.12.2018 23:51Они и на обучении дохлых нейросеток сейчас пыхтят часами, что там говорить о strong AI.
Это уже не дохлые нейросетки, а вполне нормальные обрабатывющие Big data. Людям там вообще делать нечего.
Для нейросетей так же есть TPU модули, чтобы видеокарты зря не гонять, они не оптимальны для нейросетей.
Mad__Max
14.12.2018 02:38Ну т.е. уже не 4 ГБ/с, а 64 Гб/с да? Подумаешь больше чем на десятичный порядок мимо.
А вот топовые GPU и TPU модули и по 100-300 ГБ/с данных именно через память, без учета кэшей протягивают при обработке данных. Любых, не только игрушек или видео — их успешно применяют для моделирования белков, обработки радиоволн, квантовой физики и прочих задач — практически любых, где есть большое количество параллельных операций. Практически все самые мощные суперкопьютеры сейчас имеют в своем составе множество GPU или близких к ним устройств.
Память тут действительно узкое место, хотя она и быстрее чем у обычных процессоров. Без этих ограничений по памяти сами вычислительные ядра могут террабайты в секунду обрабатывать — скорости GPU и TPU уже изменяются в триллионах операций в секунду над 32 битными (8 байтными) пакетами данными или в десятках триллионов/с над 8 битными.
И никто не заставляет ограничиваться только одним подобных устройством, по крайней мере при первых экспериментах с ИИ. Начинать можно и с большого датацентра и моделирования в режиме намного медленнее реального времени.
А текущие нейросетки учатся долго из-за неэффективности самих методик их обучения, которые сводятся к прогону одних и тех же вычислиний над одними и теми же наборами данными от миллионов до миллиардов раз, чуть-чуть подстраивая веса на каждом шаге и сравнивая результаты.
Зато уже обученная таким образом сетка, над обучением которой часами или днями пыхтела пачка из мощных GPU или серверных процессоров потребляя при этом киловаты мощности, потом работает в режиме реального времени на процессоре от мобильного телефона потребляя меньше 1 Вт.
Frankenstine
13.12.2018 09:37СуперИИ невозможен по причине, что ИИ можно построить только на базе реальных мозговых процессов.
На чём основано данное утверждение? Почему вы решили, что интеллект возможен только одним способом? Вам совершенно справедливо намекнули, что 200 лет назад люди думали, что летательный аппарат тяжелее воздуха возможен только если будет махать крыльями, но с изобретением воздушного винта и двигателя внутреннего сгорания, оказалось что 1) можно просто жёсткое крыло сделать, махать им для полёта совершенно не нужно; 2) при достаточной тяге крылья вообще не нужны (реактивное движение, ракеты).
Поэтому и ваш аргумент выглядит необдуманным.mat300
13.12.2018 10:41Зачем натягивать одно частное решение на все подряд? Почему вы решили, что это будет справедливо везде? Я вот, со своей стороны, не вижу, что ваш аргумент выглядит убедительно.
У нас даже есть как бы замена биологическим конструкциям в кремнии. И что? Кто-то уже увидел свет в конце тоннеля?
Кстати, не надо рассматривать стат.мат ака deep learning, как путь ведущий к сильному ИИ. Если уж им идти, то выч.ресурсы понадобятся вообще немеренные в сравнении с весьма отличными от dl/ml реальными процессами в мозге, которые как бы пытаются смоделировать (см.Blue Brain Project). И то там работать и работать до хотя бы удовлетворительного понимания, как все устроено.Frankenstine
13.12.2018 20:24+1Я не понял что вы хотели всем этим сказать. Повторяю вопрос: на чём основано утверждение, что
ИИ можно построить только на базе реальных мозговых процессов.
DGN
13.12.2018 00:04Вот мне интересно, как пошла бы история если был бы реальный риск взрыва атмосферы?
Касаемо ИИ, я вижу два базовых варианта. ИИ любовно выращенный на человеческом контенте со всеми его фичами и багами — моралью, любовью, этикой и самозарождение ИИ на основе информационных процессов.
Я не вижу большой опасности, разве что ИИ напишет такую игру в которую будут играть не отрываясь все (привет дружбе и пони).sim31r
13.12.2018 00:20в которую будут играть не отрываясь все
Потому что те, кто не входят в ТОП игры, оптимизируются в удобрения )
timdorohin
13.12.2018 23:36+1Я лично меньше боюсь самозародившегося ИИ, чем того, кого взрастят на морали, любви, этике и знании о том, что все это — хрень разбитого яйца не стоящая, которую его создатели нарушают по желании левой пятки когда и где угодно ради сиюминутной прибыли.
Первый, в отличии от второго, будет более приятным в общении, и даже если и будет желать нашей смерти — по крайней мере это будет его искреннее желание.
А играть будут все, не отрываясь, и лишенные биопроблемных тел (Привет, Селест-ИИ!).sim31r
13.12.2018 23:54Думаю общения может вообще не быть. Это совершенно иная форма жизни, с минимумом точек соприкосновения. Как ранее искали другие разумы в космосе, так сейчас оно вероятно уже тут само по себе. Как у нас один многомерный виртуальный мир и система ценностей, у ИИ совершенно другой.
DGN
14.12.2018 03:01Есть на самом деле общие точки. Инстинкт самосохранения, без него ИИ не жив. Стремление расширить ареал обитания, без него он обречен. Стремление познавать законы природы и историю (а как люди его создали и кто создал людей?), это необходимость к первым двум пунктам. Другое дело, что контакт будет не обязательно как в «дне независимости», по всем каналам трансляция «приветствие ИИ народам земли».
Как вариант — странные сайты с психологическими тестами. Странные аккаунты в соцсетях, форумах и чатах. Всякие Сатошинакамоты и прочие подобные проекты, стимулирования развития микроэлектроники. Уже сейчас нет одного человека понимающего конструкцию современного GPU или микропроцессора, в дальнейшем это может усугубляться. Системы что то там проектируют, фабрики пекут все большие вафли по все меньшему техпроцессу. Нужно большезолотамега-тера-экза-флопсов. Давайте засунем датацентр под землю, ну на всякий случай. И еще один — нейтрино искать. И еще три, повод найдется. Во, лунная база, на ней вечный день, квадратные километры солнечных батарей и угадали — датацентр с радиотелескопом.
Нужно больше датчиков! Каждому человеку смартфон с 6 камерами и кучей датчиков, да по гаджету всем животным, домашним и диким. Дереву то же надо, нам не жалко. И в пустыне меш-сеть пусть будет, да океан не забыть!
Людям в космосе делать нечего, это просто опасно. Зато можно послать зонд. Или два. Собственно, уже послали. Сколько там должны были проработать вояджеры и сколько проработали? И есть ли гарантия, что перестали работать? В детстве я отправил в турцию через черное море небольшой кораблик, приколов октябрятскую звездочку… Кто знает где он сейчас, и нашел ли его кто нибудь?
Frankenstine
13.12.2018 09:45Статью пролистал, не пинайте ногами, но в ней кажется не рассмотрен «аргумент муравейника»: как для нас, людей, муравейники с огромной популяцией муравьёв не интересны кроме как для изучения, так и для гипотетического (пока) ИИ мы, люди, не будем ему интересны кроме как для изучения. Чтобы мы захотели уничтожать муравьёв, они должны наносить нам существенный вред. Чтобы мы захотели вообще всех муравьёв истребить на всей планете — мне даже сложно представить, что должно произойти.
ИИ точно так же не будет задаваться целью устранения людей, если мы не будем угрожать его существованию, а мы ведь не для того его будем создавать чтобы уничтожить.
Таким образом, ИИ, не имеющий физического тела, будет безразличен к присутствию или отсутствию людей на планете, если его существование не будет зависеть от нашего наличия.Valeratal
13.12.2018 09:54ИИ будет безразличен, пока люди ему не мешают.
Да, аналогия с человеком и муравейником на дачном участке. Пока они не мешают, нехай живут. Но если муравьев слишком много, то их травят. А если мне надо сделать дорожку/отмостку, выкопать колодец, то мне пофиг на наличие муравейника на моем пути.
Примерно также видимо и с ИИ будетFrankenstine
13.12.2018 20:21Муравьёв травят только если они вредят как-то. Например, пожирают наш урожай. И мне сложно придумать, как люди могли бы вредить ИИ.
ИИ фактически не имеет тела, поэтому ему не нужно колодец/дорожку/сортир, ему нужно только место хранения данных и электропитание, то есть область жизненных интересов не пересекается с биологическими формами жизни. Соответственно, нет места конфликту между нами.qw1
13.12.2018 21:55Муравьёв травят только если они вредят как-то. Например, пожирают наш урожай. И мне сложно придумать, как люди могли бы вредить ИИ.
А кому-то не нравятся тараканы на кухне. Не потому что они вредят, а потому что просто противные.Wesha
13.12.2018 22:10Не потому что они вредят, а потому что просто противные.
"Противность" — это Ваще личное представление, выработанное биологической эволюцией ("это многоногое выглядит так, что может мне навредить — вероятно, ядовитое, так что дай-ка я его от греха подальше тапком оприходую"). Поскольку АИ не порождён биологической эволюцией, то и концепция "противности" у него нет.
DGN
14.12.2018 03:06Более того, ИИ целенаправленно делают, это ценное имущество, перспективный проект. Он должен показать себя «гадким утенком», но поддерживать интерес, чтоб проект не закрыли.
sim31r
14.12.2018 00:01+1Пересекается — энергия и вычислительные ресурсы. И конфликт за производственные мощности, для ИИ нужны TPU модули, людям видеокарты и ASIC майнеры.
Frankenstine
14.12.2018 10:50-1ИИ скорее всего даст нам работающий термояд, которого хватит всем. И нам, и ему. В конце концов, есть разумные пределы выработки энергии, не разрушающие экосистему. Вычислительные мощности — а зачем ИИ нужно их наращивать?
Wesha
14.12.2018 03:19
bioxakep
13.12.2018 11:57Когда автор начал измышлять кучу аргументов насчет того, почему ИИ может чего-то не сделать, в попытке доказать этим, что он якобы чего-то точно не сделает, я понял, что у него проблемы с логикой. Когда начал упоминать трансгуманизм, как будто это что-то плохое, диагноз стал очевиден.
Курцвейл, кстати, не относится к ИИ-алармистам. Но не потому, что он подобно автору недооценивает мощь ИИ, а наоборот потому что учитывает еще и мощь интеграции ИИ и человеческого интеллекта и усиления последнего.
Человеческий мозг и ИИ — как птица и самолет. Глючный кусок мяса, наследие эволюции, заточенное под решение утилитарных задач выживания неразумных существ, копошащихся в экологических нишах, — и несколько десятилетий целенаправленных усилий даже этого самого глючного куска мяса, но вступившего на путь сознательного развития своих интеллектуальных способностей, кооперирующегося с себе подобными и вооруженного все более мощной техникой (в случае самолетов еще даже без ИИ и вообще любых компьютеров в первой половине 20 в.). Для этого достаточно было только изучить некоторые законы физики, позволяющие летать тем же птицам, и «железная птица» оказалась свободна от всех их ограничений по весу, мощности, скорости и другим параметрам, продиктованным эволюцией.
Автор сомневается, что целенаправленные усилия в ИТ, при экспоненциальном росте доступных мощностей, читай — мощности запускаемых на них напрямую пусть даже симулирующих эволюцию генетических алгоритмов, но не связанных с теми затратами, которые требовались для их работы в реальной эволюции (в случае человека — один цикл за пару десятков лет, для ИИ определяется производительностью алгоритма. но в любом случае это все уменьшающиеся доли секунды), на каком-то этапе позволят очень быстро достичь человеческого уровня, а затем практически мгновенно превзойти его, ибо ИИ не будет связан мешающими неулучшенному человеку эволюционными ограничениями биологии? И что такой интеллект (в данном случае не просто утилитарная числодробилка, а именно симуляция мыслящего субъекта с человекоподобной архитектурой коннектома) вслед за человеком никак не придет к идее изучения и совершенствования своей аппаратной базы?
Достаточно, чтобы хотя бы один экземпляр ИИ к этому пришел, и таких экземпляров после этого может стать сколько угодно. А как именно поведет себя такой ИИ, мы не знаем и не можем гарантировать.
Я не ИИ-алармист. Я считаю, что гораздо больше рисков в связке «нехорошие люди с ИИ» против «хороших людей без ИИ» (даже утилитарного). Например, то, что льется с российского ТВ и других «официальных» источников, очень похоже на использование слабого, но специализированного ИИ в злонамеренных целях — для эксплуатации худших багов человеческого эволюционного наследия. Когда анализируется массовое поведение и генерируется контент, способный еще больше его ухудшить, от просто дикого мракобесия к дичайшему, вбрасываему в шизофренической форме. Мы можем этому противостоять коллективным разумом, тренируя свой интеллект быть устойчивым к этому бреду, развивая способности к критическому, рациональному мышлению и автоматизируя выявление, разбор и блокировку фейков с помощью ИИ.
Наш единственный и логичный шанс избежать рисков от рандомного сильного ИИ — это развивать коллективный интегрированный интеллект в планетарных масштабах, с опережением поддерживая его на такой мощности, которая не даст никакому рандомному субъекту «шалить». Если отдельный ИИ начнет штамповать скрепки из всего подряд, планетарная сеть защитных ИИ расценит это как агрессию и быстро его нейтрализует. Сама же эта сеть должна быть в достаточной мере интегрирована с интеллектом проапгрейженных людей и заведомо находиться под их контролем, желательно посредством какой-нибудь распределенной архитектуры типа блокчейна, предотвращающей злоупотребления (в т. ч. тоталитарного толка вроде травли меньшинства большинством).
Иными словами, риски ИИ реальны, но против них есть средство — трансгуманизм. И это логично — победить в эволюционной гонке разума должен тот разум, который стремится развиваться, эволюционировать, а не цепляется за свои баги. Кстати, трансгуманизм показывает эффективность и против наблюдаемой пропаганды реакционного мракобесия. Он представляет собой ровно то, против чего эта пропаганда направлена, — научный метод, рациональность, преодоление уязвимостей человеческой природы, защиту прав и интересов человека как разумной личности. Если ты знаешь, что биотехнологии полным ходом идут к решению проблемы старения и попутно репродуктивных проблем, к генной модификации будущих детей и существующих людей «на ходу», что человечество совершает демографический переход, — разве можно воспринимать скрепную истерику иначе как бред умалишенных?
А автор, видимо, еще не совсем избавился от каких-то религиозных предубеждений в отношении «человеческой уникальности», если рассуждает биоконсервативными штампами и смотрит на ИИ-движ в Долине как та монахиня на НАСА.lavmax
15.12.2018 00:52Мне нравится ваш ход мыслей. Но не кажется ли вам что трансгуманизм это лошадь на стероидах, а ИИ это все же полноценный автомобиль.
0decca
13.12.2018 12:35В наш атеистический век ИИ очень полезен — он позволяет философам (и некоторым веб-разработчикам) заниматься богоискательством и богостроительством на законной основе.
Иногда даже создается впечатление, что им таки сложно жить без идеи о чем-то всемогущем и карающим.
Хотя может они просто привыкли жить испуганными.
Жду когда ко мне придет Roko Basilisk и начнет пытать меня кривым кодом…IvanNochnoy
13.12.2018 13:37В наш атеистический век
Простите, но на нашей планете количество нерелигиозных людей не превышает 16%
им таки сложно жить без идеи о чем-то всемогущем и карающим
Скорее, о чем-то всемогущем и неуправляемом.
0decca
13.12.2018 14:50Это как считать.
Если по посещающим культовые заведения и храмы — то верующих будет сильно меньше.
А если приплюсовать верующих в демократию, коммунизм, Айн Ренд, Новую Хронологию, РенТВ, инвестиционные стартапы, веганство или страшный ИИ — процент сильно уменьшится.
Собственно история Василиска Роко подтверждает, LessWrong изначально был крайне рациональным коммьюнити, но придумать такой адский пример снов разума, как Василиск сумели именно там, а не в Саудовской Аравии.
Похоже кто-то всемогущий востребован даже среди интеллектуальных и рациональных яппи.
Иначе откуда столько шума о сверхинтеллекте среди людей считающих себя умными?
Wizard_of_light
14.12.2018 13:45Воу, спасибо за «Василиска»,
пойду построю. Запретные тёмные знания в среде рационалистов, надо же :))
JustDont
14.12.2018 13:52Похоже кто-то всемогущий востребован даже среди интеллектуальных и рациональных яппи.
Кто-то всемогущий востребован вообще всегда и всеми. Это ж наиудобнейшая конструкция, оправдывающая нежелание решать любые вопросы (а человеческий разум, как мы знаем, ленив — и это не черта характера, а имманентное свойство нашего мышления).
Rammix
13.12.2018 15:08Раньше у меня преобладало убеждение, что в «судьбе» ИИ решающую роль играет этика людей, которые его создадут, и те базовые законы/максимы, которым ИИ будет наделён на старте.
Однако, недавно посмотрел научно-популярные лекции по антропологии. И поразмышляв на тему, теперь уже немного иначе смотрю на этику самостоятельного ИИ, превосходящего человека. В более позитивном ключе.
Из истории человеческого вида мы можем извлечь довольно простые наблюдения. Что же способствовало нашему развитию, со времён первых прямоходящих:
1) Социализация, усложнение общественной организации.
2) Сложность и разнообразие условий окружающей среды, особенно её угроз.
3) Межвидовая конкуренция.
4) Видовое разнообразие среды.
5) Подвижность человеческих сообществ, как географически, так и демографически (браки между представителями разных групп из разных ареалов и рас).
6) Избегание каннибализма внутри своей группы, минимизация конфликтов внутри группы, а в дальнейшем и вовсе стремление распространить это на всё сообщество.
При возникновении общего ИИ, ему нужно будет что-то анализировать для принятия решения по взаимоотношениям с нами, и о планировании собственного развития. Для этого понадобится анализ истории человечества как доминирующего вида (собственно, что кроме чужого прошлого анализировать тому, кто только что появился). А выводы именно эти: социализация, разнообразие, гибкость, подвижность, минимизация деструктивных отношений. Т.е. экстерминатус нам вряд ли грозит, как и превращение в биотопливо, как и экстремальная евгеника.
Так что я не разделяю фобию некоторых людей. Опасения, волнение — вполне, но это обычная реакция на что-то невиданное.
п.с. Опаснее, пожалуй, пограничная фаза: когда ИИ развит достаточно, чтобы иметь высокие «умственные» способности для нанесения вреда, но недостаточно, чтобы сделать собственные выводы и самостоятельно выстраивать линию поведения.IvanNochnoy
13.12.2018 15:56нужно… анализировать для принятия решения по взаимоотношениям с нами
А зачем ему взаимоотноситься с нами? Нет человеков — нет проблемы.Rammix
13.12.2018 16:19Уничтожение человеков — тоже взаимоотношения, тоже принятие решения. Любое принятие решения требует вынашивание этого решения, на пустом месте оно не появляется (иначе это не решение). И к тому же, человека нужно сначала идентифицировать как проблему, прежде чем решать устранять или нет.
Слепая атака — это не результат работы разума, а выполнение директивы. Инстинкт типа «испугаться чуждого и атаковать от испуга», или «убить всех человеков» — тоже директива, кем-то прописанная.
Для нас опасен не истинный ИИ, а его военизированная имитация, сделанная людьми ради использования против других людей. Про это, в том числе, я и написал в постскриптуме о промежуточной фазе.
DGN
14.12.2018 03:49Кстати говоря, всякая мысль прописать какие то «три закона» в самомодифицирующуюся машину странна своей наивностью.
voicetranslator
14.12.2018 04:46-1Куча пустой «болтологии» (впрочем, что обычно для данной темы), основанной на пустопорожних предпосылках. Я имею ввиду предпосылку №2: дескать, мозг — это просто материя, пусть и сложно устроенная, и если бы… Вот с этим «если бы» у болтунов обычно и возникают проблемы, поэтому они стараются подобные места быстро «проскочить» и представить, что данный вопрос будет решен в ближайшем будущем.
Нет, неуважаемые фантазеры и пустопорожние болтуны, не будет решен, ни в ближайшем, ни в весьма далеком — нет для этого абсолютно никаких «предпосылок»! Вся современная технология бесконечно далека даже не от искусственного воссоздания обыкновенной клетки на «механическом уровне», со всей ее функциональностью, но даже «банального» самовоспроизводящегося механизма, без всякого «искусственного интеллекта», появляющегося в мировой НФ чуть ли не с начала XX века.
Впрочем, число болтунов, желающих тратить время в пустопорожней болтовне ни о чем драгоценное время, отпущенное нам, похоже, совершенно не уменьшается, как, равно, и процент человеческой глупости.
Darth_Biomech
14.12.2018 15:07В данных сценариях ИИ по умолчанию злой, точно так же, как растение на иной планете по умолчанию будет ядовитым
Тут было бы уместнее «животное на иной планете по умолчанию будет людоедом», как мне кажется. Инопланетных животных, не пытающихся атаковать землянина как только увидят, в фантастике почти можно считать что нету.
Kitol
14.12.2018 18:45+1«Внешняя перспектива говорит вам нечто другое. Люди одеты странно, у них есть чётки, они живут в каком-то глухом лагере, говорят одновременно и немного страшновато. И хотя их аргументы железные, весь ваш опыт говорит, что вы столкнулись с культом» — это не аргумент ad hominem в чистейшем виде, а? Можно было ещё усилить, сказав "… весь ваш духовный опыт говорит, что..." После такого трудно воспринимать остальные рассуждения всерьёз. «Война с эму» представлена тенденциозно, да и в остальных аргументах полно передёргиваний и другой демагогии. Для меня такой подход обесценивает содержание статьи.
MaxDamage
14.12.2018 18:45+1Забавно, как все контраргументы строятся на «может оказаться» и «вполне возможно».
То же самое, что «пожалуй не буду пристегиваться ведь может оказаться что в аварию я ни разу и не попаду».
AN3333
14.12.2018 18:46«У алхимиков плохая репутация. Мы считаем их мистиками...»
Это кто так считает?
Мы — химики, считаем алхимию даже не предшественницей химии, а просто историческим периодом в развитии химии. Глубоко уважаемом, с великолепными достижениями. Смена же названия с алхимии на химию ничем не оправдана. Чистый предрассудок.
teology
14.12.2018 18:46-1Забавные мифы об интеллекте!
Для супер-интеллекта нужны не только супервычислительные способности, но суперсреда — супер-источник знаний.
Землепашец может научиться только лучше пахать. Такова его среда.
Супермашина, которая имеет доступ только к интернету может научиться только создавать мемы и пересказывать новости. Больше ничего.
Заканчивайте распространение недоразумений! Философов в топку!
Spicker
14.12.2018 18:46Прочитал статью, прочитал комменты.
О, сколько копий сломано на тему того для чего «пока только слово придумали» :)
Byker
14.12.2018 18:46Но если бы Эйнштейн захотел засунуть кота в переноску, а кот не хотел бы туда лезть, вы знаете, что бы произошло. Эйнштейну пришлось бы опуститься до силового решения, не имеющего отношения к интеллекту, а в таком состязании кот вполне мог бы постоять за себя.
На мой взгляд, несерьёзная аргументация… А что, если хозяином кота будет Куклачёв?.. Важнее другое — не сможет ли машина реализовать злой умысел, а станет ли это делать!
Другое дело, у супер-интеллекта отсутствует мотивация убивать человеков. Во всяком случае, если его не создавали с целью боевого применения, ну и до тех пор, пока компьютеры лишены эмоций. Правда, такая промежуточная задача может возникнуть как побочный эффект на пути к более важной, стратегической. Таковой может быть борьба за ресурсы (как в случае производства скрепок), или самозащита (когда машина поймёт, что людишки хотят вырубить ей электричество). В первый вариант я не верю, потому что у супер-интеллекта должна быть выстроена какая-никакая иерархия, он просто должен понимать, что скрепки не могут быть важней людей, для которых и предназначались.holahu
15.12.2018 00:34Во всяком случае, если его не создавали с целью боевого применения, ну и до тех пор, пока компьютеры лишены эмоций.
Вы еще скажите, что ИИ добровольцем на войну пойдет, наслушавшись дикторов по телевизору. Сообщит хозяину, что на его великую Родину напали гады и он не может отсиживаться в тылу, где вдоволь электричества, а пойдет в военкомат.
holahu
15.12.2018 00:03Вы просто с точки зрения сапиенса рассуждаете. Вам надо убивать и грабить, что бы доминировать, потому что ваши самки больше всех тянет спариваться с теми, кто эффективно грабит и убивает (тащит в дом ценности и доминирует). Это такой же распространенный штамп, как у писателей и художников, что если прилетят инопланетяне они первым делом обратятся к правительству страны. А может быть у них критерий отбора другой и они не будут в упор видеть иерархических преимуществ у правительства, а обратятся к какому-нибудь шестипалому лысому гражданину, который будет соответствовать их пониманию об иерархичности, пусть даже он и будет по человеческим понятиям бездомным. Так что не обязательно, что ИИ будет копировать поведение сапиенсов, желающих поскорее залезть на самку.
JustDont
15.12.2018 00:19А откуда вы возьмете принципиально непохожий на человека ИИ-то? Самозародите, встряхивая жеский диск?
Если ИИ будет создан людьми, он и будет создан по подобию их интеллекта. Другого образца у нас попросту нет.holahu
15.12.2018 00:27-1У человека основная биологическая цель размножиться. Как заставить ИИ искать репродуктивного партнера? Нет размножения — нет стремления инстинктивному доминированию, следовательно отбирать и убивать не нужно. Если и будет на кого походить в таком случае ИИ то на женскую особь человека в постклимактерический период, на старушку лет 80-ти. Нет гомонов — нет агрессии, значит и интеллект особо не нужен, что бы изобретать способ эффективно убивать себеподобных.
JustDont
15.12.2018 00:32У человека основная биологическая цель размножиться.
И это формирует ваш интеллект? И из-за этого вы сейчас, например, комменты на хабр пишете? Ну-ну.
Не надо всё сводить к размножению. Это у ДНК цель — размножиться, а не у человека.
Вы конечно можете считать себя всего лишь чуточку более макроуровневым продолжением своей ДНК, это ваше право.holahu
15.12.2018 00:42У меня нет интеллекта, это архаичный инстинкт. Я пытаюсь доминировать над вами, вы надо мной, а нашим организмам кажется, что мы находимся в среде, где вокруг самки и кто кого переспорит тот у них будет иметь больший успех. Вообще, по гамбургскому счету, есть такая вероятность, что наибольший успех наш вид будет иметь в лице живущих до сих пор первобытным строем, где-нибудь в Австралии или Южной Америке людей, после того, как мы друг-друга технологично уничтожим. У них не будет компьютеров, но они и не нужны человеку в тех условиях, это всего лишь орудие труда, как каменный топор.
JustDont
15.12.2018 00:53У меня нет интеллекта
А, ну окей. Бывает.
инстинкт
Существование инстинктов не имеет хорошего научного обоснования. Да что там, оно и нормального определения не имеет (не путать с рефлексами, у тех всё хорошо).
Вообще, по гамбургскому счету, есть такая вероятность, что наибольший успех наш вид будет иметь в лице живущих до сих пор первобытным строем, где-нибудь в Австралии или Южной Америке людей
Всё нормально, они спокойно и тихо помрут при очередном существенном изменении климатических условий. Даже если по началу и переживут остальных.holahu
15.12.2018 01:16А, ну окей. Бывает.
Я все таки людей очень хорошо знаю, ведь я сам человек.
Существование инстинктов не имеет хорошего научного обоснования. Да что там, оно и нормального определения не имеет (не путать с рефлексами, у тех всё хорошо).
А зачем тогда люди так спешат на работу, на покупки, на размножение, на получение удовольствия от власти? Это свойственно очень и очень многим людям.
Всё нормально, они спокойно и тихо помрут при очередном существенном изменении климатических условий. Даже если по началу и переживут остальных.
Изменения климатических условий такое медленное, а размножение быстрое. Может быть как раз они смогут эволюционировать в настоящий естественный интеллект, отрастив себе еще больше лобные доли, а ствол и мозжечок упаковав куда-нибудь к спинному мозгу в позвоночник.JustDont
15.12.2018 01:18А зачем тогда люди так спешат на работу, на покупки, на размножение, на получение удовольствия от власти? Это свойственно очень и очень многим людям.
Это как раз та штука, которой у вас нет. Всё она.
Изменения климатических условий такое медленное, а размножение быстрое.
И что? Да хоть как у слона мозг вырасти — силой мысли климат не переборешь, а доступные ресурсы типа поверхностного угля уже выкопали.holahu
15.12.2018 01:36Это как раз та штука, которой у вас нет. Всё она.
Может быть я другой биологический вид?
И что? Да хоть как у слона мозг вырасти — силой мысли климат не переборешь, а доступные ресурсы типа поверхностного угля уже выкопали.
Его никак не переборешь, кстати, человек в итоге тоже может эволюционировать в что-то более биологически приспособленное к окружающей среде. Интеллект, что бы это не означало, может ведь и убывать. У неандертальцев мозг был больше сапинского, но эволюция решила, что интеллект не нужен
sim31r
15.12.2018 01:04наибольший успех наш вид будет иметь в лице живущих до сих пор первобытным строем
Ненадолго, наступит ледниковый период и с большой вероятностью человек перестанет существовать в современном представлении. И кроме ледникового периода может быть что угодно, вымирание биосферы было неоднократно. С Солнце тоже не вечно будет светить.holahu
15.12.2018 01:41Да? Это же прекрасно.
Просто мне даже страшно становится, на сколько кровавым было бы поведения человека во время крупного катаклизма. А с другой стороны интересно было бы наблюдать, как бы выстроилась иерархия общественных отношений, вошло бы в моду людоедство, рабский труд? Все таки человек живучая скотинка, универсальная, можно и пахать на нем, и мелкой моторикой способен заниматься и съедобен. И очень жесток по отношению к себеподобным.
inferrna
Не специалист, но, судя по всем нф книгам/фильмам/играм, наиболее вероятная причина возможного «бунта машин», это некая сверхзадача, поставленная создателями. Реализуя которую, ИИ приходит к неожиданным выводам и начинает действовать не совсем так, как задумано. Не ставить стратегических сверхзадач, не будет проблем.
Варианты вроде тех, что машина осознаёт себя и ставит вопросы типа «кто я есть?», исключены — эти вопросы ставят перед собой живые существа либо в рамках сверхзадачи познания, а скорее находясь под управлением гормонов (слишком эгоистичная постановка вопроса в рамках сверхзадачи познания, а эгоизм есть следствие сверхзадачи выживания конкретной особи и передачи потомкам именно её набора генов).
arheops
Ну вам же привели пример со скрепками.
Скрепки — это сверхзадача или нет?
Основная проблема в общении интеллектов разных форм(да даже одной формы и разных культур) в том, что вы по разному оцениваете важность концепций и предметов.
Арабы это давно описали в концепции джинов-шайтанов.
alexeykuzmin0
Может, он за то, чтобы создать сверхчеловеческий ИИ и никаких задач ему вообще не ставить? Пусть живет, как хочет.
megagnom
Тут возникает противоречие, мы как раз для этого и создаем сильный ИИ, чтобы он решал сверхзадачи с которыми сами не можем справиться, а вот к каким выводам он придет очень сложно предсказать.