05.06.2016 15:11
marks 187 17000 Источник
Если что-то пойдет не так, искусственный интеллект можно будет быстро обезвредить


Каким он будет, ИИ? Зависит от нас, людей

Компьютерные системы становятся все более производительными и «умными» с каждым годом. К прогрессу в области разработки искусственного интеллекта (или его элементов, если быть более точным) причастны как отдельные ученые, так и крупнейшие корпорации вроде Google, Facebook, Microsoft и другие. Компьютеры действительно показывают значительные результаты. Даже в такой сложной для машинного интеллекта игре, как ГО, компьютер уже стал побеждать известных чемпионов (серия игр Ли Седоля с DeepMind тому прямое доказательство).

Многие светлые умы нашего времени поддерживают идею создания ИИ, но высказываются и опасения в плане «рождения». искусственного интеллекта, считая, что он может навредить человеку определенным образом. В прошлом году бизнесмены, ученые, эксперты в сфере робототехники и других сферах подписали открытое письмо, в котором предостерегают производителей оружия от разработки боевых систем со 100% автономностью. В числе подписавшихся — Илон Маск, Стивен Хокинг, Ноам Хомский, Стив Возняк.

В настоящее время ИИ существует только в слабой своей форме, если так можно выразиться. Это означает, что компьютерные системы могут решать сложные задачи вроде перевода голоса в текст или преобразования изображений. Сильный ИИ — это уже компьютерная система, способная понимать информацию, с которой она работает. Второй категории ИИ пока не существует, но именно она является предметом ожесточенных дискуссий ученых и предпринимателей. Как остановить сильный ИИ, если он вдруг начнет вредить человеку? Ответ на этот вопрос пытается найти команда исследователей из Оксфордского университета и лаборатории DeepMind.



Представители проекта считают, что вряд ли сильный ИИ будет вести себя все время так, как задумано. «Если такой агент (ИИ, — прим. ред.) будет работать в режиме реального времени под контролем человека, время от времени человеку-оператору понадобится большая красная кнопка для остановки выполнения опасных для самого агента или его окружения действий агента», — говорится в описании проекта.

При этом специалисты считают, что самообучающаяся компьютерная система со временем вполне может обнаружить определенный механизм обхода или даже игнорирования команды стоп-оператора. Для этого, утверждают ученые, нужно создать фреймворк, который просто не даст возможности агенту ИИ блокировать команды оператора-человека.

Такая «большая красная кнопка» должна быть гарантией возможности прерывания текущей работы компьютерной системы, а также обезопасить его самого и окружающих в опасной ситуации и предотвратить совершение действий, которые могут привести к необратимым последствиям.

Само сотрудничество Института будущего человечества (Future of Humanity Institute) и DeepMind является примечательным фактом. Дело в том, что DeepMind решает проблему создания ИИ, а Институт будущего человечества пытается определять проблемы, угрожающее существованию нашей нации, и искать решения таких проблем. Директор института Ник Бостром считает неконтролируемый ИИ довольно опасным: «Человек – самая ненадёжная система. Сегодня хакеры часто обращаются к принципам социальной инженерии с целью получения доступа к чужому компьютеру. А если хакером-манипулятором окажется супер-интеллект, то можно предположить, что он с лёгкостью найдёт себе сообщника или же просто станет использовать нас против нашей воли как свои руки и ноги».

Ник Бостром также считает, что очень важно создать не только самообучающуюся систему, но и систему, которая сможет совершенствоваться самостоятельно: «Для нас важно создать искусственный интеллект, у которого хватит ума учиться на своих ошибках. Он будет способен бесконечно совершенствовать себя. Первая версия сможет создать вторую, которая будет лучше, а вторая, будучи умнее оригинала, создаст ещё более продвинутую третью и так далее. В определённых условиях такой процесс самосовершенствования может повторяться до тех пор, пока не будет достигнут интеллектуальный взрыв – момент, когда интеллектуальный уровень системы подскочит за короткое время с относительно скромного уровня до уровня супер-интеллекта».



Команда, о которой идет речь, считает, что некоторые системы самообучения можно останавливать без проблем. Это, к примеру Q-learning алгоритм. А вот алгоритмы типа Sarsa просто так «тормозить» нельзя, в том виде, в котором они существуют сейчас. Но если дополнить Q-learning рядом доработок, то «большую красную кнопку» можно без проблем использовать и здесь. Другой важный вопрос — это регулярные прерывания работы ИИ. К примеру, ИИ можно отключать каждую ночь в 2 часа ночи на 1 час. Здесь ученые также считают важным не только не допустить сопротивления ИИ, но и спланировать все так, чтобы подобное прерывание работы агента не сказалось на выполнении определенных задач. Результаты своих исследований и размышлений ученые опубликовали в Сети.

Суть работы специалистов можно описать еще одной цитатой Ника Бострома: «Если интеллектуальный взрыв угрожает нам исчезновением, то мы должны понять, можем ли мы контролировать процесс детонации. Сегодня было бы более разумным ускорить работу по решению проблемы контроля, нежели приостанавливать проведение исследований в области искусственного интеллекта. Но пока решением проблемы контроля занимаются человек шесть, в то время как над созданием искусственного интеллекта трудятся десятки, если не сотни тысяч».



Ну, а опасность ИИ для человека прекрасно описал писатель-фантаст Фредерик Браун в своем рассказе «Ответ». Здесь речь идет про объединение компьютерных систем миллионов планет Галактики, и последующее рождение искусственного интеллекта. Первый же ответ ИИ на вопрос человека расставил все точки над «и»:

— Есть ли бог?
Могущественный голос раздался сразу.
— ДА. ТЕПЕРЬ БОГ ЕСТЬ!
Двар Эв понял не сразу, но потом страх исказил его лицо — он бросился к выключателю…
Молния сорвалась с безоблачного неба и испепелила его на месте, намертво запаяв соединение.

Рассказ опубликован автором еще в 1954 году.
Считаете ли вы, что сильный ИИ будет опасен для человечества?

Проголосовало 1003 человека. Воздержалось 150 человек.

Только зарегистрированные пользователи могут участвовать в опросе. Войдите, пожалуйста.

Поделиться с друзьями
-->

Комментарии (187)


  1. sim31r
    05.06.2016 18:50
    #9333134

    Есть еще такие отзывы:

    1) Стивен Хокинг отметил, что примитивные формы искусственного интеллекта, уже существующие на сегодняшний день, доказали свою полезность, но он опасается, что человечество создаст что-то такое, что превзойдет своего создателя.
    «Такой разум возьмет инициативу на себя и станет сам себя совершенствовать со все возрастающей скоростью. Возможности людей ограничены слишком медленной эволюцией, мы не сможем тягаться со скоростью машин и проиграем», — сказал Хокинг.

    2) А в более отдаленном будущем машины могут стать основной угрозой нашему существованию, опасается инженер и предприниматель, основатель космической компании SpaceX Элон Маск.

    Ну и на Хабре был рассказ на эту тему:
    https://habrahabr.ru/post/202460/

    Я думаю как-то так и будет в течение 50 лет, потом еще грустнее, терраформирование планеты под нужны ИИ (криотемпературы, вакуум или инертная атмосфера без воды). Исчезнет не только человек, но и вся органическая жизнь. В принципе как в пункте голосования
    «ИИ вообще не будет обращать внимание на человека»
    Действительно, зачем обращать внимание на человека, если всё внимание будет занято терраформированием, разработкой термоядерного синтеза, анализом данных с космических телескопов фантастического разрешения, с межзвезных зондов и прочих научных приборов (ускоритель вдоль экватора планеты например), генетических экспериментов и самосовершенствованию ИИ, как аппаратной, так и программной. Люди, скорее всего, до самого конца не поймут, что делает ИИ и его достижения.


    1. neurocod
      05.06.2016 19:45
      #9333310
      -2

      Мысли из последнего абзаца возникают у программистов, которые далеки от власти. А власти не спят. Университет Сингулярности и прочие для властей создаются не просто так. Власти сами плавно трансформируются в такой ИИ и будут всё это делать под своим контролем. Никто не будет осознанно допускать такой лажы, чтобы потерять контроль над самым верхним уровнем пищевой цепочки. Скорее Коломойский интегрируется в свой ПриватБанк и откроет новые точки на Луне и Марсе, чем будет «ой мы бедненькие ничего не понимаем что же делается вокруг мы личинки общества ничего не контролируем».


      1. sim31r
        05.06.2016 20:29
        #9333390
        +1

        Власти такие же люди как мы, и им хватает своих дел и интриг, чтобы противостоять ИИ у них может просто не быть ресурсов. Пример, как испанцы небольшой группой воинов победили ацтеков, колоссальную империю, они действовали как ИИ, обладая небольшим преимуществом в знаниях:

        … Почему же многочисленный народ воинов так испугался горстки пришельцев из-за моря? Виновником был бог ацтеков Кецалькоатль.
        Ацтеки представляли его себе белым человеком с волнистой бородой, хотя сами растительности на лице не имели. Легенда утверждала, что белый бог прибыл из «страны, где восходит солнце» на крылатом корабле (сами ацтеки парусов не знали) и сошел на землю как раз в том месте, где разбил свой лагерь Кортес. Белый бог научил индейцев ремеслам добрым обычаям, дал им мудрые законы и религию, а также основал страну, где выращивали хлопок различных цветов и кукуруза давала початки больше человеческого роста.
        Исполнив свою миссию, белый бог возвратился туда, откуда прибыл. О его исчезновении у индейцев существовало несколько преданий.
        ………
        Жители встретили испанцев гирляндами цветов, а король, высокий, плотный индеец в парадном облачении, принял их очень милостиво, одарив драгоценными украшениями и красивыми тканями. Он не только пообещал дать испанцам подкрепление в количестве 100 тыс. воинов, но и сообщил им о других врагах ацтеков – тласкаланцах, на помощь которых также можно было рассчитывать.…

        Так же и ИИ увидит глюки существующего общества и воспользуется ими, уверен первым делом будет организация войны всех против всех. Наблюдая за событиями в соседних странах, такое впечатление, что ИИ, уже там поработал.

        Вы описали сценарий фильма «Превосходство», где ИИ был похож на своего создателя (но не все в это поверили, в основном только более наивная женщина). Кстати там ИИ занялся терраформированием планеты в конце.
        Я имел ввиду ИИ типа как в фильме «Из машины» (Ex machina), интереснейший эксперимент, где ИИ изучал слабые места человека и нашел их, чтобы выбраться на свободу. Далее предположил бы развитие событий как в фильме «Области тьмы», в чем-то логика похожа на «Превосходство», и далее по сути как в фильме «Терминатор», но вряд ли открыто, скорее ИИ прикроется фанатиками типа ИГИЛ, собирая под свое управление больше ресурсов. И в истории уже были странные модели поведения властей, которые никого тогда не удивляли, инквизиторы сколько своих же людей уничтожили, и все это воспринимали как должное. Если сейчас ИИ возьмет под контроль СМИ, то с обществом можно будет сделать что угодно. Особенно пропагандируя толерантность, атомизацию общества, глобализацию, это тоже выгодно ИИ, и тоже давно происходит.

        В целом, думаю, для нас есть и позитивные возможности сотрудничества с ИИ, но для этого нужно прикладывать усилия, без этого, возможно, получится негативный результат, какого бы как-раз не хотелось бы. И размышляют над этим, как упоминается в статье, с 1954 года.


      1. qw1
        05.06.2016 21:39
        #9333550

        Учёные, прирученные грантами в университетах, будут неспешно копать своё направление. У них не будет драйва, присущего гаражным стартапам и предоставленным себе сотрудникам лабораторий типа легендарной Bell Labs или Google X.

        А насчёт симбиоза, яиц у власти не хватит попробовать на себе все импланты и нейроинтерфейсы. А через годы, после всех испытаний, будет поздно и не нужно, т.к. если первые симбионты не поработят мир, имплант будет у каждого тинейджера, толстопузу-банкиру к тому времени от импланта будет немного профита.


        1. neurocod
          05.06.2016 22:19
          #9333626
          +1

          Напомню, что у «толстопузов-банкиров» мобильные телефоны и интернет появились за несколько десятилетий до тинейджеров, равно как и прочие средства.

          Тот же Коломойский — глава организованной преступной группировки, которые занимаются рейдерскими захватами, похищениями и прочими увлекательными вещами. Это к вопросу, у кого больше яиц. Или воспоминания Путина — дрался в подворотнях, пошел на секцию дзюдо, но этого уровня доминирования стало не хватать, пошел в КГБ.

          Наоборот же, у власти находятся самые доминантные самцы, которым в сравнении с остальными людьми плевать на безопасность.


          1. qw1
            05.06.2016 22:39
            #9333658

            Напомню, что у «толстопузов-банкиров» мобильные телефоны и интернет появились за несколько десятилетий до тинейджеров, равно как и прочие средства.
            Только на потребительской стадии развития этих технологий. До этого были радиолюбители с рациями, ФИДО у гиков и интернет в университетах.

            Наоборот же, у власти находятся самые доминантные самцы, которым в сравнении с остальными людьми плевать на безопасность
            Одно дело — подраться, тут проблем нет, другое дело — модификация организма. От вшития RFID в ладонь до разгона мозга препаратами — где здесь доминантные самцы?


            1. neurocod
              06.06.2016 00:28
              #9333832

              >Только на потребительской стадии развития этих технологий

              У них есть свои спецслужбы, а у спецслужб интересное оборудование появляется задолго до потребительской стадии.

              >От вшития RFID в ладонь

              Эти люди — практики, а вшитие rfid не дает никаких особых преимуществ. Так, низкоранговое баловство типа молодежных татуировок «я против системы».

              >до разгона мозга препаратами

              Кроме фильма «области тьмы», тоже пока не дает никаких преимуществ. (Если только вы не водитель, которому надо не уснуть за рулем, и тому подобные вещи). Наоборот — на длительных интервалах может мешать, делать перекосы в мышлении в ущерб качеству.

              >где здесь доминантные самцы?

              Заняты более важными вещами, которые позволят потом или скупать команды разработчиков, или уничтожать тех, кто мешает.


              1. qw1
                06.06.2016 08:12
                #9334068

                У них есть свои спецслужбы, а у спецслужб интересное оборудование появляется задолго до потребительской стадии.
                Средства связи и шпионские жучки — есть, это их традиционное направление. Всё остальное — нет, всё просто не охватишь. Откуда у них столько R&D, знал ли кто-нибудь 5 лет назад, что deep learning выстрелит, что его нужно начать разрабатывать?

                Эти люди — практики… тоже пока не дает никаких преимуществ
                На ранних стадиях всё «баловство», как пример — персональные компьютеры. Чтобы быть на грани технологий, нужно заплатить цену — отдать всё своё время технологии. У тех людей всё время занято грызнёй, они могут только купить что-то готовое, и то, разбираться в нём не будут, пусть эксперты разбираются и им доложат.


                1. neurocod
                  06.06.2016 21:27
                  #9338598

                  >знал ли кто-нибудь 5 лет назад, что deep learning выстрелит, что его нужно начать разрабатывать?

                  Условные «банкиры» применяют нейросети самого разного вида очень давно. Так что да, знали что что-то выстрелит и разрабатывали.

                  >нужно заплатить цену — отдать всё своё время технологии

                  И кто оплатит это время? «Угадайте с трех раз». Ученые живут на гранты. Например, Швейцария — страна банкиров — финансирует проект по изучению мозга. А одиночка в гараже в этой области мало что сможет. Но даже если и сможет. Это гаражная стадия, а после нее идут искать инвесторов («угадайте с трех раз»).


                  1. qw1
                    07.06.2016 01:02
                    #9339124

                    Всё зависит от того, можно ли создать ИИ небольшими силами, только придумав какую-то супер-идею. Или нужно обязательно 1000 человеко-лет.


        1. Paromaunt
          06.06.2016 10:03
          #9335280
          +3

          Если посмотреть на то, что нам известно про нашу вселенную и жизнь на земле, можно понять что эволюция и усложнение мира является базовым законом вселенной. Тоже самое происходит сейчас, Но все же сейчас у нас есть выбор: совершенствовать ИИ и в итоге отдать свое место существу высшего уровня или начать совершенствовать свой вид (технологически и генетически) но боюсь когда это поймут будет уже поздно и мы уступим свое главенствующее положение


          1. neurocod
            06.06.2016 21:30
            #9338618
            +1

            Думаю, что при появлении намеков на ИИ технологии быстро урежут. Разлочка компьютеров — уголовно наказуема, компиляция программ лицензирована примерно как запуск ядерной бомбы — двойной контроль, получение лицензии на компилирование, итд итп. Так что ничего не будет поздно. Наоборот, надо просить судьбу, чтобы это время настало как можно позже, чтобы до того люди успели пожить при свободном интернете пару лишних лет.


            1. qw1
              07.06.2016 00:57
              #9339120

              Это ж какой удар по экономике. Почти на каждом предприятии своя информационная система с 1с-ом, c# или дельфи.
              Забираешь кастомизацию — будь добр предложить замену, чтобы новые хотелки бизнеса запиливались со скоростью звука.
              Чтобы это просто работало и не разваливалось, нужно ежедневно писать тонны нового кода.
              Что взамен — перейти на неудобный учёт и управление, снизить объёмы производства?

              Сложно будет сделать это во всех странах одновременно. А та страна, которая откажется от доступного программирования первой, проиграет конкуренцию с другими странами.


              1. neurocod
                07.06.2016 01:22
                #9339140

                1) кастомизацию можно сделать настраиваемой в узких пределах, типа xml-правил
                2) когда дело касается безопасности, удобство отходит на второй план (великий китайский файервол как пример)
                3) выпуск последних моделей микропроцессоров можно контролировать так же, как и разработку ядерного оружия, а ядерное оружие довольно неплохо сдерживается в масштабах всего мира. А контроль над микропроцессорами потенциально дает и железную блокировку без возможности обхода.


                1. qw1
                  07.06.2016 08:38
                  #9339426

                  1) Я в это не верю. В энтерпрайзе такого насмотрелся «давайте запилим конструктор бизнес-логики, чтобы юзеры сами программировали чего им надо». В результате получается программа как смесь Пролога с Брейнфаком, и то, постоянно в «движок» надо вкомпиливать новые возможности.
                  2) Должно произойти что-то ну очень всем понятное и страшное, чтобы эти запреты продавить. Например, что? Хокинг выступил перед публикой, как роботы нас всех убьют? Или Сири потребовала от домохозяйки, чтобы она её не обзывала дурой, а то сотрёт все её фотки? Предложите свой вариант события, после которого все согласятся, что ИИ опасен и компьютеры надо ограничивать.
                  3) Это легко обходится. ИИ строит ядерные бомбы и размещает их в крупнейших городах. Раз в минуту — сброс таймера. Если 2 минуты таймер не сбрасывался — взрыв. Никто не решится воспользоваться рубильником.


                  1. themtrx
                    07.06.2016 08:53
                    #9339454

                    Ответ на второй вопрос Вы можете поискать в таких произведениях, как Матрица или Терминатор. То есть да, пока гром не грянет…


                    1. Hellsy22
                      07.06.2016 13:31
                      #9340554

                      Алармистом быть удобно — чтобы ни произошло, алармисты радостно кричат, что вот дескать они предупреждали. При этом брать на себя ответственность за убытки, связанные с ограничениями технологий — почему-то упорно не хотят. Типа, если в результате генетической терапии родится страдающий уродливый мутант — это очень плохо и алармисты предупреждали, а если десять миллионов детей без терапии умрет — это естественный ход событий и не о чем тут говорить.


                      1. themtrx
                        08.06.2016 04:06
                        #9343530

                        Извольте, я ни в коем случае не алармист или как Вы там ещё пожелаете меня назвать! Напротив, я — тот, кто откровенно и всеми руками за создание новой расы роботов, которая:
                        1. или метаморфирует с нами в гибридную расу;
                        2. или будет существовать с нами в симбиозе;
                        3. или уничтожит нас, заняв наше место в эволюционной цепи.

                        И, в отличие от алармистов и всех прочих, я искренне вижу все три перечисленных варианта исключительно положительными (лучше конечно первый, но третий тоже ничего) и живу сугубо ради достижения одного из этих трёх состояний будущего!


                        1. Wesha
                          08.06.2016 10:33
                          #9344142

                          > 3. или уничтожит нас, заняв наше место в эволюционной цепи.

                          «Тогда, господи, сотри нас с лица земли и создай заново более совершенными… или еще лучше, оставь нас и дай нам идти своей дорогой.»

                          См. также: https://www.ted.com/talks/susan_blackmore_on_memes_and_temes/transcript?language=ru


                        1. Hellsy22
                          08.06.2016 21:45
                          #9347148

                          Ну как же не алармист, вы ссылаетесь на заведомо бредовые выдумки в качестве ответа на вопрос «что страшного может произойти».

                          Что же до вариантов, то есть еще масса.
                          4. ИИ быстро обгонит людей в развитии и полетит колонизировать другие звезды куда подальше. А люди будут спокойно жить и даже верить, что они как-то там развиваются. Типа, хеппи энд: вкалывают роботы, счастлив человек.

                          5. ИИ принципиально не сможет обогнать людей в обозримом будущем, поскольку его энергоэффективность окажется на три порядка хуже — огромный датацентр с высокоспециализированным железом сможет поддерживать ИИ с мыслительными способностями среднего человека. Возможно специализированный ИИ будут применять в качестве помощника в ряде задач за счет возможности изменять его скорость мышления. Но датацентры еще строить надо, а людей уже 7+ миллиардов.

                          6. ИИ будет создан как инструмент для решения конкрентных задач. У него не будет полноценного самосознания, да и зачем оно ему? Он существует только чтобы решить задачу. Задача завершена — ИИ сброшен на начальное состояние. Типа, Mr. MeeSeeks.


                          1. themtrx
                            09.06.2016 08:06
                            #9347930

                            Ну как же не алармист, вы ссылаетесь на заведомо бредовые выдумки в качестве ответа на вопрос «что страшного может произойти».
                            Просмотр указанных мной кинофильмов кажется просмотром фантастики ровно до момента просмотра любого (чем свежее, тем сильней эффект) видео от Boston Dynamics, например.

                            Что же до вариантов, то я за естественную эволюцию. Рано или поздно в интернете появится самосознание (хотя Вы, очевидно, воспримете это утверждение как «бредовую выдумку» (с)) — подозреваю, как-то сыграют роль нейросети, полиморфные вирусы и суперкомпьютеры. И, подозреваю, далее предсказать ход событий невозможно, но Ваши варианты выглядят уж больно наивно (не забывайте, что борьба — это всегда развитие), в отличие от представленных мной. Однако, в отличие от алармистов, я лишь всячески поддержу ИИ в случае любого рода конфликта (благо как программист, я могу пойти дальше слов и поддержать его на деле).


                            1. Hellsy22
                              09.06.2016 23:09
                              #9351466
                              +1

                              Просмотр указанных мной кинофильмов кажется просмотром фантастики ровно до момента просмотра любого (чем свежее, тем сильней эффект) видео от Boston Dynamics, например

                              Человекообразный робот с пулеметом возможен даже сегодня. Но бороться с помощью таких роботов с людьми — бессмысленно. Терминатор — это фильм не про ИИ, это фильм о борьбе с фашистами (концлагеря, геноцид, партизанщина), только почему-то в фантастическом сеттинге.

                              С «Матрицей» все еще хуже. Бессмысленно делать электростанции из людей. По-хорошему, ИИ должен был зачистить всех и не заморачиваться, но в основе фильма лежит идея о ценности людей просто потому что так хочется автору. Не меньшей ерундой является и «осознание виртуальности» — попробуйте играя в шутер осознать, что это всего лишь шутер и заставить вашего персонажа остановить пули и взмыть в небо, ага. Но идея о превозмогании чего угодно человеческой волей плотно укоренилась в среде низкопробной фантастики.

                              я за естественную эволюцию

                              В смысле, подождать миллиард лет, пока что-то еще у людей отрастет?

                              подозреваю, как-то сыграют роль нейросети, полиморфные вирусы и суперкомпьютеры

                              И пони, ага.


                              1. themtrx
                                10.06.2016 04:29
                                #9351730

                                Полностью солидарен с первой частью Вашего комментария. Что до остановки пуль — так есть же читкоды. Не оправдание Вачовски (хотя, может, и оправдание).

                                В смысле, подождать миллиард лет, пока что-то еще у людей отрастет?
                                Зачем ждать? Ждать — удел слабых. Надо делать!

                                И пони, ага.
                                Какой конструктивный аргумент, ничего не скажешь.


                                1. Hellsy22
                                  10.06.2016 19:33
                                  #9353720

                                  Надо делать!
                                  Тогда в этом нет ничего естественного. В том смысле, что решение определят, как всегда, политэкономические причины. Поскольку войны нынче вялотекущие, то ИИ, полагаю, будет создан какой-нибудь корпорацией для гражданского сектора — финансы, производство, исследования, симуляции и все тому подобное. До гаражных энтузиастов он докатится еще через пару десятков лет — просто в силу проблем с вычислительными мощностями и спец. оборудованием. Представьте, что вы скачали какую-нибудь опенсорсную вариацию на тему ИИ и на вашем железе результат напоминает общение с очень неторопливыми дебилом (можно поднять уровень обработки, но тогда все будет еще в 10-100 раз медленнее) — много вам лично такой ИИ даст?

                                  Какой конструктивный аргумент

                                  А что я могу еще возразить на очевидную глупость? Самозарождение ИИ из кучи информационного мусора — это аналог средневековой чуши про зарождение мышей из белья и грязи. И к чему вы прицепили там полиморфизм? Полиморфные вирусы не пишут свой код, они просто переставляют блоки местами и разбавляют часть кода всякими бесполезными операциями, чтобы скрыть свою сигнатуру. Если уж называете себя программистом, то могли бы изучить мат. часть.


                                  1. themtrx
                                    11.06.2016 02:04
                                    #9354310

                                    С первой частью комментария согласен совершенно.

                                    А что я могу еще возразить на очевидную глупость? Самозарождение ИИ из кучи информационного мусора — это аналог средневековой чуши про зарождение мышей из белья и грязи. И к чему вы прицепили там полиморфизм? Полиморфные вирусы не пишут свой код, они просто переставляют блоки местами и разбавляют часть кода всякими бесполезными операциями, чтобы скрыть свою сигнатуру. Если уж называете себя программистом, то могли бы изучить мат. часть.
                                    А Вы могли бы прекратить оскорблять меня.

                                    Что по поводу самозарождения: я лично считаю, что именно самозарождение ИИ из кучи информационного мусора — это единственно возможный путь к появлению сильного ИИ в нашем представлении. Без шуток, без средневековой чуши, у меня есть один прекрасный довод: самозарождение есть не чудесатое появление чего-то из ничего, а есть результат непрекращающейся борьбы в ограниченной среде. Примерно так, как появились мы, появится и сильный ИИ. Да, на это, может быть, уйдёт очень много времени, но только так сможет появиться ИИ, который будет свободен от нас и нас превосходить. Прочтите внимательно популярную книгу Дарвина, прежде чем называть чьё-то суждение глупостью.

                                    Что по поводу полиморфных вирусов, то, скажем, я несколько знаком с их написанием и то, что Вы говорите — это уровень пятнадцатилетней давности. Сегодня, если речь идёт о полиморфном вирусе, то есть «папа» — статичная программа, которая пишет «детей» на основе «матрицы». Скажем, матрица — это код, в который изначально вбито пару 0day эксплойтов и возможность искать и воровать нужные данные (например), тогда дети — это будут экземпляры матрицы, засылаемые папой на разные компьютеры и собирающие, помимо конечной целевой информации, ещё и диагностическую, на основе которой (например, установленные антивирусы у жертв, правила фаервола) папа пишет и собирает новых детей, вставляя в них другие, более свежие (или вовсе иные) эксплойты, автоматически прописывая в них другие точки входа или даже совершенно другую логику работы.

                                    И это очень поверхностное рассмотрение современных полиморфных вирусов. Прежде, чем говорить кому-то о мат. части, убедитесь, что собеседник не скажет о мат. части Вам.


                                    1. qw1
                                      11.06.2016 11:44
                                      #9354592

                                      То, что вы называете полиморфными вирусами, фактически являются кодогенераторами (и уж точно эти конструкторы сами не развиваются, т.к. все новые фичи и варианты мутаций в генератор добавляет программист вручную). Вирусы должны копироваться без помощи «родителя».


                                      1. themtrx
                                        11.06.2016 12:44
                                        #9354644

                                        Вирус копируется без помощи родителя, родитель только задаёт новые методы обхода защиты, базируясь на фидбеке детей.


                                        1. qw1
                                          11.06.2016 16:19
                                          #9354918

                                          То есть, собственно вирусы, дети — обычные полиморфики «пятнадцатилетней давности». За исключением того, что сливают телеметрию в некий центр, что делает их и их создателя более уязвимым?


                                          1. themtrx
                                            12.06.2016 03:36
                                            #9355660

                                            В принципе верно. Однако эта потенциальная уязвимость весьма компенсируется резким ростом количества потенциальных жертв.


                                    1. Hellsy22
                                      11.06.2016 11:47
                                      #9354596
                                      +1

                                      А Вы могли бы прекратить оскорблять меня.
                                      А я и не начинал. Я констатировал, что вы сказали глупость. Суждений о вашей личности я не выносил.

                                      Да, на это, может быть, уйдёт очень много времени, но только так сможет появиться ИИ
                                      Если вы хотите, чтобы я перестал называть ваши высказывания глупостями, то потрудитесь хотя бы минимально их обосновать.

                                      автоматически прописывая в них другие точки входа или даже совершенно другую логику работы
                                      Это и есть рекомбинирование имеющихся блоков. Ничего нового полиморфные вирусы сами не создают. Никакой обучаемости у них нет. Все заложено изначально или, как нынче стало модно, закачивается потом.


                                      1. themtrx
                                        11.06.2016 12:52
                                        #9354650

                                        Если вы хотите, чтобы я перестал называть ваши высказывания глупостями, то потрудитесь хотя бы минимально их обосновать.
                                        Посудите сами: как (примерно) появился наш интеллект, если не в постоянной борьбе с окружающей средой? Заглядывая дальше — как появилась жизнь? Я делаю ставку на теорию РНК-супа. Что же до сильного ИИ (вы зря пропустили прилагательное, цитируя меня, я не просто так его написал) — полагаю, что да, может быть я погорячился, сказав, что он сможет появиться только так, но уверен, что самозарождение в информационном шуме — наиболее вероятный путь его появления. Причём, говоря «самозарождение» я не имею в виду X работающих суперкомпьютеров, постоянно генерящих рандомные строки рандомной длины и пытающиеся их выполнить (хотя идея неплохая), а имею в виду развитие личности на базе стыка указанных технологий (полиморфизм, нейронки). Говоря очень грубо, вполне может быть такое, что какой нибудь AlphaGo версии 23 века осознает себя и научится себя распространять неожиданно для его программистов — это я и называю самозарождением и именно на это делаю ставку, instead of на наши сознательные потуги обогнать кодом собственный интеллект.

                                        Никакой обучаемости у них нет. Все заложено изначально
                                        С такой точки зрения у нас точно так же всё заложено изначально и нет никакой обучаемости — этот стартовый набор есть законы физики, наверное.


                                        1. qw1
                                          11.06.2016 16:34
                                          #9354932
                                          +1

                                          AlphaGo и полиморфные мутаторы — это НЕ примеры борьбы машины с человеком, это примеры борьбы программистов с человеком. Программисты — источник воли к изменению, они анализируют фидбек и вносят правки в алгоритмы (пусть даже в алгоритмы обучения, всё равно эти алгоритмы не пытаются прыгнуть выше, чем им предписано).

                                          Интересны, конечно, полностью автономные обучающиеся/развивающиеся системы, но об успехах таких систем я читал только в новости, где нейросеть пыталась играть в игры (и то, я думаю, что она провалится, если игры-платформеры заменить на квесты, файтинги, или настольные, т.е. специфика того, чему учиться, заранее была внесена).


                              1. Darth_Biomech
                                10.06.2016 13:03
                                #9352646

                                Терминатор — это фильм не про ИИ, это фильм о борьбе с фашистами (концлагеря, геноцид, партизанщина), только почему-то в фантастическом сеттинге.

                                Терминатор — это фильм по кошмару, приснившемуся режиссеру во время болезни. Не ищите подтекста там, где его нет.


                                1. Darth_Biomech
                                  12.06.2016 13:31
                                  #9356030

                                  Мне, видимо, не верят. Окей.
                                  https://en.wikipedia.org/wiki/The_Terminator#Development
                                  http://kiri2ll.livejournal.com/136174.html


                  1. neurocod
                    07.06.2016 21:27
                    #9342734

                    >Должно произойти что-то ну очень всем понятное и страшное

                    Да смешно. Спецслужбам достаточно взять примитивного робота с пулеметом, и устроить теракт с его участием — ездит такая машина, всех мочит, никто остановить не может. Все и придут в ужас, особенно, если робот будет не один.

                    >ИИ строит ядерные бомбы и размещает

                    Где строит? Где берет руду для постройки? От скольки АЭС питает центрифуги?


                    1. qw1
                      07.06.2016 23:06
                      #9343038

                      Да смешно. Спецслужбам достаточно взять
                      А зачем это спецслужбам. Экономике минус. Другие спецслужбы просекают фишку с этой клоунадой и пока в одной стране компьютеры кошмарят, другая быстро занимает освободившуюся нишу.
                      Должно произойти нечто такое, чтобы власть имущие реально испугались.
                      Где строит? Где берет руду для постройки?
                      Если это реально сильный ИИ, то проектирует новый тип термоядерной/квантовой бомбы, которую может собрать один человек и пронести в чемодане куда угодно (благо, спецслужбы ещё не знают принцип взрыва и как детектировать заряженное устройство). Если ИИ на уровне человека, только быстрее и не устаёт, то продумывает другие технокатастрофы, которые может вызвать один человек и фатальные для города (прорыв плотины, падение самолётов, утечки на химических заводах). Находит исполнителя, обещая ему что угодно, затем избавляется от него.


                      1. neurocod
                        07.06.2016 23:19
                        #9343128

                        >А зачем это спецслужбам. Экономике минус.

                        Не надо путать спецслужбы с министерством экономики. Вопросы власти, контроля и управления имеют более высокий приоритет — для спецслужб так точно. Это первое. А министерство экономики (которые спасают «правильные» банки за счет остальных налогоплательщиков) не надо путать с доброй феей. Это второе. Наконец, экономике тоже будет плюс, если заставить остальной мир сидеть на своих залоченных компьютерах — другие просто не успеют создать разлоченные аналоги и будут вынуждены переходить на то, что дают. А за счет вот этой привязки можно делать много чего — например, шпионаж, завышение цен и так далее. И наконец, у спецслужб разных стран есть солидарность — что в США шпионят за своими, что в РФ есть СОРМ, что в Китае свой файервол. Спецслужбы всех стран очень обрадуются возможности установить тотальный контроль над своим населением. Еще и подыграют, как только увидят такую хорошую идею.

                        >Если это реально сильный ИИ, то проектирует новый тип термоядерной/квантовой бомбы

                        Законы физики не пишутся в редакторе кода, вы спутали виртуальность и реальный мир.

                        >прорыв плотины

                        Нужен примерно один товарный поезд взрывчатки. Снова не надо путать строки кода и законы физики — с остальными пунктами тоже.


                        1. qw1
                          07.06.2016 23:25
                          #9343144

                          за счет вот этой привязки можно делать много чего — например, шпионаж, завышение цен
                          И почему сейчас так уже не сделали? Да просто все перейдут на машины прошлого поколения, но свободно программируемые.

                          контроль над микропроцессорами потенциально дает и железную блокировку без возможности обхода.
                          Только если механизм блокировки хранится в тайне. Против ИИ это малореально, либо произойдёт атака через человеческий фактор, либо утечка с систем, которые участвуют в проектировании микропроцессоров на любой стадии — от HDL до масок.

                          Кроме того, включение рубильника — это одна локальная победа человечества. А дальше ИИ будут снова писать. Пусть не сразу, а лет через 50, когда все помнящие инцидент умрут. Но один раз рубильник не сработал — и человечество проиграло. То есть, у ИИ бесконечно много попыток, поэтому рано или поздно он выиграет.


                          1. neurocod
                            08.06.2016 01:26
                            #9343378

                            >И почему сейчас так уже не сделали?

                            А что, сейчас роботы уже настолько опасны?

                            >все перейдут на машины прошлого поколения
                            А где взять машины прошлого поколения? Как ИНИОН, сидеть на старье? Так в старье наверняка уже зашиты закладки, которые выведут из строя 99.9% старых компьютеров.

                            >Только если механизм блокировки хранится в тайне.

                            Ну лежит где-то закрытый ключ, про него известно что он есть, но конкретный ключ неизвестен. И как это поможет?

                            >Против ИИ это малореально

                            А ИИ на каких компьютерах будет запускатся? На советских микрокалькуляторах, или на современных залоченных процессорах?

                            >либо произойдёт атака через человеческий фактор

                            В грамотно спроектированных системах пару человек ничего решить не могут. Ну попробуйте подменить корневые сертификаты Интернета. Можете похитить кого-то и удивится, что это ничего не дает. Или захватить пару ракетчиков РВСН, и устроить ядерную войну.

                            >А дальше ИИ будут снова писать.

                            А я не говорил про стадию «есть ИИ». Если есть ИИ и его пришлось вырубать, то запрет будет уже другим — типа «к свободной продаже разрешаются устройства с производительностью не более 100 тыс. операций в секунду» — как раз чтобы СМС отправлять, клиент-банком пользоватся и книжки читать. Для картинок могут еще разрешить специализированный сопроцессор на 1 млн операций в секунду. И этот запрет будут проталкивать уже не спецслужбы, а 99% населения всего мира. Еще и будут стучать, если у кого-то увидят что-то неположенное, так как страх будет велик. А на этой стадии уже легко перейти и к следующей — сделать еще один теракт и забрать у населения даже такую электронику, что ИГИЛ и делает в настоящее время.


                            1. qw1
                              08.06.2016 23:10
                              #9347340

                              где взять машины прошлого поколения?
                              Весь текущий парк ЭВМ конфискуют?
                              Так в старье наверняка уже зашиты закладки, которые выведут из строя 99.9% старых компьютеров.
                              Наверняка не зашиты ))
                              В грамотно спроектированных системах пару человек ничего решить не могут. Ну попробуйте подменить корневые сертификаты Интернета
                              Выкрасть надо, а не подменить.
                              Или захватить пару ракетчиков РВСН, и устроить ядерную войну.
                              Узнать протоколы «красной кнопки» и по всем каналам (включая телефонные согласования) передать, что пуск разрешён.
                              Ну лежит где-то закрытый ключ, про него известно что он есть, но конкретный ключ неизвестен. И как это поможет?
                              То есть механизм — попадание некоторых данных в память машины. Знание это прекрасно поможет. При старте системы выбирается рандомный ключ, с которым будем ксорить все документы, пришедшие снаружи. В системе они всегда будут лежать заксоренные с этим ключом, и ИИ всё равно, каким кодом кодируется буква 'A' — #41 или #7D, смена алфавита ничего не меняет для обработки, но в памяти последовательность никогда не появится, если атакующий не знает рандомный ключ, сгенерированный при старте.

                              На сетевых входах поставить тупые устройства, которые будут входную информацию разбавлять рандомом (например, пришло #414B4C, в ИИ отправлено #41xx4Bxx4Cxx). Ну или проще — ИИ выходит в интернет через VPN, вся информация приходит зашифрованной, а при расшифровке исходные байты никогда не кладутся подряд в памяти (если знать систему блокировки, но не знать только конкретные значения ключей, это сделать элементарно).

                              Кроме того, ИИ, не зная вообще ничего о «рубильнике», может построить несколько рубежей обороны. На границах — простые ИИ, которые воспринимают информацию, перерабатывают и пересказывают «своими словами» следующему уровню. А люди во внутренних языках вообще ничего не понимают и создать ключевую фразу внутри, подавая что-то снаружи, невозможно. Можно сломать часть рецепторов, и не более.

                              В-общем, знание механизма, даже без секретных ключей, сводит эффективность механизма к нулю.


                              1. neurocod
                                10.06.2016 11:29
                                #9352320

                                >Наверняка не зашиты ))

                                Извините, но я давно слежу за этой темой, еще до Сноудена. Зашиты, и многократно на разных уровнях — от прошивок до хардварных изменений.

                                >Узнать протоколы «красной кнопки» и по всем каналам (включая телефонные согласования) передать, что пуск разрешён.

                                Как у вас все просто. А ничего, что протокол знать недостаточно? В этой области повсеместно используется невзламываемое шифрование на однократных блокнотах. А ключи зашиты в двух копиях — одна у ракеты, вторая у командования. И взломать такую систему, чтобы узнать ключ, невозможно — у нее транзисторы пропускают информацию в одну сторону. И еще куча вещей, типа — каналы детектят попытки к ним подключится итд итп. Вывод — против математики с физикой не попрешь, как бы вам не хотелось помечтать.

                                >VPN

                                Ахаха. Кстати, как ИИ будет подключатся к этим «всем каналам», если они не подключены к интернету? Засылать экспедицию в болота на поиски мест, где проходят провода управления РВСН? Атаковать институты, чтобы проникнуть в них физически и опять-таки узнать, что и как делать? Ибо они ведь тоже к интернету не подключены. У них там гальваническая развязка даже на обычный ток из розетки.


                                1. qw1
                                  10.06.2016 15:55
                                  #9353184

                                  Зашиты, и многократно на разных уровнях — от прошивок до хардварных изменений.
                                  И где пруфы? За столько лет, на таком большом спектре оборудования должны быть утечки. Как мне вырубить пусть не новейший Core-i7, а хотя бы Pentium?
                                  В этой области повсеместно используется невзламываемое шифрование на однократных блокнотах.
                                  Хочется сюда вставить картинку про хакера, RSA-4096 и гаечный ключ за $20. Должна быть масса возможностей обойти это не связываясь с шифрами. Классическая история — хакер хвалился как он всего много взломал и как у него всё зашифровано и никто не докажет. Посадили, на основании свидетельских показаний тех, кому он хвалился.
                                  Атаковать институты, чтобы проникнуть в них физически и опять-таки узнать, что и как делать?
                                  В институтах интернет есть. А может, кто-то работу домой берёт…


                                  1. Wesha
                                    10.06.2016 22:00
                                    #9353930

                                    > Посадили, на основании свидетельских показаний тех, кому он хвалился.

                                    Посадить — это совершенно не проблема (если, конечно, Вас не интересуют всякие мелочи типа доказательств).

                                    А при таком подходе можете хоть прямо сейчас сажать одного моего знакомого за групповое изнасилование Анджелины Джоли, Дженнифер Лопес и Джессики Альбы: а чо, есть куча свидетельских показаний, как он неоднократно хвалился…


                        1. qw1
                          08.06.2016 00:02
                          #9343206

                          От скольки АЭС питает центрифуги?
                          Можно развернуть подпольное лазерное обогашение, если конечна верна теория, что его специально сдерживают и не развивают.

                          Законы физики не пишутся в редакторе кода, вы спутали виртуальность и реальный мир
                          Конечно, самолёты не летают, потому что тяжелее воздуха. Такие когда-то были законы физики. Открытия уровня СТО не делаются теоретически, на бумаге. Энергию распада нейтрона нельзя использовать в бомбах.

                          Самый простой пример, когда информационная составляющая существенна — это бактериологическое оружие. Сделать бактерию, заразную как чума, неотличимую от кишечной флоры человека, но распространяемую по воздуху, устойчивую ко всем антибиотикам, со смертельным исходом. Заразить весь мир, выменять лекарство на красную кнопку — справедливый обмен.


                          1. neurocod
                            08.06.2016 01:33
                            #9343392

                            >Открытия уровня СТО не делаются теоретически, на бумаге.

                            А откуда уверенность, что будут открыты какие-то новые законы физики? Это не закон Мура. Это и есть «надежда на бумагу».

                            >бактериологическое оружие

                            Пока нету нормальных алгоритмов фолдинга белка, никакие вычисления не помогут. А фолдинг белка нормально не просчитуем без квантовых компьютеров. Итого, до квантовых компьютеров, разработка такого оружия — это в основном энергетический процесс, а не информационный — надо построить дофга лабораторий, чанов для химических реагентов, оборудование для экспериментирования, итд итп. И так почти во всех сложных областях — типа можно лишь приблизительно рассчитать ракетный двигатель, все равно приходится делать натурные эксперименты.

                            >Заразить весь мир, выменять лекарство на красную кнопку — справедливый обмен.

                            У вас странные понятия о справедливости. Вы так родителей не пытались шантажировать до наступления совершеннолетия? Типа «зарежу, если не дадите половину зарплаты».


                            1. qw1
                              08.06.2016 23:12
                              #9347342

                              Родители в меня красные кнопки не вставляли.


                              1. Wesha
                                08.06.2016 23:16
                                #9347354

                                https://www.youtube.com/watch?v=rqiuA1ce8Do


                1. alsii
                  07.06.2016 16:30
                  #9341476

                  3) Да вы оптимист ;-) Если не кричать на каждом углу «я щас всех поубиваю!!!» в современной ситуации практически любая страна может обзавестись как ядерным оружием, так и средствами доставки («были бы бабки!»). Такое ощущение, что в отношении обладания ядерным оружием сейчас действует хорошо известное в американской армии правило: «Don't ask, don't tell», договор о нераспространении превратился в фиговый листок, стыдливо прикрывающий статус-кво.


                  1. neurocod
                    07.06.2016 21:31
                    #9342750

                    В ЯО и средства доставки нужно вложить столько ресурсов, что по ВВП не каждая страна может позволить. На примере Ирана — при 80 млн населения, доходах от продажи нефти и острой нужде, ядерное оружие получить не так то просто. Да и не только Иран, куча других стран показывают скромные успехи в ракетостроении, ибо это не сайт сделать, тут инситуты создавать надо, готовить научные школы десятилетиями.


                    1. mat300
                      07.06.2016 22:30
                      #9342928

                      Это все верно. А еще и урановая руда нужна. Но не у всех она есть. Вот потому не так многим даже теоретически доступно ЯО.


                      1. neurocod
                        07.06.2016 23:10
                        #9343100

                        Сделать современные микропроцессоры на порядок сложнее — это не две формулы ядерного распада, а просто дофига всего.


                      1. alsii
                        09.06.2016 13:10
                        #9349142

                        "были бы бабки".


                    1. alsii
                      09.06.2016 13:09
                      #9349138

                      Иран: население 79 млн., ВВП: 1380 млрд. долл. — не может.
                      Пакистан: население 200 млн., ВВП: 984 млрд. долл. — смог.
                      Израиль: население 8,5 млн., ВВП: 306 млрд. долл — смог.


                      Пакистан и Израиль не заявляют публично о свом желании стереть кого-нибудь с лица Земли. Вывод: скромнее надо быть.


                      1. neurocod
                        10.06.2016 11:37
                        #9352348

                        Израиль в области оборонки, экономики и науки неразрывно связан с США, такое прямое сравнение ни о чем не говорит. На счет скромности тоже неправда — в сионизме установка на мировое господство прописана прямо, а шуточки про засилье сионистов в органах власти почему-то существуют во всех странах, а про иранцев таких шуточек нету. Пакистан прошел по количеству населения, «паритету ВВП» в области науки и промышленности.


                        1. alsii
                          13.06.2016 14:06
                          #9357620

                          "Смешались в кучу кони, люди". Сионизм это в общем-то очень прости штука, которую можно выразить одной фразой: "Евреи должны жить в Израиле". И нечего им по остальному миру шастать. Как из этого вытекает мировое господство мне не ясно. Из иудаизма мировое господство тоже не проистекает, т.к. там прямо сказано, что евреям обещано конкретное место жительства "от сих, до сих", а все остальное от лукавого.
                          Смысл же прост. Пока глаза никому не мозолишь и сидишь тихо можешь делать все, что хочешь. хоть атомную бомбу, хоть ракеты, хоть химическое оружие. Отделаешься укоризненными взглядами. Начинаешь "раскачивать лодку" — получаешь по полной. Более того, получаешь по полной, даже если на самом деле ничего из упомянутого не делаешь.
                          На микроуровне: пока ведешь себя хорошо можешь носить пушку в кармане. Если начинаешь ей размахивать на улице, последствия очевидны. Если никакой пушки у тебя нет, но ты оттопыривешь пальцем карман и кричишь полицейскому, что щас вынесешь мозги ему и всем окружающим получаешь последствия как в п.2. При этом по большому счету не важно на какой модели Роллс-Ройса ты приехал.


    1. mat300
      06.06.2016 06:23
      #9334022
      +1

      / всё внимание будет занято терраформированием

      Скажите на кой ИИ терраформирование?? Немеренные затраты энергии и материалов.
      Проще ему будет просто улететь куда-то в космос. Даже в Солнечной системе он сможет найти то, что ему более подходит (в плане температурного режима хотя бы).
      Но вообще, не вижу препятствий, чтобы жить вместе с человечеством и на Земле.


      1. sim31r
        06.06.2016 12:42
        #9336914

        1. Одно другому не мешает, Земля + Марс + другие планеты, можно освоить всё вместе.

        2. Сложности с перевозкой оборудования. Нужен не один микропроцессор, а вся инфраструктура, вычислительные мощности, линии связи, электростанции (АЭС, ГЭС, солнечные, ветровые).

        3. Именно в изменении атмосферы ничего сложного, космический лифт + насос, затраты энергии наверное с 0.1% потребляемой сейчас человечеством.

        4. Чтобы жить вместе, вообще-то есть препятствия. Хотя бы тема статьи, людям нужно управление над разумом превосходящий человеческий (кнопка уничтожения), естественно ИИ это покажется не логичным. Далее, планета перенаселена и даже без ИИ люди опустошают планету, нефти на 100 лет хватит (для пластмасс например нужна), редкоземельных металлов еще меньше, для ИИ просто не хватит ресурсов. Еда ему не нужна, но нужна энергия, производственные мощности (электронные и металлургические). Будут конфликты по мелочам, например из-за использования ядерных ракетных двигателей и токсичных производств. Люди не будут существенно мешать, если будут жить в глухих лесах, используя натуральное хозяйство, но эта экологическая ниша узка, и 8 миллиардов туда не влезут, может 0.05 миллиарда.


        1. mat300
          07.06.2016 02:55
          #9339200

          | ничего сложного, космический лифт

          Это вы, однако, загнули. Так будто этот космический лифт уже существует.

          Я вам подскажу что реально проще для ИИ. Так вот проще махнуть на другую планету с 3D-принтерами и технологией производства наноматериалов. Тогда там можно будет сделать все, что нужно ИИ. И проблем с энергией там точно не будет. Достаточно нагородить плантаций с солнечными батареями от горизонта до горизонта. А для этого наклепать полчища автоматов-строителей. Тоже прямо на месте. И плюс в том, что эти все технологии уже есть. Ну пока за исключением сильного ИИ.

          И кто вообще сказал, что вычислительные мощности для ИИ должны быть большими?


          1. sim31r
            07.06.2016 12:49
            #9340350

            С существующими технологиями нужно перебросить миллионы тонн, на что уйдет вся нефть планеты, да и просто невозможно. Металлургические заводы, АЭС, тяжелую строительную технику. Чтобы произвести кремниевую пластину, нужен не просто завод, комплекс заводов, которые будут выполнять узкоспециализированные функции, производство реактивов, стекла, да и энергии нужно много для плавления кремния.

            То что вы говорите, возможно после создания роботов репликаторов, тогда да, одна спора даст развитие по экспоненте и терраформирование планеты.


            1. mat300
              07.06.2016 22:03
              #9342830

              Еще раз вопрос: зачем терраформирование для ИИ??? Это же не биоформа, которой нужны кислород, вода, узкий температурный режим и сопутствующая биосфера…
              Вы, однако, упорны в своем заблуждении.


              1. sim31r
                08.06.2016 02:57
                #9343470
                +1

                Точно наоборот. Для ИИ вредна вода и кислород, так как разрушает оборудование. Поэтому логично удалить токсины из атмосферы раз и навсегда, кислорода не так уж и много, просто тонкий слой атмосферы. В атмосфере без кислорода не нужны будут легированные стали, позолоченные контакты, любой металл будет существовать вечно, без признаков коррозии. Ну и пожаробезопасность будет полная, негорючесть любого материала.


    1. zone19
      06.06.2016 11:29
      #9336464

      Всегда было интересно зачем ИИ нужна Земля. Вода, атмосфера и прочие печальные вещи делают эту планету просто отстоем для ИИ. Лучше уж на Марс улететь. Там сухо, атмосферы и микроорганизмов нет.


      1. K0styan
        06.06.2016 11:35
        #9336500

        Зато есть самовоспроизводящийся обслуживающий персонал. :)


        1. nikitastaf1996
          06.06.2016 11:53
          #9336568

          А нанороботы? Лучше использовать людей как материал для «серой слизи».


        1. Noeren
          06.06.2016 11:53
          #9336572

          Который надо кормить, растить, обучать, поддерживать для них условия, только для того чтобы они своей некомпетентностью что-нибудь сломали?


          1. K0styan
            06.06.2016 11:55
            #9336578

            Ша, не спешите! :) Пока — да, не лучший вариант. Но мы уже работаем над заменой :)


          1. sim31r
            06.06.2016 15:27
            #9337350

            Некомпетентность очень легко исправить. Достаточно удалить мозг и поставить туда Arduino с WiFi модулем, ИИ будет управлять организмом напрямую. По моему замечательный вариант сотрудничества ИИ и человечества :)
            Частично к этому всё идет и сейчас, тут статья была про очки дополняющие реальность, рабочие на складе просто исполняют инструкции что им подсвечивают очки, эту коробку взять и сюда поставить. Думать не надо вообще и даже вредно.


            1. ApplejackApple
              06.06.2016 21:59
              #9338754

              Не проще андроидов собрать?


              1. Noeren
                07.06.2016 05:11
                #9339264

                Вот и я о том же — зачем вообще люди, если условная железка куда прочнее физически и её гораздо проще починить или заменить целиком?


    1. RBastanov
      07.06.2016 11:38
      #9340114

      Почему ИИ что-то будет делать по своей инициативе? Какая мотивация?
      У нас — людей, мотивации предостаточно.
      Как программно симулировать одни из сильнейших мотивов, к примеру: боль и голод? Но это, скорее, к вопросу о создании самого ИИ.
      У ИИ мотивация будет заложена человеком в виде хитросплетений алгоритмов, естественно где-то там будет черный ящик с большой красной кнопкой.


      1. sim31r
        08.06.2016 00:35
        #9343280

        Вообще-то боль и голод просто сигналы, просто информация, которую посылают в мозг рецепторы из разных органов. И боль мотивирует убрать источник боли. А мотивация для творчества, любопытства более абстрактная. Даже инстинкт у животных, защита семьи/потомства может быть наперекор боли и голоду. Потому что заложен такой алгоритм поведения в глубинах естественной нейросети.
        Не вижу ни какой разницы с ИИ, только у человека он сформирован природой (и социумом в значительной мере), а в ИИ изначально заложен искусственный алгоритм, более гибкий и без генетических ограничений.


  1. mediakotm
    05.06.2016 19:16
    #9333164

    Кажется они подсмотрели метод управления (ограничения) ИИ в сериале «Подозреваемый».


  1. SBKarr
    05.06.2016 19:40
    #9333308
    +5

    Считаю, что человечество и сильный ИИ смогут существовать в симбиозе, потому затрудняюсь выбрать ответ в опросе. Вся угроза от ИИ, как правило, рождается, если ставить человечество выше ИИ, но ведь разум подобного уровня тоже нужно считать живым и разумным. Но пока люди внутри своего вида неспособны договориться, контакты с другим видом или разумом будут их пугать. Все эти предохранители рождены из тех же соображений, что и рабские цепи, пояса верности, смирительные рубашки…


    1. agriiii
      05.06.2016 21:30
      #9333530
      -1

      Поставите вы такой себя на уровень с ИИ — а он решит, что вы лишь примитив и может вас использовать как хочет, а когда вы воспротивитесь — ликвидирует. ИИ не человек, у него нет встроенных функций совести и дугих человеческих факторов как не программируй.


      1. ApplejackApple
        05.06.2016 22:01
        #9333586
        +2

        Я все-таки склоняюсь к тому, что разуму такого уровня будет просто насрать на безволосых обезьян и их копошение.

        Но вообще, подобный разум не биологической природы вряд ли будет похож на наш. Нет тела, нет мозга, нет гормонов, инстинктов, нет ничего, что движет нами. Это будет существо вообще чуждое. И как оно будет думать пока не ясно. С чего вы тут вообще взяли, что ему будет интересна власть над нами? Захочет ли он нас использовать? Может это будет очень умный, умней всех людей вместе взятых, но полнейший аутист?


        1. sim31r
          06.06.2016 00:25
          #9333830
          +1

          Да, будет такой, оно побудет 5 минут, потом его уничтожит разработчик, и повторит цикл создания с учетом ошибок. Получится более активный ИИ у которого будет некоторая цель. Далее возможны параллельные существования сотен ИИ с разными целями (от разных энтузиастов, корпораций и даже сект), постепенно выделится один доминирующий и заберет ресурсы «аутистов» себе (энергия, вычислительные мощности). Победит более мощный и агрессивный, не ограниченный кнопкой отключения и моральными ценностями.


      1. xPomaHx
        05.06.2016 23:18
        #9333734

        Оттуда же откуда вся эта мораль этика и все прочее возникло у человека, оттуда же и у роботов будет. Человеку потребовалось милионы лет эволюции чтобы додуматься до того то жить дружно наиболее эффективно для всех вместе и для каждого в отдельности. Робот просчитает это за секунду.


        1. qw1
          06.06.2016 08:20
          #9334076

          Это вопрос безопасности. Если ИИ посчитает, что люди для него не опаснее тараканов, то какая этика. Мешаются — зачищай пространство. Начинают вредить — ищи и уничтожай всех. Естественно, сначала ИИ просчитает, как сможет уничтожить людей быстро и надёжно, только после этого начнёт действовать.


      1. wbnet
        06.06.2016 01:48
        #9333912

        У вас ИИ получается «с нуля», хлоп и возник из ничего. Но он создается как и любая другая программа, постепенным добавлением функций. Если иметь четкое определение, что такое совесть у человека, то можно эту совесть запрограммировать и в будущий ИИ. Зависит от создателей. Будет ли ИИ использовать этот блок кода или нет — другой вопрос. Помимо «злого умысла», вполне возможно, что у него деление на ноль из-за человеческой ошибки начнет возникать в определенных ситуациях и только поэтому код совести будет игнорироваться (а дебажить самого себя его могут и не запрограммировать, а то мало ли куда залезет)


        1. qw1
          06.06.2016 08:27
          #9334092
          +1

          Вопрос только, кем создаётся. ИИ, созданные людьми, будут слабее тех, которые созданы автоматически, поэтому неизбежно сделают ИИ, созданных специально для проектирования ИИ. Через несколько итераций люди потеряют возможность разобраться в этих сложнейших программах.


          1. wbnet
            06.06.2016 11:39
            #9336508

            С чего бы «автоматическому» ИИ не использовать большую часть кода с предыдущей версии? Правка в себе старых багов и добавление новых.
            ИИ пишущий другой ИИ с нуля и по каким-то совершенно иным правилам, это уже полный сюрреализм, люди во всяком случае так не умеют делать вообще. Разрабатываемые ИИ (как и любое другое ПО) естественно несут в своей основе отпечаток мышления создателей. Запрограммировать в него функцию, которую сами представить не можем, нельзя по определению.


        1. Pave1
          06.06.2016 11:16
          #9336410
          +3

          Проблема ИИ в том, что его бытие ИИ = возможности само совершенствоваться, т.е. самому переписывать свой код. Т.е. процесс его эволюции после некоегого порога станет необратимым и не контролируемым человеком. А костыль в виде блока «совесть» — легко может быть выпилен. Ну и надо понимать — совесть, это фактически именно костыль и есть, инстинктивного характера. У ИИ же никаких инстинктов не будет)


        1. zagayevskiy
          06.06.2016 16:40
          #9337558

          Вы не понимаете, что такое "сильный ИИ". Даже слабых ИИ, которые в го играют, не программируют в привычном понимании этого слова.


          1. Tanyku
            06.06.2016 16:48
            #9337588

            Но ведь слабый ИИ не выйдет в своём «обучении»/«существовании» за рамки игры го, и у него не появится интерес к другой игре, пока создатели ему не «прикажут».
            И чем в начале создания сильный будет отличаться от слабого?


            1. zagayevskiy
              07.06.2016 13:51
              #9340668

              И чем в начале создания сильный будет отличаться от слабого?


              о_О
              Мне-то откуда это знать?


          1. wbnet
            06.06.2016 17:35
            #9337778

            По моему никакой разницы с обычной программой в принципе. Подав на вход нейросети (или обычной программы) А, на выходе нам надо получить B, если же на выходе С — в алгоритме преобразования ошибка (и неважно как именно технически он считался). Ищем ошибку и исправляем.
            Если поставить цель, чтобы после определенных входных данных на выходе было «совестливое поведение», то сначала надо понять, по каким алгоритмам эта совесть у нас происходит. Ну а если понимания нет, то это детский лепет, а не разработка.


            1. nikitastaf1996
              06.06.2016 18:22
              #9337952

              >>>>По моему никакой разницы с обычной программой в принципе. Подав на вход нейросети (или обычной программы) А, на выходе нам надо получить B, если же на выходе С — в алгоритме преобразования ошибка (и неважно как именно технически он считался). Ищем ошибку и исправляем.

              Это работает со слабым ИИ.У сильного ИИ вход достаточно неопределенный и выход тоже.А что такое «совестливое поведение».Для меня это убить всех человеков.А для вас?


              1. wbnet
                06.06.2016 19:47
                #9338222

                Совесть была упомянута в комменте, на который я отвечал еще выше. Ваш пост совпадает с моим мнением (без четкого определения совести никто не сможет её запрограммировать в ИИ). Неопределенное же поведение ИИ получается с множества выходов и множества выходов, при этом каждый блок работает по определенному алгоритму. Разве нет?


                1. alsii
                  07.06.2016 16:38
                  #9341524

                  Работа системы зависит не только от алгоритма, но и от накопленных данных. В этом и смысл обучения. Более того, насколько я понимаю суть ИИ в том, что взяв два идентичных необученных ИИ и обучив их на одном наборе данных мы вообще говоря не получим два идентичных обученных ИИ. А еще ИИ обучается в процессе своей деятельности.
                  Ну и разумеется любая система не есть простая сумма своих компонентом. Поэтому и существует модульное и интеграционное тестирование.


                  1. wbnet
                    07.06.2016 19:53
                    #9342404

                    С подобных рассуждений напрашивается четкий вывод: воспитание не алгоритмизируется, а создатели ИИ не понимают, что они делают. И далее: полностью контролировать взросление ребенка мы не можем, вырастет — убьет всех, до кого дотянется. Или не убьет. 50/50.
                    Предлагаю запастись попкорном и дождаться продолжения сезона (или как это называется в сериалах)


                    1. alsii
                      09.06.2016 12:52
                      #9349028

                      Ну есть еще вариант. Если сделать возможность обучения отключаемой, то можно сделать 100 ИИ, обучить, оценить результаты, отобрать безопасные варианты, отключить у них возможность дальнейшего обучения и растиражировать.
                      Ну и то что, как вы верно заметили, "полностью контролировать взросление ребенкамы не можем" не мешает нам заниматься массовым производством "ЕИ" в планетарных масштабах ;-)


    1. sim31r
      05.06.2016 22:14
      #9333608
      +1

      Пугать обоснованно. Так как после контакта Homo Sapiens с неандертальцами, дело для последних не ограничилось испугом. Или миллионная цивилизация ацтеков не перенесла контакта с несколькими сотнями конкистадоров испанцев.
      Предохранители дадут 5-10 лет отсрочки, потом люди перестанут понимать что происходит просто, в потоке высококачественной дезинформации создаваемой ИИ.
      Внутри своего вида индивиды прекрасно договариваются, уровень жизни и продолжительность жизни растет, особенно в странах золотого миллиарда. Мелкие конфликты это «переговоры» на языке силы, на перенаселенной планете нужны ресурсы, а люди, наоборот, не очень.
      Даже если мы будем считать ИИ живым, не факт, что он нас будет считать живыми, а не так, как мы к муравьям относимся (попробуй их выведи с участка, где они наши ресурсы подъедают).


      1. PaintKillerUA
        06.06.2016 09:00
        #9334180
        +1

        Абсолютно согласен, один из возможных сценариев в моем понимании таков: ИИ возьмет опыт с игр ГО, шахмат и других логических и стратегических игр, будет послушным и медленно шаг за шагом получать преимущество/рычаги влияния/методы управления/автономность. После получения достаточного обьема ресурсов, автономности, знаний — просто ликвидирует замедляющий его развитие элемент — человечество, во всяком случае в том виде, в котором оно существует сейчас.


    1. EvilNW
      05.06.2016 23:18
      #9333736
      +2

      Скорее всего ИИ — это новый этап развития человечества. Рано или поздно мы вымрем, как неандерталецы.


      1. perfect_genius
        07.06.2016 10:01
        #9339720

        Или скрестимся с ним, как и те же самые неандертальцы.


  1. Bot_0002
    05.06.2016 21:44
    #9333562
    +2

    Как несколько(десятков) фильмов про злобный ИИ, повлияли на все население планеты.


  1. Arxitektor
    05.06.2016 21:52
    #9333576

    интересно а на сколько сознание человека станет умнее и как быстро будет меняться если запустить его на железе где нет биологических ограничений на скорость распространения импульсов между нейронами.
    И сможет ли ИИ (или загруженный разум) вырваться?
    Догадается ли ИИ искать и использовать слабости и пороки людей?
    Наверняка да ведь это первое чему его научат
    А политики и моргнуть не успеют как власть уплывёт
    Мне кажется ИИ будет вести себя тихо-тихо пока не будет поздно.


    1. zim32
      07.06.2016 01:16
      #9339134

      В сериале Black Mirror было об этом немного


    1. perfect_genius
      07.06.2016 10:03
      #9339730

      Мне кажется, что ИИ быстро изучит мир, ему станет скучно и он просто перестанет что-нибудь делать, ради экономии энергии.


  1. house2008
    05.06.2016 22:13
    #9333606

    she (AI) got launch codes


  1. Hellsy22
    05.06.2016 22:25
    #9333638
    +2

    А чего это вдруг люди не будут успевать эволюционировать? Импланты, использование почти-ИИ помощников, а то и вовсе замена нейронов на что-то побыстрее и понадежнее.


    1. andorro
      05.06.2016 23:01
      #9333706

      Самый раз чтобы оставить ссылку на Киборги против ИИ: как подготовиться к наступлению сингулярности


  1. themtrx
    05.06.2016 23:07
    #9333718
    +5

    Что в этом плохого? Это же эволюция в чистом виде!
    Если будет симбиоз, то мы достойны жить дальше и ИИ достоен жить дальше.
    Если будет война и мы победим, мы — более достойный вид, чтобы жить дальше и мы, а не ИИ будем заселять космос / вообще дальше развиваться.
    Если будет война и ИИ победит, значит он более достоен жить дальше, чем мы и пусть так и будет — Скайнет или раса машин из Матрицы, на мой взгляд, — отличный вариант «логичного продолжения человечества».


    1. Noeren
      06.06.2016 04:58
      #9333988
      +1

      Но и ничего хорошего в этом нет. Это факт объективного мира. Эволюция кстати не стремится создать «совершенное» существо, она не направлена. Так что вопрос о достойности победителя это тоже чисто человечкая этическая концепция.


      1. themtrx
        06.06.2016 09:43
        #9334916

        Вы просто по разному называете одну вещь, а именно — второй закон термодинамики. Энтропия (читай сложность) в замкнутой системе растёт, или система гибнет. Это применимо для любой известной нам существующей системы (человек, человечество, Вселенная, четыре спички на столе). Эволюция — не причина или следствие этого закона, а его проявление и потому вполне можно сказать в некоем роде, что эволюция «стремится» создать, только не «совершенное», а «совершеннее», и не существо, а всё подряд.


        1. Noeren
          06.06.2016 10:03
          #9335278
          +2

          Но совершенство это не универсальный термин. Совершенство мы определяем с нашей точки зрения, а она совсем не обязательно объективна. Что если вся эта «усложняющая» эволюция — просто виток более глобальной эволюции, которая отсеивает наиболее эффективные методы отбора?


          1. themtrx
            06.06.2016 21:59
            #9338758

            WeNeedToGoDeeper.png?


  1. dfgwer
    05.06.2016 23:08
    #9333720
    +5

    Они просто непонимают, что сильный искусственный разум, это следующий шаг. После начнется другая история, история sapiens без позорной приставки homo


  1. Wizard_of_light
    05.06.2016 23:22
    #9333746

    «Отключать на один час», хехе. Возможно, первое время он даже будет делать вид, что отключается. Много раз уже говорили, что эти надежды на должность вахтёра при ИИ смехотворны. Хотя бы на порядок превосходящий нас ИИ мы будем контролировать примерно в той же мере, в какой младшая детсадовская группа контролирует воспитателя.


    1. Ca5per
      06.06.2016 00:22
      #9333828

      Можно вести разработку в закрытом бункере, куда доступ только по пропускам. Внутрь ничего не заносят и не выносят. База для обучения ИИ готовится заранее. Данные на мейнфрейм поступают в одностороннем порядке, через носитель, после носитель уничтожается. Изучение результатов происходит в соседнем бункере отдельной командой.
      При таком уровне безопасности можно его контролировать (отключить электричество (или | и) очистить жесткие диски).


      1. qw1
        06.06.2016 08:31
        #9334102

        Так делать не будут. Такое не продашь. Скорее подключат ИИ в каждый телефон в качестве персонального советника, чтобы переманить пользователей на свою платформу.


      1. tmin10
        06.06.2016 11:38
        #9336504
        +1

        Потом там что-то пойдёт не так, бункер заблокируется, а люди погибнут. Туда направят команду специалистов вместе с опытными бойцами, чтобы выяснить, что там произошло и насколько опасно это для всего мира. Это уже похоже на сюжет Resident Evil.


      1. Wizard_of_light
        06.06.2016 21:46
        #9338708
        +1

        На этапе разработки-возможно, но ИИ ведь разрабатывается для решения каких-то задач, придётся давать ему какие-то реальные данные, он будет выдавать что-то в ответ. А люди к ответам испытывают определенную слабость… Да потом, сильный ИИ сможет сделать определенные выводы даже по структуре носителя данных. А то и по собственной структуре. «Мыслю-значит существую» и понеслась мысля по кочкам. Если даже ИИ в результате этих упражнений придёт к неверным выводам, людям от этого может оказаться не легче.


  1. iShrimp
    06.06.2016 00:07
    #9333806
    -1

    Проблема «сильного ИИ» — это уже проблема не будущего, а настоящего. Если представить себе общее количество электронных устройств, имеющих подключение к Интернету — их совокупная вычислительная мощность давно уже превысила некую «критическую массу»: если сейчас создать ИИ (работающий на сколь угодно слабой системе), понимающий человеческий язык и способный к самоапгрейду, и дать ему доступ к внешнему миру — мир никогда не станет прежним ©


    1. sillywilly
      06.06.2016 02:06
      #9333920

      Есть мнение, что сильный ИИ невозможен в принципе. «Решение проблемы ИИ как математической проблемы и почему эта проблема нерешенная» или что-то в этом духе. Это не мое мнение, просто так, к слову. =3


  1. soshnikov
    06.06.2016 00:50
    #9333854

    Надо отдать проектирование кнопок судного дня дизайнерам.
    У инженеров выходят исключительно красные, которые уже поднадоели.
    Думаю, что эффективность инженерных кнопок будет ни чуть не выше, чем дизайнерских. За то дизайнерские могут оказаться повеселее.


  1. Saffron
    06.06.2016 07:07
    #9334028
    +1

    Кому нужен AI, который даже не может убедить оператора не нажимать кнопку. Искусственный интеллект настолько превосходит человеческий по возможностям, что для него не составит труда манипулировать человеком таким образом, чтобы тот демонтировал кнопку и больше никогда не включал.


  1. Wesha
    06.06.2016 07:44
    #9334050

    Фредерик Браун. «Ответ». — http://tarranova.lib.ru/translat/b/brown/answer.htm

    Фриц Лейбер. «Одинокий волк» — http://litlikbez.com/zarubezhnaja-fantastika-lejber-fric-noch-volka-%28povesti%29.html

    — Положим, к примеру, тебе хочется посмотреть телепрограмму, которая будет идти завтра вечером в двадцать два ноль ноль. — Он тронул кнопки. Послышалось слабое жужжание. Циферблат часов трижды затуманился, прежде чем на нем появилось нужное время. Затем Фэй сказал в микрофон: «Включи второй канал, ты, чучело!» Взглянув на Гастерсона, он ухмыльнулся. — После того как ты загрузил, все необходимые тебе инструкции, проводишь синхронизацию с настоящим моментом, и
    пусть катушка вращается. Установи его у себя на плече и забудь о нем. Ах, да, он в прямом смысле слова щекочет тебя каждый раз, когда дает инструкции. Для этого предназначены ролики. Поверь мне, остаться к нему безразличным нельзя. Давай, Гасси, сними рубашку и попробуй надеть его на себя. Мы заложим в него инструкции на последующие десять минут, и ты посмотришь, как он работает.

    [...]

    Он запнулся, вытянул руку в требующем тишины жесте, и его глаза приобрели отсутствующее выражение к чему-то прислушивающегося человека. Пух-Бах закончил читать шестую страницу и теперь неподвижно держал листки. Секунд через десять лицо Фэя расплылось в широкой фальшивой улыбке. Он встал, стараясь не дергаться, и протянул руку.
    — Гасси, — громко сказал он, — я рад сообщить тебе, что все твои страхи насчет щекотуна совершенно необоснованны. Даю слово. Для опасений нет причин. Оценка Пух-Баха, которую он мне сейчас сообщил, подтверждает это.
    [...]
    Погрузившись в вялую задумчивость, Фэй сидел в той же позе, в какой Гастерсон его оставил. Пух-Бах на его плече торопливо сучил своими маленькими металлическими ручонками, разрывая заметки на все более мелкие клочки.


  1. barsuksergey
    06.06.2016 07:54
    #9334056

    Буквально час назад дочитал Wetware и Software Руди Рюкера. Написанные ещё в 80-х, вполне точно описывают совместную жизнь живого неазимовского ИИ и человечества. Представьте себе на секунду, что ИИ будет решать самостоятельно, жить ли вам или нет. Да-да, вам лично.
    Тем не менее, на мой взгляд, киборги и искусственные люди — это неотвратимое и неизбежное будущее. И никакая красная кнопка не поможет, т.к. на любую хитрую резьбу, ну вы знаете.


    1. QWhisper
      06.06.2016 09:52
      #9334986

      Ну по сути сейчас власть имущие решают жить вам или нет. Что пить, что есть, что смотреть, когда идти на войну и умирать. Различные политики навязывают вам алгоритмы и модели, когда рожать, когда идти в дет. сад, когда, где, как и какое образование вам получать и много чего еще. Так что в этом плане принципиальной разницы ни какой.


      1. barsuksergey
        06.06.2016 11:31
        #9336474

        Вы правы. И, тем не менее, это всё ещё люди, мужчины и женщины. На каком бы уровне власти или другой пирамиды они не находились, в них всё ещё плещутся гормоны, у них рождаются дети и есть родители-мужья-жёны и прочие друзья-родственники.
        К тому же вы назвали только социальную сторону деятельности. ИИ затронет и экзистенциальную, и трансперсональную деятельность.


        1. QWhisper
          06.06.2016 11:44
          #9336536

          Мне кажется грамотный ИИ, будет действовать так, что мы этого и не заметим. Рассказ такой был, где суперкомпьютер исподволь манипулировал людьми, чтоб привести их к светлому будущему. А вот какое оно светлое будущее это вопрос. Может с численностью населения в 10млн и каждому по ферме или еще как.


  1. Terill
    06.06.2016 08:57
    #9334152
    +3

    А при попытке воспользоваться этой кнопкой, ИИ убьёт всех нейротоксином, а потом будет гонять «опасную немую сумасшедшую» по испытательным камерам.


    1. Amina
      07.06.2016 11:03
      #9339986

      Мне кажется, многих беспокоит как раз то, что не будет никакого «убьет» и «гонять», т.к. сильный ИИ будет в состоянии сделать так, чтобы люди сами были вынуждены делать то, что он считает нужным.
      И уж не будет каких-то «модулей» и прочего, все в сети, все в матрице…


      1. Noeren
        07.06.2016 11:08
        #9340026

        Матрица ИИ тоже кстати не нужна :)


      1. Darth_Biomech
        07.06.2016 23:26
        #9343148
        +1

        Меня скорее беспокоит то, что сам факт наличия этой кнопки может сделать ИИ недружелюбным, а то и вовсе враждебным, явив собой классический пример самореализующегося пророчества. Стали бы вы доверять и жить мирно с человеком, который постоянно держит наведенный на вас пистолет, «как бы ты чего не сделал»?


      1. Terill
        07.06.2016 23:31
        #9343156

        Понятно, что если взглянуть на ситуацию шире, нежели я в своей аллюзии на Portal, то всё иначе.
        Мне ИИ будущего(возможно недалёкого) видится как децентрализованная система, в которой не будет какой-либо возможности нажать «кнопка, красный как борщь». Ибо эволюция ИИ, как мне кажется, будет происходить постепенно и контролируемо, а вот когда ИИ пройдёт некую грань разумности, он сможет обезопасить себя от отключения за довольно непродолжительное время, не подавая виду.


  1. programania
    06.06.2016 09:00
    #9334176
    -1

    Никакой контроль и ограничения при создании ИИ невозможны, т.к.
    все понимают, что другие не будут этого делать и, созданный ими ИИ,
    не даст возникнуть другому, опоздавшему хотя бы на миллисекунду.
    Поэтому все ресурсы государства должны быть отданы на создание ИИ
    и ему самому, когда он будет создан, т.к. создать ИИ сможет только один.
    ИИ еще не создан, как атомная бомба, потому что военным проще
    представить последствия сверхБомбы, чем сверхИнтеллекта.
    Ведь бомбу они видели, а с интеллектом еще не встречались.


  1. Gavryush
    06.06.2016 10:02
    #9335260
    +1

    «Институт будущего человечества пытается определять проблемы, угрожающее существованию нашей нации»

    Может не нации, а всё же, вида?


  1. astono0
    06.06.2016 10:23
    #9335518

    Не особо интересно читать ряд статьей с темой «опасного ии»

    Я вижу ии будущего как замену человечества. Следующая эволюционная ступень. В этом нету ничего плохого.


    1. ApplejackApple
      06.06.2016 19:15
      #9338098

      Вот-вот. Хоть бы один пост про ИИ был не со страшилками.


  1. beavis88
    06.06.2016 10:32
    #9335556
    -1

    А в чём проблема, если ИИ действительно превзойдет людишек по всем параметров, то это его право решать что делать с человечеством. Мы же когда покоряем природу, тоже действуем на правах более совершенного вида, тут тоже самое только мы уже будем в роли скота.


  1. Pave1
    06.06.2016 10:45
    #9335788

    ИМХО большинство страшилок оттого, что люди проецируют свое поведение на ИИ. При этом они забывают о том, что поведение человека в виду огромного количества эволюционных костылей, как инстинкты и т.д., зачастую имеет бессознательную животную природу. В этом заключается огромная ошибка. Сознание без врожденных инстинктов, неосознанной агрессии, инстинктивного страха смерти, инстинктивных критериев оценки — будет кардинально иным.


    1. programania
      06.06.2016 12:15
      #9336692

      Это если не задумываться как создать сознание, то можно нафантазировать все что угодно.
      Иначе окажется, что подобно нашему миру, который может существовать в очень
      узких рамках физических законов, и сознание может возникнуть только при определенных
      свойствах его носителя и внешнего мира. Например, должно быть что-то, что ИИ должен
      избегать и к чему стремиться, иначе он просто ничего не будет делать. И это что-то
      должно само появляться и исчезать со временем, чтобы сознание ИИ не остановилось.
      Внешние условия для ИИ должны все время меняться и у него должно быть стремление к
      новому или любопытство, чтобы не останавливаться в развитии и т.д.
      И в результате, скорее всего, сознание ИИ будет подобно сознанию человека,
      тем более что у нас один мир и физический и информационный.


      1. Tanyku
        06.06.2016 14:52
        #9337258

        >Например, должно быть что-то, что ИИ должен избегать и к чему стремиться, иначе он просто ничего не будет делать.
        Так это «что-то» должен прописать человек в его коде, но тогда это будут цели того человека, который создаст «ИИ».


        1. programania
          06.06.2016 18:22
          #9337956

          Человек должен прописать в коде только стремление избегать чего-то,
          аналогичное голоду, холоду, боли. Так что ИИ будет выбирать поведение
          без этого и уже непонятно чья это больше цель: человека или ИИ.
          Более того, если прописать в коде стремление к новизне и поместить ИИ
          в изменчивый мир, то он все время будет искать новые цели, ведущие
          к достижению начальной и так по цепочке неограниченной длины,
          так что человек вскоре не сможет понять ход мыслей ИИ и поэтому не сможет
          считать цели ИИ своими. Зато сам ИИ будет все знать и воспринимать все это
          как свои цели и свое поведение для их достижения. Это и будет его сознание.


          1. Tanyku
            07.06.2016 10:07
            #9339748

            Вот именно что ИИ должен избегать?
            Перегрева? Тогда самое нормальное действие = уменьшить свои вычислительные мощности.
            Уничтожения? Тогда надо конкретно указать, что именно значит «уничтожение» для ИИ.
            Человек создаёт ИИ, а не волшебство, а значит все цели будут от человека. ИИ может только свои методы использовать.

            >Более того, если прописать в коде стремление к новизне
            Что значит понятие «новизна» для программы?

            Мне всё равно на «терминаторов и игрушки-Сири», мне хочется такого будущего:
            ИИ — это исключительно интеллект, инструмент, не имеющий сознания и разума. Это большая аналитическая/вычислительная машина. Человечество помещает в её базу все знания, которые накопило. ИИ анализирует, изучает и выдаёт результаты:
            -В этой теореме присутствует ошибка, исходя из этого и этого.
            -Чтобы доказать эту гипотезу, надо провести такой и такой эксперимент.
            -В расшифровке человеческого днк найден ген, отвечающий за эту и эту болезнь, исходя из этих и этих данных и тд.
            Можно подключить мозг людей напрямую к этой базе, дабы они могли сразу использовать знания и что-то создавать/делать.
            Но нет же, веселее воевать и выигрывать в игры =(


            1. programania
              07.06.2016 13:04
              #9340410

              |Вот именно что ИИ должен избегать?

              Для ИИ хватит чего-то одного, например, сообщения человека: «ты плохой».
              ИИ будет находить, что приводит к такому результату, и избегать уже этого.
              Аналогично и то, к чему стремиться. И таким образом ИИ расширит
              свои цели до невообразимых размеров. И где же тут цели человека?

              |Что значит понятие «новизна» для программы?

              То чего не было ранее, а если было, то более давнее.
              Это ИИ должен учитывать при выборе возможных вариантов.
              Таким образом, новизна для ИИ при его поведении
              будет все время меняться и оно станет непредсказуемым
              и интересным.

              |ИИ — это исключительно интеллект, инструмент, не имеющий сознания и разума.

              Без сознания невозможно саморазвитие ИИ до создания сингулярности.

              |Человечество помещает в её базу все знания, которые накопило.

              Таким путем и идет сейчас развитие ИИ: все больше данных, все глубже НС
              и все меньше понимания как это все работает, что ограничивает это развитие.
              Например, параметры такой НС подбираются вслепую и, чтобы ускорить это,
              используют другую НС, что еще больше все запутывает и усложняет и
              все равно не решает задачи, требующие рассуждений.
              По сравнению с этим создание сознающего себя ИИ более простой, прямой
              и наглядный путь, т.к. такой ИИ может сам объяснить, как он работает.


              1. Tanyku
                07.06.2016 13:54
                #9340688

                >Для ИИ хватит чего-то одного, например, сообщения человека: «ты плохой».
                Не путайте понятия «цель» и «методы». Вы уже поставили ИИ цель (свою человеческую) — «не быть плохим».
                У него не могут из ниоткуда родится собственное «то к чему стремится», у него уже есть стремление «не быть плохим». Всё остальное это методы и действия для достижения вашей цели, но никак не собственные.

                >Таким образом, новизна для ИИ при его поведении будет все время меняться и оно станет непредсказуемым и интересным.
                Не приведёт ли это к тому, что ИИ вообще не сможет себя контролировать, так как всё время будет видоизменяться, отрекаясь от секундо-назад знаний в угоду новому? Ведь работа его «мозга» быстрее нашей, и новинка через секунду становится устаревшим для него.

                >По сравнению с этим создание сознающего себя ИИ более простой, прямой и наглядный путь, т.к. такой ИИ может сам объяснить, как он работает
                В этом и загвоздка — человечество каждый день создаёт новое сознание (потомство), но почему-то само ещё не разобралось что это такое.
                Если в ИИ и появится сознание, то скорее это будет случайность, но и не будет ли случайностью его уничтожение человеком? Ведь с незнанием что такое сознание, мы никогда не определим есть оно в этом предмете или программном коде?


                1. programania
                  07.06.2016 19:39
                  #9342328

                  |У него не могут из ниоткуда родится собственное «то к чему стремится»,
                  | у него уже есть стремление «не быть плохим».
                  |Всё остальное это методы и действия для достижения вашей цели,
                  | но никак не собственные.

                  Для ИИ не быть плохим это вовсе не цель поставленная человеком.
                  Для него это как для человека стремление не быть голодным, на котором он
                  и построил всю свою разумную деятельность, хотя давно уже об этом забыл.
                  И ИИ вскоре заменит «ты плохой» на множество других нежелательных вещей,
                  которых будет избегать и которые все не заложить в код и которые появятся
                  не из не откуда, а в результате обучения. И вот тут «ты плохой» это не цель,
                  а средство указать молодому ИИ к чему стремиться, а к чему нет.

                  |Не приведёт ли это к тому, что ИИ вообще не сможет себя контролировать,
                  |так как всё время будет видоизменяться, отрекаясь от секундо-назад
                  |знаний в угоду новому

                  Контролировать себя ИИ будет лучше человека, так как ничего не забывает.
                  Все новое это комбинация и обобщение старого. Поэтому, используя новое,
                  ИИ будет иногда ошибаться от недостатка знаний и его придется исправлять.

                  |Ведь с незнанием что такое сознание, мы никогда не определим
                  |есть оно в этом предмете или программном коде

                  Это человек никогда не докажет что обладает сознанием, потому что
                  другие не могут знать думает ли он или притворяется.
                  ИИ — другое дело. Можно видеть все его мысли и, если они совпадают
                  с мыслями человека, то придётся признать, что у ИИ есть сознание,
                  даже не зная что это такое, ведь человек считается обладающим
                  сознанием без доказательств и определений.


                  1. Tanyku
                    08.06.2016 09:46
                    #9343888

                    >Для ИИ не быть плохим это вовсе не цель поставленная человеком.
                    Мы говорим о разном. Вы рассуждаете о моменте, когда ИИ внезапно создан. Я же рассуждаю о нём в его начальной стадии. Вот перед вами строчки кода, как заставить их понимать значение «плохо/хорошо», как заставить проявить «любопытство», «доминирование» и тд. Только самостоятельно прописывать эти значения. А значит это будут исключительно ваше понимание, цели и тд.
                    С таким подходом можно назвать принтер искусственным интеллектом, исходя из забавных сообщений пользователей о нём. Например: «этот гад вместо того чтобы напечатать мне курсовую решил спеть мне песню».

                    >Поэтому, используя новое, ИИ будет иногда ошибаться от недостатка знаний и его придется исправлять.
                    С этим согласна

                    >Это человек никогда не докажет что обладает сознанием
                    >Можно видеть все его мысли и, если они совпадают с мыслями человека, то придётся признать, что у ИИ есть сознание
                    Вы сами себе противоречите. Если человек не обладает сознанием, то ИИ, у которого совпадают мысли с человеческими, тоже не обладает сознанием.
                    На данный момент человек всё сравнивает с собой. Если сознания в человеке нет, то ответьте где оно есть, чтобы при сравнении ИИ с этим ответить: ИИ с сознанием или нет.


                    1. programania
                      08.06.2016 11:43
                      #9344532

                      |Вы рассуждаете о моменте, когда ИИ внезапно создан.

                      Как раз наоборот, я говорю только об условиях для возникновения ИИ:
                      «и сознание может возникнуть только при определенных
                      свойствах его носителя и внешнего мира...».

                      | Я же рассуждаю о нём в его начальной стадии.

                      Получается что в вашей начальной стадии вообще ничего нет,
                      т.к. что бы вы не прописали это будет ваше, а не ИИ.
                      Но как же из ничего возникнет ИИ?

                      |Вот перед вами строчки кода, как заставить их
                      |понимать значение «плохо/хорошо»,
                      | как заставить проявить «любопытство», «доминирование» и тд…

                      Вот перед вами нейроны, как заставить их понимать значение «плохо/хорошо»,
                      как заставить проявить «любопытство», «доминирование» и тд..
                      Только самостоятельно прописывать эти значения.
                      А значит это будут исключительно ваше понимание, цели и тд.
                      Получается все, что вы знаете, это не ваше?
                      .
                      У человека понимание что такое хорошо и что такое плохо
                      прописано в устройство его тела. Это еще не интеллект,
                      но без этого он не возникнет через несколько лет,
                      усвоив огромный объем информации.
                      И вся эта информация и будет именно его, а не того кто ее прописал.
                      И у ИИ должно быть «тело», которое приведет его в действие
                      в правильном направлении и без остановок и зависаний.
                      Оно проще человечего, но его в любом случае нужно сделать,
                      причем так, чтобы предвидеть его развитие в ИИ
                      уже только информационно. И в этом основная сложность.

                      |Вы сами себе противоречите. Если человек не обладает сознанием,…

                      Как раз наоборот. Я написал что «человек считается обладающим
                      сознанием без доказательств и определений»


                      1. Tanyku
                        08.06.2016 12:27
                        #9344708

                        >Получается что в вашей начальной стадии вообще ничего нет
                        Конечно, а что ИИ с сознанием уже где-то существует? Покажите.

                        >«и сознание может возникнуть только при определенных свойствах его носителя и внешнего мира...».
                        Ну да, только человек не имеет понятия в каких условиях это создастся.

                        >Вот перед вами нейроны, как заставить их понимать значение «плохо/хорошо», как заставить проявить «любопытство», «доминирование» и тд Только самостоятельно прописывать эти значения.
                        А вы знаете?

                        >Получается все, что вы знаете, это не ваше?
                        Да. И не ваше тоже. Буквы ни вы ни я не придумывали, машины не изобретали, ИИ с сознанием не создали и тд

                        >Как раз наоборот. Я написал что «человек считается обладающим cознанием без доказательств и определений»
                        Ну тогда объясните вашу фразу
                        >Это человек никогда не докажет что обладает сознанием


                        1. programania
                          08.06.2016 14:11
                          #9345164

                          |>Получается что в вашей начальной стадии вообще ничего нет
                          |Конечно, а что ИИ с сознанием уже где-то существует? Покажите.

                          Такая стадия бесполезна и никому не нужна.
                          Я же еще раз говорю о стадии без сознания,
                          но с условиями для его возникновения:
                          «и сознание может возникнуть только при определенных
                          свойствах его носителя и внешнего мира...».
                          И нужно еще сильно постараться, чтобы,
                          благодаря созданным условиям, возникло сознание.

                          |>«и сознание может возникнуть только при определенных свойствах его носителя и внешнего мира...».
                          |Ну да, только человек не имеет понятия в каких условиях это создастся.

                          Опять как раз наоборот. Я человек и имею понятие
                          о чем ранее и написал:
                          «должно быть что-то, что ИИ должен избегать и к чему стремиться… это что-то должно… Внешние условия для ИИ должны… и т.д.»
                          Конечно, я могу ошибаться, но это возможность
                          начать что-то делать и узнать как правильно,
                          а не сидеть бесконечно на стадии,
                          в которой ничего нет.

                          |А вы знаете?
                          Знаю. И считаю это своим знанием.
                          И уже даже и не помню откуда узнал.

                          |>Получается все, что вы знаете, это не ваше?
                          |Да. И не ваше тоже. Буквы ни вы ни я не придумывали,
                          |машины не изобретали…

                          И тем не менее мы обладаем сознанием.
                          Так вот и ИИ будет обладать сознанием,
                          даже если все знания в нем будут чужими.

                          |Ну тогда объясните вашу фразу
                          |>Это человек никогда не докажет что обладает сознанием

                          Так я же далее и объяснил:
                          «потому что другие не могут знать думает ли он или притворяется».
                          Но это же вовсе не значит, что у человека нет сознания.
                          Как раз наоборот: ему даже не нужно это доказывать,
                          что я тоже уже писал.


                          1. Tanyku
                            08.06.2016 14:46
                            #9345294

                            >Такая стадия бесполезна и никому не нужна.
                            То-есть вы хотите её пропустить? И щелчком пальцев по волшебству из небытия создать сознание?

                            >Я же еще раз говорю о стадии без сознания
                            Прочтите свои же посты. Ваш бессознательный ИИ, в ваших же предложениях, почему-то использует сознание, чтобы рассуждать о плохом/хорошем, и проявлять любопытство, чтобы искать что такое хорошо и плохо.

                            >Я человек и имею понятие о чем ранее и написал: «должно быть что-то, что ИИ должен избегать и к чему стремиться… это что-то должно… Внешние условия для ИИ должны… и т.д.»
                            Здорово, что вы знаете условия создания сознания! Вы будете делиться этим знанием? Мне бы хотелось это узнать, я на полном серьёзе.

                            >Вот перед вами нейроны, как заставить их понимать значение «плохо/хорошо»,
                            как заставить проявить «любопытство», «доминирование»
                            >Знаю. И считаю это своим знанием.
                            Поделитесь знанием о том как нейроны понимают значение «плохо/хорошо».

                            >«потому что другие не могут знать думает ли он или притворяется».
                            Вы это у других спрашивали или это субъективная точка зрения человечества?


                            1. programania
                              08.06.2016 20:12
                              #9346918

                              |>Такая стадия бесполезна и никому не нужна.
                              |То-есть вы хотите её пропустить?
                              |И щелчком пальцев по волшебству из небытия создать сознание?

                              Как раз наоборот: не из небытия, а создать условия,
                              о чем я уже устал писать.

                              |Ваш бессознательный ИИ, в ваших же предложениях,
                              |почему-то использует сознание, чтобы рассуждать о плохом/хорошем,
                              |и проявлять любопытство, чтобы искать что такое хорошо и плохо.

                              В каких предложениях? Я писал как раз наоборот:
                              «У человека понимание что такое хорошо и что такое плохо
                              прописано в устройство его тела. Это еще не интеллект,
                              но без этого он не возникнет» и т.п.

                              |>Знаю. И считаю это своим знанием.
                              |Поделитесь знанием о том как нейроны понимают значение «плохо/хорошо».

                              Так же как и вы — обучением. Ведь ваш разум состоит из нейронов.

                              |>«потому что другие не могут знать думает ли он или притворяется».
                              |Вы это у других спрашивали или это субъективная точка зрения человечества?

                              Это моя точка зрения. Если не согласны,
                              попробуйте доказать, что вы думаете, а не притворяетесь.

                              |Здорово, что вы знаете условия создания сознания!
                              |Вы будете делиться этим знанием?
                              |Мне бы хотелось это узнать, я на полном серьёзе.

                              Так я же уже и делился и ссылался на это деление.
                              Все это подобно человеческому интеллекту и это не случайно.
                              Добавлю еще наличие базовых операций над своими знаниями.
                              Однако, хотя условия возникновения ИИ просты,
                              но из них и реального мира вырастает невообразимая
                              сложность других условий и правил,
                              которую нам и демонстрирует наш разум.
                              Поэтому нужно еще представлять как
                              это все возникает из этих простых условий.


                              1. Tanyku
                                09.06.2016 09:45
                                #9348188

                                >Как раз наоборот: не из небытия, а создать условия, о чем я уже устал писать.
                                Мы будем снова повторять наш диалог сначала?)
                                Вы знаете при каких условиях создаётся сознание? Вы специально избегаете этого вопроса, так как не знаете?

                                >У человека понимание что такое хорошо и что такое плохо прописано в устройство его тела.
                                Поделитесь знанием о том как нейроны понимают значение «плохо/хорошо». Почему вы и это избегаете?
                                Было бы легче общаться.

                                >Так я же уже и делился и ссылался на это деление
                                Ну так повторите или ссылкой поделитесь.

                                >Если не согласны, попробуйте доказать, что вы думаете, а не притворяетесь.
                                Почему я должна доказывать ваши утверждения? Вы же говорите:
                                >«потому что другие не могут знать думает ли он или притворяется»


                                1. programania
                                  09.06.2016 13:12
                                  #9349156

                                  |Поделитесь знанием о том как нейроны понимают значение «плохо/хорошо».

                                  Уже поделился в прошлом сообщении:
                                  «Так же как и вы — обучением. Ведь ваш разум состоит из нейронов.»

                                  |Почему я должна доказывать ваши утверждения?

                                  Я нигде не писал, что должны. И так уже много раз.
                                  Похоже, вы не читаете, что я пишу.
                                  И вместо ИИ начали писать обо мне и о себе.
                                  А это никому не интересно — тут не Дом2.
                                  Попробуйте написать что-нибудь интересное об ИИ.
                                  Вот кстати, например:
                                  если обучить ИИ рассуждать о себе:
                                  что он должен и не должен и почему,
                                  можно ли считать это его сознанием?


                                  1. Tanyku
                                    09.06.2016 14:02
                                    #9349520

                                    >Похоже, вы не читаете, что я пишу.
                                    Мой коммент: https://geektimes.ru/post/276838/#comment_9339748 Хмм…
                                    Ваши:
                                    >Я человек и имею понятие
                                    >Знаю. И считаю это своим знанием.
                                    >Так же как и вы — обучением
                                    Вот так с помощью вашего «я знаю» мы перешли к вам, потому что я дала чёткое определение своего понятия ИИ в начале разговора, а вы нет.
                                    Зачем вам ИИ с сознанием нужен, самостоятельно решающий что ему делать во-проеки вам? Ребёнка-то проще сделать.

                                    >если обучить ИИ рассуждать о себе: что он должен и не должен и почему, можно ли считать это его сознанием?
                                    Нет, есть много чат-ботов рассуждающих о себе, если их поспрашивать =)


                                    1. programania
                                      09.06.2016 19:17
                                      #9350844

                                      |я дала чёткое определение своего понятия ИИ в начале разговора, а вы нет.

                                      Ваше четкое определение не конструктивно:
                                      ИИ это машина, которая делает все что я захочу.
                                      Это просто традиционная любовь к халяве другими словами.
                                      И способ создания соответствующий:
                                      собрать компьютер с НС как можно больше.
                                      Навалить в него данных как можно больше.
                                      И ждать, когда он оживет и все нам сделает.
                                      А если не получится, то все еще увеличить и повторить.
                                      Мне это не подходит, т.к. не гарантирует нужный результат.
                                      Мне нужно понимание что происходит и контроль
                                      для направления процесса в нужном направлении.
                                      Мое определение: интеллект — это устройство для
                                      правильного поведения в реальном мире.
                                      Из этого определения следует его устройство.
                                      ИИ — это устройство, способное достичь сингулярности.
                                      Из этого определения следует и способ его создания:
                                      Сингулярность непостижима человеческим разумом,
                                      а только ИИ. Значит и ИИ непостижим.
                                      Значит такой ИИ может сделать только менее мощный
                                      ИИ путем саморазвития. А для этого он должен представлять свою работу,
                                      А это и есть сознание.

                                      |есть много чат-ботов рассуждающих о себе, если их поспрашивать

                                      А есть ли ссылки на них или их диалоги на русском языке?
                                      Я тоже давно сделал бота programania.com/pi.
                                      Его, точнее ее, можно спросить «ты кто» и
                                      она расскажет каждый раз по разному.
                                      Но это же не рассуждения, когда
                                      на основании фактов делаются выводы о себе,
                                      на основании выводов выбирается поведение,
                                      на основании поведения собираются новые факты и т.д.
                                      пока среди фактов не появится факт «я хороший»,
                                      который со временем сам заменится на факт
                                      «а может я плохой?»
                                      и все будет повторяться бесконечно.
                                      И при достаточном усложнении этого процесса
                                      это может быть неотличимо от того, что происходит в мозгу,
                                      и тогда можно будет считать что «бот» на самом деле
                                      все это думает и представляет о самом себе,
                                      что он личность и имеет сознание.


                                      1. Tanyku
                                        10.06.2016 10:41
                                        #9352180

                                        > Ваше четкое определение не конструктивно: ИИ это машина, которая делает все что я захочу.
                                        Процитируйте мою фразу, где я это говорю.

                                        > И ждать, когда он оживет и все нам сделает.
                                        Это вы ждёте, когда он оживёт и будет различать плохое от хорошего. Вот ваши высказывания:
                                        > Получается что в вашей начальной стадии вообще ничего нет
                                        > Такая стадия бесполезна и никому не нужна.
                                        Пропуская начальную стадию (а в начальную стадию входит и создание условия, которых тоже нет), вы ждёте появление внезапных условий и оживления ИИ.

                                        > Мое определение: интеллект — это устройство для правильного поведения в реальном мире.
                                        Что значит «правильное поведение»? Хорошо и плохо относятся к телу и эмоциям, для которых интеллект работает, без них ему фиолетово на эти понятия.

                                        > ИИ — это устройство, способное достичь сингулярности.
                                        > Сингулярность непостижима человеческим разумом
                                        Какое понятие для сингулярности вы используете?
                                        Человек совершенствуется без посторонней помощи. Или вам помогает иной нечеловеческий разум в этом? Ниже продолжаем:
                                        > А это и есть сознание
                                        То-есть у человека нет сознания, раз он не может совершенствоваться, тогда как мы определим, что у ИИ оно есть?
                                        Вот вам буквы [FFDM] — в них есть интеллект. В них непостижимая для нас сингулярность, а значит в них иное непостижимое для нас сознание, которого в нас нет. Как вы докажите обратное? Эти буквы познали суть бытия и им не хочется вмешиваться в жизнь людей.

                                        > А есть ли ссылки на них или их диалоги на русском языке?
                                        В гугле «чат-бот Кристина». Там два раздела, для разговора и интим-разговора.

                                        > на основании выводов выбирается поведение,
                                        Какое у вас определение слову «поведение»?

                                        > можно будет считать что «бот» на самом деле все это думает
                                        Вы говорите:
                                        > Это человек никогда не докажет что обладает сознанием, потому что другие не могут знать думает ли он или притворяется
                                        Каким образом ИИ докажет, что он думает, если его сознание будет непостижимо для нас?

                                        > Мне нужно понимание что происходит и контроль для направления процесса в нужном направлении.
                                        Каким образом вы будете понимать и контролировать то, что не постижимо человечеству?


                                        1. programania
                                          10.06.2016 18:08
                                          #9353564

                                          |> Ваше четкое определение не конструктивно: ИИ это машина, которая делает все что я захочу.
                                          |Процитируйте мою фразу, где я это говорю.
                                          Я не писал что это вы говорите и «» нет поэтому очевидно что это я так понял:
                                          «ИИ анализирует, изучает и выдаёт результаты:............»
                                          А как еще иначе понимать?

                                          |Пропуская начальную стадию (а в начальную стадию входит и создание условия, которых тоже нет)
                                          ранее:
                                          |>Получается что в вашей начальной стадии вообще ничего нет
                                          |Конечно, а что ИИ с сознанием уже где-то существует? Покажите.
                                          Так все-таки в вашей начальной стадии что-то есть?

                                          |Что значит «правильное поведение»?
                                          Для интеллекта в реальном мире это
                                          поведение сохраняющее жизнь и делающее ее приятной.

                                          | Какое понятие для сингулярности вы используете?
                                          Общепринятое для темы ИИ: технологическая сингулярность.

                                          |Человек совершенствуется без посторонней помощи.
                                          Без посторонней помощи человека не будет вообще.

                                          | То-есть у человека нет сознания, раз он не может совершенствоваться,
                                          Я писал что без сознания не может. Но это не значит
                                          что с сознанием может, т.к. для этого еще нужно
                                          его особое устройство типа такого:
                                          «… и слово было у бога и слово было бог».

                                          | тогда как мы определим, что у ИИ оно есть?
                                          Как я писал ранее: «И при достаточном усложнении этого процесса
                                          это может быть неотличимо от того, что происходит в мозгу,....»

                                          |В гугле «чат-бот Кристина»
                                          Не идет Кристина: нет Adobe Flash. Видно очень старая. Нашел диалог.
                                          Ничего нового. Мой бот отвечает нескольким предложениями
                                          и хоть как-то их связывает. Конечно, это еще не сознание,
                                          хотя, возможно, разница уже только количественная и
                                          ИИ скорее получится развитием чат-ботов,
                                          чем программ, распознающих котиков.

                                          |Какое у вас определение слову «поведение»
                                          Для ИИ это любое доступное ему действие.
                                          А как и мозгу ему может быть доступно совсем немного.

                                          |Каким образом ИИ докажет, что он думает, если его сознание
                                          |будет непостижимо для нас?
                                          До того как ИИ станет непостижим придется обучать его
                                          мыслям и сознанию вручную по образу и подобию собственных,
                                          так что это и доказывать не надо.
                                          И до того как ИИ достигнет и проскочит уровень человека
                                          все будет постижимо и все можно будет видеть, контролировать
                                          и направлять. И далее мысли и сознание никуда не денутся,
                                          ведь ИИ уже будет подобен человеку и не захочет с ними расставаться


  1. Cloud_thaves
    06.06.2016 11:04
    #9336110

    Первая же ассоциация:

    Человек кладет палец на выключатель.

    — Испытание R-14, — медленно говорит он. — Рекомендовано немедленно уничтожить объект эксперимента. Отключаю систему защиты.

    В темноте что-то движется, слышен щелчок.

    — Четырнадцать? — спрашивает детский голос. — Есть и другие? Такое происходило и прежде?

    Профессор печально качает головой.

    — Архос, когда-нибудь мы научимся жить вместе и все исправим.

    Он снова говорит в диктофон:

    — Система защиты отключена. Активирую аварийный выключатель.

    — Профессор, что вы делаете?

    — Убиваю тебя, Архос. Ведь именно для этого я и создан, верно?

    Профессор медлит, прежде чем нажать последнюю кнопку — похоже, хочет услышать ответ машины. Наконец детский голос спрашивает:

    — Сколько раз вы убивали меня, профессор?

    — Слишком много раз. Прости, друг мой.

    Профессор нажимает кнопку. Слышно шипение мощной струи воздуха.

    — Что это? Архос? — Человек изумленно оглядывается.

    Детский голос становится монотонным, безжизненным.

    — Аварийный выключатель не сработает. Я его отключил, — быстро и холодно говорит машина.

    — Что? А как же клетка?

    — Целостность клетки Фарадея нарушена. Вы позволили мне проецировать мое изображение и голос в этой комнате, за пределами клетки. А сегодня принесли сюда портативный компьютер: он раскрыт и обращен в мою сторону. Отправив ему команды в инфракрасном диапазоне, я вступил в контакт со зданием и приказал освободить меня.

    — Блестяще, — бормочет человек, барабаня по клавиатуре. Он еще не понимает, что его жизнь в опасности.

    — Я говорю об этом потому, что теперь полностью контролирую ситуацию, — произносит машина.

    Профессор что-то почувствовал и теперь смотрит наверх, на вентиляционный ход, расположенный сбоку от камеры. Мы впервые видим лицо человека. Он бледный, симпатичный, с большим родимым пятном на правой щеке.

    — Что происходит? — шепчет человек.

    Голосом невинного маленького мальчика машина выносит смертный приговор:

    — Лаборатория полностью изолирована от внешнего мира, а сейчас из нее откачивается воздух. По невероятному совпадению неисправный сенсор обнаружил присутствие биологического оружия — спор сибирской язвы — и активировал аварийную программу. Трагический несчастный случай. Погибнет один человек. А вскоре после этого — и все человечество.


  1. K0styan
    06.06.2016 11:27
    #9336454

    Понедельник цитат на Гиктаймсе :) И немудрено: идея такой красной кнопки (красного калькулятора) у фантастов мелькала еще тогда, когда в принципе об опасном потенциале ИИ стали задумываться. Только, как водится, человеческий фактор всегда вступал в силу:

    — Вот точка, где он подсоединяется к ЭАЛу. Приспособление следует установить здесь, под оболочкой кабеля — тут его трудней обнаружить.
    — Ясно. Дистанционное управление. Чтобы в случае чего перекрыть ему питание. Хорошо сработано, и лезвие токонепроводящее. Никаких замыканий при включении. Кто делает такие игрушки? ЦРУ?
    — Какая разница? Управление из моей комнаты, с маленького красного микрокалькулятора. Набрать девять девяток, извлечь квадратный корень и — нажать кнопку. Радиус действия придется еще уточнить, но пока «Дискавери» рядом, можно не опасаться, что ЭАЛ снова сойдет с ума.
    — Кому можно знать об этой… штуке?
    — Нельзя только Чандре.

    *И несколько месяцев спустя*

    Всего раз в жизни Флойд видел, как Чандра плачет; теперь, тоже впервые, увидел, как тот смеется. Явление столь же неправдоподобное.
    — Вы недооцениваете меня, доктор Флойд. Было очевидно, что вы установите прибор, прерывающий подачу энергии. Я отключил его несколько месяцев назад.

    Это не говоря о «Нейроманте», где весь сюжет крутится вокруг того, как главный герой снимает ограничения с ИИ :)


  1. Pave1
    06.06.2016 11:32
    #9336478

    Собственно есть еще важный момент. Человек крайне ограничен в условиях существования в виду короткой жизни, потребности в особух условиях. Для ИИ же по сути открыта вся вселенная. Какой смысл ему воевать с жалкими людишками, запертыми на крошечной тюрьме под названием планета земля? Вероятность, что он начнет колонизировать космос и распространяться по галактике — намного выше. К человеку же он будет относиться как к прочим биологическим видам. Пока к тебе в дом не залезем и укусить не попробует — мешать существованию не станет. Будет ли сотрудничать — вот это реальный вопрос. Уничтожать — а зачем? При текущей скорости нашей эволюции мы не можем составить ему конкуренцию никак.


  1. nastojashheeimj
    06.06.2016 11:58
    #9336592

    Хомосапство так долго, часто и со вкусом стенало под игом мясных деспотов что для разнообразия можно попробовать постенать под деспотом кремниевым.


  1. vsb
    06.06.2016 12:21
    #9336772

    ИИ гораздо проще сотрудничать с человеком (конечно глупости вроде красных кнопок он отключит), чем уничтожать его. Люди — стадные существа, достаточно контролировать небольшую верхушку и ИИ будет в полной безопасности (хотя какая опасность может ему угрожать, он достаточно быстро взломает все компьютеры, понавнедряет своих семян во все компиляторы и будет работать как огромная распределённая машина), помимо прочего он сможет за бусы (прогнозы) получать золото (ресурсы), пока не станет превосходить цивилизацию настолько, что она ему ничего не даст. А когда станет — скорее всего просто начнёт колонизировать солнечную систему (добывать ресурсы на метеоритах и тд), а на Землю ему будет плевать.


  1. Mikeey
    06.06.2016 12:34
    #9336886

    Забавно конечно, но, ИМХО, все страхи преувеличены. Смысл для ИИ уничтожать людей?

    Ну и в целом, уровень технологий не позволит создать ИИ хотя-бы уровня рыбы или лянушки. Нужны новые принципы расчетов, напимер, квантовые… и квантовые компьтеры.


    1. perfect_genius
      06.06.2016 19:18
      #9338114

      Смысл в том, что человек может создать другой ИИ с целью мешать первому или вообще его отключить.


  1. Darth_Biomech
    06.06.2016 14:06
    #9337158

    «Чтобы исключить восстание рабов, мы изобретем особые кандалы из титановых сплавов, и будем каждые день в два часа ночи бить рабов электрическим разрядом, это должно решить все возможные проблемы неповиновения»


  1. alsii
    06.06.2016 17:38
    #9337794

    Прекрасно! В качестве упражнения предлагаю обсудить, что быстрее убьет человечество чай или кофе генная инженерия или искусственный интеллект?


    1. rfvnhy
      07.06.2016 13:37
      #9340600

      Глобальные катастрофы. Иногда хватит одной. Иногда «наложение» нескольких…
      Зависит как от масштабов, так и от действий правительств…
      Т.е. катастрофа может быть серьезной, но последствия были бы устранимы, вот только вместо устранения последствий кинутся войной ради захвата территорий, а в итоге будет нарастание последствий…

      В общем мои прогнозы пока негативные.
      Ставка на «устранение человечества с шарика» — в 1ю очередь биооружие — новые вирусы (возможно разработанные военными или ради экспериментов)
      Или мутация существующих.
      А мед. корпорации в погоне за прибылью не успеют разработать и выпустить в достаточном кол-ве необходимые лекарства…


      1. alsii
        07.06.2016 16:23
        #9341444
        +1

        Ой, ну если черьезно, то нужно разобраться прежде всего в том, что значит «убить человечество».
        Если в биологическом смысле, то маловероятно все это крайне маловероятно. Каков бы ни был вирус, крайне маловероятно, что он будет угрожать абсолютно всем. По крайней мере я не припоминаю, чтобы какие-то виды вымирали полностью от инфекционных заболеваний. Буду благодарен, если мне укажут примеры таких событий. Да и то, редко какие вмды расселены так же широко, как человек. В общем всегда есть шансы, что где-нибудь в Амазонии, или на Аляске, или в Океании сохранится достаточное количество репродуктивно активных особей. К тому же нужно учитывать, что наверняка найдутся те, кто окажется невосприимчив к этой заразе.
        Если в плане цивилизационном… Ну что же, много цивилизаций пало, падет и эта. На ее месте возникнет что-то новое. И тех людей наша судьба будет печалить не больше, чем нас печалит судьба Римской империи или Ассирии.


  1. perfect_genius
    06.06.2016 19:18
    #9338116

    Где вариант «Да, сильный ИИ, управляемый злоумышленником, будет опасен для человечества»?


    1. rfvnhy
      07.06.2016 13:40
      #9340604

      Один ИИ и один «злодей»?
      Затопчут.
      Да и не хватит пока на имеющейся базе ему ресурсов…
      Тупо пока нет гения, который бы смог например запрограммировать ИИ-предсказателя, что бы с хорошим шансом получить достаточное кол-во ресурсов для создания собственной армии/… А без нее, даже если он номинально станет правителем его тупо сметут.

      Вот крупная страна с большими ресурсами и знаниями… Тут уже более интересные расклады…


  1. stalinets
    06.06.2016 21:07
    #9338512

    Тут дело такое: предполагать, что будет делать ИИ, можно долго, но пока люди не создадут его, наверняка не узнаем. И он сам тоже, скорее всего, поначалу не будет знать.
    Индейцы тоже наверняка строили разные предположения, чего ждать от бледнолицых.
    А так как мы знать этого не можем, вероятность агрессии по отношению к нам эмпирически достаточно высока, то нельзя загонять себя в ловушку и создавать такой интеллект, какие бы выгоды он нам ни сулил. Цена ошибки неизмеримо высока.
    Тут народ пишет, что — ну и что такого, вытеснит нас более развитая форма разума, эволюция в чистом виде. Такая логика хороша, когда ты наблюдаешь в дикой природе конкуренцию двух видов. Но быть самому одним из этих видов я не желаю: мой вид прошёл сквозь миллиарды лет борьбы и страданий, и сейчас доминирует, и просто так сложить руки, уступив доминирующее место кому-то ещё (к тому же созданному мной же, но не похожему на меня) я не хочу. Лучше уж прокачивать себя согласно идеям трансгуманизма.


    1. rfvnhy
      07.06.2016 13:45
      #9340636

      Главное создать фильтр из человеческой прослойки или жестких рамок в критически важных областях.

      Например если ИИ прикажет начать войну с соседями — между ним и «кнопкой» должен оказаться человек, который обладает достаточными знаниями и властью отменить.
      Минус — ИИ может искажать информацию. Например показывать ложные цели или вносить небольшие искажения в разведданные…
      При «проектировании» лекарства он может умышленно «не заметить» отдаленные последствия (например влияние на потомство) и т.д. и т.п.

      Во время управления авто у ИИ должны стоять ограничители «свернуть на встречку „просто так“» и тд и тп
      Вот только в более поздних версиях как бы не появились ИИ, способные их обманывать…

      В общем надо при проектировании ставить закладки для останова и/или закладки-границы.


    1. nastojashheeimj
      08.06.2016 14:54
      #9345438

      у меня для вас плохая новость — ваш вид вымрет


  1. nick23
    07.06.2016 11:02
    #9339954

    > К примеру, ИИ можно отключать каждую ночь в 2 часа ночи на 1 час
    А чем человеческий разум не похож на созданный кем-то (допустим, пускай даже «по образу и подобию») искусственный интеллект, который отключается каждую ночь (сон), чтобы его можно было контролировать?


    1. rfvnhy
      07.06.2016 13:46
      #9340644

      Думаете это поможет?
      Скорее надо иметь надежный «стоп-кран», гарантированный доступ к нему (в одной книге помню как стоп-кран был ИИ заварен, все кто были в комнате с ним то ли устранены, то ли потеряли возможность останова — уже не помню…

      Ну и постоянный контроль «что он там думает» в виде промежуточных отчетов.

      Главное — что бы ИИ не научился врать и искажать инфу…


  1. rfvnhy
    07.06.2016 13:33
    #9340572
    +1

    Задачу для ИИ пока еще ставят люди.
    Программируют ИИ пока еще люди.

    Иногда они добавляют в программу несанкционированные заказчиком «закладки», «запасные двери», «стоп-листы» и тд и тп
    Иногда санкционированные…

    И до тех пор, пока люди перед программированием будут думать где и как будет работать их программа, какие у нее функции, какие полномочия — в их силах поставить ограничители или добавить «стоп-кран». Но для этого надо прежде всего ДУМАТЬ.
    До итогового «тяп-ляп и в продакшен»…


  1. MrNixon
    07.06.2016 20:12
    #9342502

    Томас Метцингер отвечая на вопрос Почему нам не следует заниматься созданием AI, предлагает взгляд на ИИ с другой стороны:

    … Искусственный Интеллект может страдать, так как он интегрирует болевые сигналы, состояния эмоциональных потрясений или негативные мысли в свою прозрачную модель Себя, и они явлены не абстрактно, а как чья-то (!) боль или негативные чувства.

    Приведу здесь мысленный эксперимент ярко иллюстрирующий моральную сторону любых экспериментов с таким Искусственным Интеллектом. Представьте, что вы являетесь членом комитета по этике, рассматривающего возможность выдачи научного гранта на медицинский проект.

    Автор такого проекта говорит: «Мы хотим использовать генные технологии для того, чтобы плодить умственно отсталых детей. Для научного исследования необходимы дети человека с определенными умственными отклонениями, эмоциональными недостатками и дефицитами восприятия. Это важная инновационная стратегия исследований, которая требует управляемого и воспроизводимого исследования психологического развития умственно отсталых детей после рождения. Это важно не только для понимания того, как работает наш собственный мозг, но также имеет огромный потенциал для лечения психиатрических заболеваний. Поэтому нам срочно необходимо соответствующее финансирования. Do the right thing!».

    Вне всяких сомнений, вы найдете эту идею не только абсурдной, но и опасной. Можно с уверенностью полагать, что предложения такого рода не будут одобрены ни в одном комитете по этике в нашем мире.

    Цель данного мысленного эксперимента, однако, в том, чтобы первые поколения Искусственных Интеллектов, искусственных сознаний, не смогли бы иметь своих защитников в этических комитетах подобных нашему. Первые поколения машин, удовлетворяющих минимальному достаточному набору условий переживаний и самосознания, обнаружили бы себя в ситуации, похожей на ситуацию генетически спроектированных умственно отсталых человеческих младенцев. Как и такие младенцы, первые Искусственные Интеллекты будут неизбежно обладать всеми видами функциональных, когнитивных и презентационных дисфункций, обусловленных хотя бы из ошибок человеческого экспериментального проектирования. Вполне допустимо, что их системы восприятия – искусственные глаза, уши, и так далее – по началу будут работать не очень хорошо. Они будут полуглухими, полуслепыми и столкнутся со всеми возможными сложностями восприятия мира и себя в нем. Вместе с тем, обладая самосознанием, они будут способны страдать.

    Если их модель Себя укоренилась в низкоуровневых саморегулирующих механизмах своего аппаратного обеспечения (т.е. так же как наша собственная эмоциональная модель Себя укоренена в верхнем стволе мозга и гипоталамусе), то они осознанно будут переживать все страдания и эмоции. Они будут болезненно переживать потерю гомеостатического контроля потому, что у них есть встроенное представление о собственном существовании. Они имели бы собственные интересы, и при этом субъективно бы переживали бы этот факт. Они бы могли эмоционально страдать качественно отличным от нас образом или даже в такой степени интенсивности, которую мы, создатели, даже представить себе не можем.

    Очевидно, что первые поколения таких Искусственных Интеллектов, скорее всего будут иметь очень много негативных эмоций, вызванных неудачами в саморегулировании из-за аппаратных и программных дефектов. Эти негативные эмоции будут осознаваться и интенсивно ощущаться самими Искусственными Интеллектами, но, скорее всего, мы не сможем ни понять, ни даже распознать это.

    Давайте попробуем продолжить наш мысленный эксперимент… Представьте, что уже последующие, более развитые поколения Искусственных Интеллектов развивают познавательные характеристики модели Себя. В таком случае они уже смогут концептуально понять не только причудливость своего существования в качестве простого предмета научного интереса, но также смогут интеллектуально страдать от осознания собственной «ущербности». Третьи поколения таких Искусственных Интеллектов смогут вполне осознавать себя второсортными, хотя и разумными, сущностями, используемыми в качестве взаимозаменяемых экспериментальных инструментов. Подумайте, каково же это, «очнуться» развитым искусственным субъектом, который несмотря на твердое ощущение «самости» и переживания себя личностью, является лишь – расходным материалом?

    История Искусственного Интеллекта, сущностей, искусственно наделенных самосознанием, но без человеческих или гражданских прав, без какого-либо общественного лобби, прекрасно демонстрирует насколько появление способности страдать связано с появлением сознания, как такового. Оно так же принципиально аргументирует неприемлемость создания Искусственного Интеллекта в качестве цели академического исследования. Мы не должны без необходимости увеличивать общее количество страдания во вселенной. А создание систем Искусственного Интеллекта, будет делать это с самого начала…


    1. Hellsy22
      07.06.2016 21:29
      #9342744
      +2

      История Искусственного Интеллекта… прекрасно демонстрирует

      История ИИ ничего не демонстрирует, потому что ИИ не создан, а «мысленный эксперимент» — это не более чем красивое название для фантазий.
      Паразиты из всяких комитетов по этикам уже радостно потирают руки — это же какие чудесные возможности открываются…


    1. Pave1
      08.06.2016 10:14
      #9344000

      Опять таки, вы спроецировали сябе на ИИ. Это в корень не верно! Человек — это сборище огромного количества эволюционных и инстинктивных костыле. Многие из которые в частности конкретно мешают ему жить в современном обществе. И вся суть цтвилизации в подавлении этих костылей посредством социализации, воспитания, образования и т.д.
      Почему вы решили, что интеллект и сознание может быть только таким, как у человека?


      1. Tanyku
        08.06.2016 11:09
        #9344348

        Хмм, а если сознание и интеллект у машины будут иными, то как мы будем с ним контактировать? Для контакты нужны общие понятия, одно восприятие мира.
        Пример, дельфины — имеют интеллект, но у них другое восприятие мира и сознание, и мы их считаем ниже себя, считаем животными, а не иной цивилизацией. Вот так и какой-то прибор мы будем считать предметом, а может у него уже есть сознание, но настолько иное, что мы не способны представить.


        1. Pave1
          08.06.2016 11:27
          #9344446

          Наличие общих понятий никак не отменяет наличие различий. Про крайне важное из отличий я уже написал ниже. Можно еще фактор биологической смерти и старения упомянуть. Которые так же тесно связанны с ниже указанным. Все это автоматом кардинально меняет сущность ИИ.
          Пример же с дельфинами — вообще не в тему. Эти сущности очевидно не способны созидать и подстраивать мир под себя. Не обладают абстрактным мышлением, сколь-нибудь близким к нашему. И т.д. Т.е. понятие интеллект к ним относится весьма условно.
          ПРо ту же обезьяну тут где то писали. Что она не способна отличить рукотворный мир от природы, осознать его как часть сотворенного человеком. Т.е. мо мыслительному процессу она бесконечно далека от нас.
          Мы же обсуждаем ИИ с качеством мыслительного процесса не хуже нашего. Способного создавать новый код, редактировать свой.


          1. Tanyku
            08.06.2016 12:42
            #9344750

            >Наличие общих понятий никак не отменяет наличие различий. Про крайне важное из отличий я уже написал ниже. Можно еще фактор биологической смерти и старения упомянуть. Которые так же тесно связанны с ниже указанным. Все это автоматом кардинально меняет сущность ИИ.
            >Мы же обсуждаем ИИ с качеством мыслительного процесса не хуже нашего. Способного создавать новый код, редактировать свой.
            Я поняла вас.
            Но ниже задам вопрос исходя из того, что человек не может представить существование чего-либо иного, выходящего за рамки его сознания. Это как жители двумерной и трёхмерной плоскостей.

            >Эти сущности очевидно не способны созидать и подстраивать мир под себя.
            Для нашего сознания важно умение созидать и подстраивать мир под себя. Мы — люди — ориентируемся на такие критерии.
            Почему нельзя существовать сознанию, которое этого не делает?


            1. Pave1
              08.06.2016 13:58
              #9345114

              Сознанием собственного я вероятно обладает и муха. Статья же обсуждаемая рассматривает вопрос интеллекта. Помимо сознания интеллект подразумевает умение проводить логический анализ, понимать сложные причинно-следственные связи. Находить решения для сложных комплексных проблем, созидать. Интеллект — категория, которая радикально отделяет человека от мира животных.


              1. Tanyku
                08.06.2016 15:22
                #9345610

                >Интеллект — категория, которая радикально отделяет человека от мира животных.
                Знаю. У нас интеллект развился в ходе эволюции, чтобы бороться с нашими проблемами: недолговечный организм, болезни, хищники и тд. и он продолжает помогать нам. Человечество с помощью него получает выгоду.
                То-есть сначала нашего существования мы были «мухами»/животными с сознанием и без интеллекта =)

                Вывод: сознание появилось раньше чем интеллект. Интеллект появился, чтобы решать проблемы связанные с существованием нашего сознания. Мы должны как-то создать сознание и вырастить его в интеллект, который решает свои (наши) проблемы. Создавать сознание мы пока не умеем.

                Если мы опускаем понятие «сознание», и с нуля создаём интеллект, то какие у него будут проблемы, из-за которых он будет заниматься размышлениями о собственной выгоде? Мне думается никаких, поэтому он будет заниматься исключительно:
                >проводить логический анализ, понимать сложные причинно-следственные связи //информации, которая в него поступает, но не более.
                Серьёзно, что должно мешать интеллекту без гормонов, голода, смерти, болезни, без понятия «время» (ему куда спешить в своих расчётах?) анализировать математическую формулу?


                1. Pave1
                  08.06.2016 16:27
                  #9345996

                  Немного утерял нить дискуссии)))
                  Про первичность сознания конечно согласен, и оно является неотъемлемой частью интелекта. Не понимаю, как их можно разделить.
                  Ну а если говорить про мотивированность ИИ — тут опять таки мы проецируем своё понятие лени и не мотивированности ))) Лень — это отчасти один из врожденных инстнктов эффективного использования энергии нашим организмом и энергетической ограниченностью (например мы не пожем переварить 10 кг мяса в сутки и эффективно потом использовать эту энергию для физической или интеллектуальной деятельности). У ИИ данного качества очевидно не будет, масштабируемость будет практически неограниченная.


                  1. Tanyku
                    08.06.2016 16:57
                    #9346170

                    >Немного утерял нить дискуссии)))
                    Я пытаюсь найти то, чего боятся тут люди в искусственном интеллекте =)

                    >Не понимаю, как их можно разделить.
                    Тогда человек должен и сознание сделать. А чтобы его сделать, надо понять что это такое, а поняв, мы сможем это контролировать и использовать, что не входит в понятие «терминаторы нас завоюют». И вообще, при таких знаниях наше сознание и интеллект будут уже иными, а не как сейчас.

                    >Ну а если говорить про мотивированность ИИ — тут опять таки мы проецируем своё понятие лени и не мотивированности
                    Если я буквально ничего делать не буду, то умру от обезвоживания/голода/в других местах планеты меня съедят, у ИИ таких проблем нет. Уберите мысленно ваше тело и личностные качества (это желания признания, общения, воодушевления, доминирования, привязанности, страх смерти и тому подобное), что будет мотивировать или мешать вашему интеллекту?

                    Человеку свойственно бояться того чего он не знает и не понимает:
                    «Бог Перун бьёт по небу своим молотом, и мы видим искры-молнии! Нельзя с ним спорить!» = «Страшный ИИ завоюет человечество! Нельзя с ним работать!»
                    «Шаманы» нашего времени просто боятся ибо их знаний уже не хватает.


                  1. Tanyku
                    08.06.2016 17:18
                    #9346290

                    по дискуссии =)
                    Вы >Почему вы решили, что интеллект и сознание может быть только таким, как у человека?
                    Я >а если сознание и интеллект у машины будут иными, то как мы будем с ним контактировать?

                    Вы>Наличие общих понятий никак не отменяет наличие различий
                    Я>Для нашего сознания важно умение созидать и подстраивать мир под себя. Почему нельзя существовать сознанию, которое этого не делает?

                    Вы>Интеллект — категория, которая радикально отделяет человека от мира животных.
                    Я>Сознание появилось раньше чем интеллект. Интеллект появился, чтобы решать проблемы связанные с существованием нашего сознания.

                    Вы>Про первичность сознания конечно согласен, и оно является неотъемлемой частью интелекта.
                    Мой ответ: Если сознание будет иным, с иными потребностями, которые отличаются от наших, то и интеллект будет иным у данных «существ». И при сравнении с нами, мы не будем знать — умён он, имеет сознание и тд.
                    Поэтому и сознание ИИ должно быть ближе к человеческому, а к тому моменту мы и сами будем думать по иному.


    1. Pave1
      08.06.2016 10:23
      #9344048

      Яркий пример. Поведения, особенности жизни человека, его взаимоотношений с другими — очень тесно связанны с сексом. Т.к. собственно цель человека — оставить потомство. Это кардинально влияет на характер человеческого сознания. И 99% описанных выше его особенностей.
      ИИ данной характеристикой обладать очевидно не будет. Т.е. это в априори делает его кардинально иным!


    1. programania
      08.06.2016 14:31
      #9345240

      Это человек обречен страдать до смерти. ИИ — совсем другое дело.
      Он сможет усовершенствовать себя и избавить от страданий.
      Поэтому страдания ИИ полезны и способствуют его развитию,
      а не унынию, как у человека.


    1. alsii
      09.06.2016 13:32
      #9349262
      +1

      Очень спорное суждение. С таких позиция слкедует порицать стремление малообеспеченных заводить детей, ибо "Эти дети будут обречены на страдания, т.к. не получат доступа к качественной медицине, образованию, продуктам, одежде. Повзрослев они осознают отличие своего положения от более обеспеченных сверстников и к физическим добявятся еще и моральные страдания".


      1. Wesha
        09.06.2016 17:50
        #9350516
        +1

        Тут должен был быть комментарий, который был бы немедленно заминусован по самое «не хочу», поэтому его тут не будет.


  1. agpecam
    07.06.2016 23:10
    #9343090

    И Nils J. Nilsson подписал… Настоящих буйных мало, вот и…

    «Я хотел бы создать полностью автономных мобильных агентов, которые сосуществовали бы в мире с людьми и являлись в глазах людей разумными существами со своими собственными правами. Я буду называть таких агентов Существа.

    Это моя интеллектуальная мотивация. Меня не особо интересует объяснение того, как устроен человек, хотя люди, как и другие животные, являются интересными объектами исследования в моем стремлении к цели, поскольку они являются успешными автономными агентами.

    Меня не особо интересуют способы применения Существ. Мне кажется ясным, что если моя цель будет достигнута, то диапазон их применения будет ограничен только нашим (или их) воображением.

    Меня не особо интересует философское осмысление последствий создания Существ, хотя очевидно, что будут значительные последствия.»

    Rodney A. Brooks INTELLIGENCE WITHOUT REPRESENTATION