Они собираются финансировать новую организацию, OpenAI, для создания самых совершенных видов искусственного интеллекта – а затем отдать результаты обществу.



Как будто область разработки ИИ испытывала недостаток в конкуренции – там уже обосновались такие гиганты, как Google, Apple, Facebook, Microsoft и даже автопроизводители вроде Toyota пытаются нанимать исследователей – она может поприветствовать нового игрока, да не простого. Это некоммерческая организация OpenAI, анонс которой прошёл в декабре 2015 года, и которая клянётся отдать все результаты работы в общественное достояние, включая патенты – всё, чтобы избежать антиутопии, в которой компьютеры превосходят в интеллекте людей.

Финансирование будет осуществляться группой технознаменитостей, включающей таких людей, как Илон Маск, Рейд Хоффман, Питер Тиль, Джессика Ливингстон и компанию Amazon Web Services. Вместе они планируют потратить миллиард долларов в долгосрочной перспективе. Руководить проектом будут Маск и Сэм Альтман, директор Y Combinator, чья исследовательская группа также внесёт свою лепту (и Альтман тоже поучаствует).

Неудивительно видеть в этом ряду Маска, известного критикой ИИ. Но как же Y Combinator? Инкубатор стартапов, открывшийся 10 лет назад в качестве летнего проекта, осуществивший финансирование шести стартапов. Инкубатор платил их основателям жалования и давал ценные советы по развитию бизнеса. С тех пор YC помог почти тысяче компаний, включая Dropbox, Airbnb и Stripe, а недавно открыл исследовательский отдел. Последние два года им управлял Альтман, чья компания Loopt стартовала в 2005 году, а в 2012 была продана за $43,2 миллиона. Хотя YC и Альтман основали OpenAI, а Альтман ещё и директор этого предприятия, оно всё же является независимым.

По сути, OpenAI – это исследовательская лаборатория, призванная противостоять крупным корпорациям, чтобы те не смогли заработать слишком больших прибылей, получив в своё распоряжение ИИ. Также проект будет работать против правительств, которые могут воспользоваться ИИ для усиления своей власти и притеснения граждан. Это звучит слишком идеалистично, но команда уже наняла несколько серьёзных людей, включая бывшего главного технолога Stripe, Грега Брокмана (он будет главным по технологии в OpenAI), и исследователя мирового класса Илью Сацкевера, работавшего в Google, и принадлежавшего к прославившейся группе молодых учёных, учившихся под началом пионера нейросетей Джеффа Хинтона в Торонто. Он будет директором исследовательского отдела. Другие вакансии заняли талантливые молодые люди, в резюме которых работы в научных проектах, Facebook AI и DeepMind. Предприятие может похвастаться и звёздными советниками, включая Алана Кэя, одного из пионеров информатики.

Лидеры проекта побеседовали со мной о нём и о его стремлениях. Сначала я беседовал с Альтманом, а потом ещё раз с ним в компании с Маском и Брокманом. Я скомбинировал их в одну статью.

Как всё началось?


Сэм Альтман: Мы запустили исследовательскую группу YC полтора месяца назад, но мысли об ИИ посещали меня уже давно, как и Илона. Если задуматься о самых важных для будущего всего мира вещах, то, по моему мнению, хороший ИИ будет среди самых важных из них. Поэтому мы и создаём OpenAI. Организация попытается разработать ИИ, дружественный к людям. А поскольку она некоммерческая, владеть им будет весь мир.

Илон Маск: Как вы знаете, я некоторое время опасался ИИ. И я много говорил с Сэмом и Рейдом [Хоффманом], Питером Тилем и другими. И мы подумали, «а нет ли способа удостовериться, или хотя бы увеличить вероятность того, что ИИ принесёт нам какие-то преимущества?». В результате разговоров мы решили, что организовать НКО будет неплохой идеей. И мы будем очень серьёзно концентрироваться на безопасности.

С философской точки зрения существует важный элемент: мы хотим большой распространённости ИИ. Существует два варианта мнений – нужно ли нам множество ИИ, или всего несколько ИИ? Мы считаем, что лучше много. И хорошо, если их можно будет представить как расширение воли человека.

Воли человека?


ИМ: ИИ как продолжение вас самих, то есть, чтобы человек жил в симбиозе с ИИ, вместо того, чтобы ИИ был неким центральным интеллектом какого-то типа. Как вы думаете о, допустим, приложениях в интернете – у вас есть электронная почта, соцсети, мобильные приложения. Они, по сути, делают вас сверхчеловеком, и вы не думаете о них как о чём-то отдельном, вы думаете о них, как о продолжении себя. Поэтому, в той степени, в которой мы можем вести ИИ в этом направлении, мы хотим это делать. И мы нашли много инженеров-единомышленников и исследователей в области ИИ, думающих так же.

СА: Мы считаем, что лучше, если ИИ будет развиваться в сторону повышения индивидуальных возможностей и улучшения людей, и будет доступен всем, а не будет единственной сущностью, в миллион раз более мощной, чем человек. Поскольку наша компания некоммерческая, мы сосредоточимся не на обогащении акционеров, но на том, что лучше для будущего человечества.

А разве Google не делится разработками с общественностью, как он только что сделал с машинным обучением?


СА: Они делятся многими разработками. Но с течением времени, когда мы всё ближе подбираемся к тому, чтобы превзойти человеческий интеллект, появляется вопрос, чем Google решит поделиться.

А ваш проект не превзойдёт человеческий интеллект?


СА: Я думаю, да, но это будет проект с открытым кодом, который сможет использовать, кто угодно, а не только, допустим, Google. Всё, что разработает группа, будет доступно всем. Если вы возьмёте эту работу и приспособите под свои нужды, вам не обязательно будет делиться результатами. Но всё, что мы делаем, будет доступно каждому.

А если я – доктор Зло, и использую это в своих целях? Разве вы не помогаете мне в этом?


ИМ: Это прекрасный вопрос, и мы об этом много спорили.

СА: На эту тему есть много мыслей. Так же, как люди защищают человечество от докторов Зло тем, что их много, а доктор один, так, мы думаем, будет работать и наша схема, в которой множество ИИ будут работать против редких злодеев. Эта схема лучше той, в которой есть один ИИ, более могущественный, чем всё остальное. Если одна эта могучая штука слетает с катушек, или ею завладевает доктор Зло, и ему нечего противопоставить – это будет большой проблемой.

Будете ли вы контролировать то, что вырастает из OpenAI?


СА: Мы хотим со временем построить систему контроля. Пока это будем только мы с Илоном. До разработки реального ИИ ещё очень далеко. Думаю, у нас будет достаточно времени на создание функции контроля.

ИМ: Я собираюсь примерно раз в неделю или две недели проводить некоторое время с командой пректа в офисе, узнавая об обновлениях, выражая своё мнение и разбираясь в том, как далеко продвинулся ИИ, и как близко мы подобрались к чему-то опасному. Лично я буду очень серьёзно заниматься безопасностью. Этим я очень обеспокоен. И если мы обнаружим какие-то рискованные моменты, мы обязательно это обнародуем.

Есть у вас примеры злого ИИ?


СА: Есть куча научной фантастики, до реализации которой ещё много лет – Терминатор и тому подобное. Я не волнуюсь о возникновении таких вещей в ближайшее время. А вот с какой проблемой придётся столкнуться – хотя это и не злой ИИ – так с это с повальной автоматизацией и исчезновением рабочих мест. Ещё один пример злого ИИ – это когда люди рассуждают об умных программах, взламывающих компьютеры лучше, чем люди. И это уже происходит.

Вы начинаете работу с какой-то готовой системы?


СА: Нет. Исследование начнётся как в любой лаборатории, и очень долго это будет выглядеть как лаборатория. Пока никто не знает, как это строить. У нас уже есть восемь исследователей, и ещё несколько присоединятся к проекту в течение нескольких месяцев. Пока что они будут работать в офисе YC, а по мере роста переедут в свой. Они будут играться с идеями и писать софт, чтобы понять, могут ли они развить текущее состояние искусства создания ИИ.

Будут ли участвовать в этом люди извне?


СА: Конечно. Одно из преимуществ открытой программы – лаборатории могут сотрудничать с кем угодно, поскольку они могут свободно делиться информацией. Очень сложно работать совместно с сотрудниками Google, так как у них есть куча ограничений по конфиденциальности.

Сэм, если OpenAI будет работать в офисе YC, будет ли у ваших стартапов доступ к результатам их работы?


СА: Если OpenAI разовьют в интересную технологию и все смогут использовать её бесплатно, это будет плюсом для любой технокомпании. Но не более того. Тем не менее, мы попросим наши стартапы предоставить столько информации, сколько они посчитают нужным, для OpenAI. И Илон тоже подумает, чем смогут поделиться Tesla и SpaceX.

А какой, например, будет информация, которой можно делиться?


СА: Много всего. К примеру, все данные с Reddit могут быть прекрасным набором для тренировки. Видео с тренировок робомобилей Tesla тоже будут очень ценны. Огромные объёмы данных очень важны. Люди умнеют, читая книги. Но человек умнеет, только прочитав книгу сам. А если одна из машин Tesla, например, что-нибудь узнает о новой ситуации, то все машины Tesla автоматически от этого выиграют.

ИМ: В общем, у нас нет большого количества конкретных планов, поскольку компания только зарождается. Она в состоянии эмбриона. Но у Tesla действительно очень много данных из реального мира, благодаря миллионам миль, накапливающихся каждый день с нашего автопарка. Возможно, у Tesla больше данных о реальном мире, чем у любой другой компании мира.



ИИ требует серьёзных вычислительных мощностей. Что у вас будет за инфраструктура?


СА: Мы кооперируемся с Amazon Web Services. Они предоставляют очень большие мощности проекту.

И проект получит миллиард?


ИМ: Можно сказать, что будет даже больше. Мы точные расценки не даём, но крупные поступления будут идти от всех перечисленных личностей.

За какое время?


СА: За время, требуемое на создание системы. Экономить мы будем, но проект, судя по всему, рассчитан на десятилетия, и потребует очень много людей и оборудования.

И прибыль вам не обязательна?


ИМ: Точно. Это инвестиция не в прибыли. Возможно, что в будущем появится выручка, точно так же, как некоммерческий Исследовательский институт в Стэнфорде её получает. В будущем может появиться выручка, но не будет прибылей, обогащающих совладельцев, не будет акций и прочего. Мы считаем, что так надо.

Илон, вы ранее уже вкладывались в ИИ-компанию DeepMind, насколько я понимаю, примерно по тем же причинам – чтобы следить за развитием ИИ. А затем их купил Google. Это вторая попытка?


ИМ: я вообще-то не инвестор в обычном смысле. Я не делаю инвестиций с целью получения финансовой прибыли. Я вкладываюсь в компании, которые я помогаю создавать, и могу помочь другу, или ради какой-то цели, в которую я верю, или из-за того, что меня волнует. Я не провожу диверсификацию за пределами моей компании в материальном смысле. Но мои «инвестиции» в DeepMind были сделаны ради лучшего понимании ИИ и надзора за ним, если хотите.

Вы будете соревноваться с лучшими учёными, которые могут пойти работать в DeepMind или Facebook или Microsoft?


СА: Найм пока идёт хорошо. Исследователей очень радует свобода, открытость и возможность делиться своей работой, которой нет в обычной производственной лаборатории. Мы собрали такую качественную начальную команду, что остальные будут присоединяться только ради совместной работы с ними. И ещё я думаю, что наша миссия и видение и структура очень нравятся людям.

Сколько исследователей вам понадобится? Сотни?


СА: Возможно.

Вернёмся к идее, что общее использование ИИ может избавить нас от отрицательных последствий. Нет ли риска, что делая его более доступным, вы увеличите потенциальную опасность?


СА: Хотел бы я подсчитать все те часы, что я провёл за спором об этом с Илоном и другими. И всё равно на 100% я не уверен. Нельзя ведь быть уверенным на 100%? Но попробуйте разные варианты развития. Безопасность через секретность в случае технологий редко срабатывала. Если она достанется кому-то одному, как решить, у кого – у Google, у американского правительства, у китайского правительства, у ИГИЛ [запрещённая в РФ организация – прим.перев.], или у кого? В мире есть много злодеев, но человечество процветает. А что случится, если один из них окажется в миллиард раз более могущественным, чем другой человек?

ИМ: Думаю, что лучшей защитой от неправильного использования ИИ будет вооружить им как можно больше людей. Если у всех есть возможности ИИ, тогда не будет такого небольшого набора людей, в распоряжении которых окажутся супер-способности.

Илон, вы директор в двух компаниях и заседаете в совете директоров третьей. Вроде бы у вас не так много свободного времени, чтобы посвящать его новому проекту.


ИМ: Это правда. Но безопасность ИИ слишком долго довлела над моим сознанием, и я думаю, что ради своего спокойствия пойду на сделку с самим собой.
Поделиться с друзьями
-->

Комментарии (71)


  1. Xandrmoro
    02.08.2016 15:10

    А какой смысл в ИИ, который не умнее людей?


    1. NeuroHunter
      02.08.2016 15:19
      +5

      Позволить ему контроллировать процессы, где полноценного человека много, а тупого алгоритма — мало.


    1. Roboserv
      02.08.2016 16:22
      +1

      а какой смысл в калькуляторах (типа ПК), если люди могут сами считать?


      1. sashamori
        02.08.2016 19:50
        +3

        — Мне нужен калькулятор.
        — Бендер, ты сам калькулятор.
        — Мне нужен хороший калькулятор!

        © Бендер, Футурама


    1. Kiano
      02.08.2016 17:07

      ИИ не устаёт, как минимум, не ленится.
      Может быть лучше обычного алгоритма


    1. Spawn3D
      02.08.2016 17:08

      Чтобы помогать людям, но не превратиться в Skynet.


    1. fivehouse
      02.08.2016 17:56

      Чтобы немножко подучиться и стать значительно умнее людей. Умнее можно стать множеством способов.


    1. sasha1024
      02.08.2016 21:24

      Что Вы подразумемаете под «ИИ умнее кого-то»?

      По-моему, это выражение не имеет смысла. Я где-то уже когда-то расписывал, что, по-моему, под «ИИ» подразумевают три соверненно разных понятия. Но ни к одному из них, по-моему, «умнее» не применимо.

      1. Иногда ИИ (AI) называют любой алгоритм, призванный имитировать/заменить человека. Например, даже тупейший алгоритм управления танчиками в 2D-игрухе, где никакими эвристиками и не пахнет, а юниты постоянно стреляют в воздух с одним и тем же интервалом и при столкновении со стеной/друг другом просто разворачиваются на 180°, в меню настроек игры может называться «controlled by AI» (в противоположность «controlled by human»). Хреновое значение (по сути, дискредитация понятия «ИИ»), но иногда используется. Говорить об этом не считаю нужным.
      2. В научной фантастике ИИ часто наделяют способностью не только выполнять некоторые виды работ вместо человека, но и осознавать себя. В реальности, по-видимому, невозможно (уж в ближайшей перспективе так точно). Т.е. можно говорить о том, умнее ли в такой-то книге такой-то персонаж-робот такого-то персонажа-человека (но к реальности это неприменимо).
      3. Промежуточное понятие. ИИ, как достаточно сложные (а не просто любые) алгоритмы (распознавание речи, построение информационной модели, генерация связного текста, построение 3D-модели помещения и т.д.), позволяющие заменять человека при выполнении тех или иных работ. Именно это — ИИ в реальности, активно развивается и, надеюсь, будет развиваться дальше. Слово «умнее» не применимо, потому что это замена человека лишь в каком-то одном аспекте (можно говорить о том, надёжнее ли оно считает купюры, точнее ли оно строит 3D-модель и быстрее ли оно решает какие-то виды расчётов — но не умнее ли оно), о «сознании» тут речи нет. Даже если мы заставим его строить какую-то модель реальности и самого себя в своей базе данных (вопрос — зачем?) и, таким образом, в сочетании с другими алгоритмами вроде распознавания и генерации текста на человеческом языке выглядеть подобно живому существу — сфера его компетенции всё равно будет сильно отличаться от человеческой (даже про разных людей нереально сказать «кто умнее»: например, талантливый поэт или дотошный бухгалтер).


      Опасность тут ИМХО в том, что когда кто-то слишком сильно опережает других в разработке ИИ, то он может получить слишком большое экономическое преимущество (в лучшем случае; ещё есть варианты похуже, например, военное). Поэтому слишком опасно неравномерное развитие ИИ (и других сложных технологий, например, ядерной энергетики, но сейчас на грани прорыва ИИ) в разных частях земного шара — и Маск правильно делает, что пытается это как-то выровнять за счёт опережения других и выкладывания знаний в public domain. Но, конечно, вопрос ещё, что из этого выйдёт (насколько эта организация будет эффективна, не распадётся ли/обанкротится и т.д.).


    1. saboteur_kiev
      03.08.2016 01:23

      ИИ не обязан быть умнее людей. Он должен быть достаточно умным, чтобы ему можно было поручать задачи более человеческим языком и не учить «ходить»


  1. Bot_0003
    02.08.2016 15:19
    +4

    Не можешь остановить, возглавь! Все правильно Маск делает.


  1. perfect_genius
    02.08.2016 16:03
    -1

    Все наработки по ядерному оружие тоже надо бы выложить в открытый доступ, чтобы не допустить ядерной зимы, хе-хе.


    1. kaa_weise
      02.08.2016 21:24
      +1

      Ну, общие принципы-то и так в общем доступе. И даже некоторые чертежи, ЕМНИП. С материалами беда )


      1. perfect_genius
        02.08.2016 21:38
        -1

        Тогда ИИ надо делать только из материалов, с которыми «беда»: )


        1. Vlad_Hm
          03.08.2016 11:19

          А это как раз невозможно, исходя из существующих предпосылок. В долгосрочной перспективе.


  1. perfect_genius
    02.08.2016 16:10
    +1

    Нужно поскорее начать делать ИИ, мешающий делать свои ИИ другим. И захватить потом мир, конечно же.


    1. mat300
      03.08.2016 05:46
      +1

      А так оно и будет. Первый захватит всё. Все ресурсы инета и вообще всего до чего доберется. А доберется почти до всего, где есть процы и даже дохлые контроллеры. И после этого никакому другому ИИ места в этом мире уже не будет.
      Кто первый встал — того и тапки.

      Там и полное отключение электричества на планете не поможет (что тоже чистая утопия), т.к. все равно где-то что-то да останется. К тому же ИИ может успеть сделать другой носитель, так просто не убиваемый, даже ЭМИ и прямым подрывом.

      Так что пора Илону готовиться к кирдыку. Они ж собираются строгать ИИ десятки лет, а у кого-то могут уйти на это всего десятки месяцев. :)


      1. sasha1024
        03.08.2016 12:24
        +1

        Да ну…

        Вы (видимо, после НФ) рассматриваете ИИ, как что-то всемогущественное.

        Реальный ИИ будет иметь ряд проблем — как алгоритмических (отнюдь не все задачи он будет делать хорошо, и отнюдь не все задачи он будет делать лучше людей), так и ресурсных (он крутится на какой-то аппаратной базе).

        Вот Вы — естественный интеллект. Вы можете «захватить все ресурсы Интернета»? То, что Вы — интеллект, не означает наличия у Вас умения взламывать любую систему. (Хотя теоретически, конечно, возможно, можно сделать ИИ с лучшими способностями, чем у человека — но его ещё нужно сделать, именно такой ИИ, а не просто.)


        1. mihaild
          04.08.2016 01:24

          Достаточно сильный ИИ (умнее тех людей, которые его создали) автоматически становится почти всемогущественым. Т.к. раз уж он умнее создателей — то он может и разрабатывать ИИ лучше, чем они. А следующая версия это будет делать еще лучше. И т.д.


          1. sasha1024
            04.08.2016 10:21

            Что значит умнее?

            Если он в чём-то лучше создателей (а безусловно он будет в чём-то лучше, иначе нету смысла создавать), не означает, что он будет лучше них делать другие ИИ (и вообще будет уметь делать ИИ).


            1. mihaild
              04.08.2016 14:42

              Рассматривается именно ИИ, который в том числе умеет делать ИИ (т.к. нам делать ИИ нужно, то эту задачу тоже хотелось бы автоматизировать, если получится).


              1. sasha1024
                04.08.2016 15:26

                1. Задача «Сделать ИИ чуть-чуть лучше» для ИИ по сути эквивалентна «чуть-чуть улучшить себя» и «скопировать». Однако если ИИ может улучшать себя — это не значит, что он будет улучшаться бесконечно. Кроме того, что ряд может банально иметь предел сходимости, основной вопрос в том, в каких аспектах оно сможет улучшать себя. Т.е. условно говоря, человек, который учится запоминать всё больше и больше знаков числа Тау или строить всё более и более высокие карточные домики, вряд ли захватит мир.
                2. Если же речь о кардинальных, качественных улучшениях, то это уже другое. «Улучшить себя во всех аспектах» — это уже эквивалентно «спроектировать новый ИИ с нуля». ИИ научатся такому только тогда, когда мы научимся их делать действительно хорошо (а не просто делать). Потому что научить кого-то чему-то можно только хорошо умея это самому. Вероятно, если мы когда-то научимся такое делать (ИИ, проектирующие ИИ) — то мы настолько разовьёмся в разработке ИИ, что сможем предугадывать их шаги намного вперёд и видеть все опасности подобного рода.


                1. mat300
                  10.08.2016 05:18

                  Вы, батенька, большой оптимист.
                  Я, однако, — нет.

                  Кто прав — скоро увидим. Не думаю, что ждать придется больше нескольких лет.


                  1. sasha1024
                    10.08.2016 12:35

                    Это Вы — большой оптимист.


  1. fivehouse
    02.08.2016 16:54

    Что, снова будут делать ИИ? Ох. ИИ бесконечно далек и от сегодняшнего интернета, и от электромобилей, и от космических ракет, и от полетов на Марс, и от солнечных панелей, и от Dropbox-а, и от Интернет торговли, и от всех стартапов вместе взятых, и вообще от текущего понимания инженерии во всех ее проявлениях. Пусть пробуют, как они заявляют. Природа пробовала миллиарды лет триллионами триллионов существ каждое мгновение в этих миллиардах лет. Без каких либо гарантий.


    1. oneiroid
      02.08.2016 17:03
      +3

      Природа плыла по течению миллиарды лет без рефакторинга. результат на настоящий момент — триллионы страдающих уродцев, плохо приспособленных к окружающей среде и как следствие — заставляющих друг друга страдать. Пусть уж лучше они еще раз попробуют.


      1. fivehouse
        02.08.2016 17:13

        Многочисленные рефакторинги постоянны. Самого разного масштаба, среди разных существ и миров. Начиная от метеоритов, климатов и заканчивая многочисленными эволюционными и средовыми катастрофами. Чего только кислородное отравление стоило. «Уродцы» страдают ровно для того и на столько, чтобы правильно выполнить свою эволюционную задачу. «Уродцы» приспособлены к окружающей среде ровно для того и на столько, чтобы правильно выполнить свою эволюционную задачу. «Уродцы» заставляют страдать друг друга ровно для того и на столько, чтобы правильно выполнить свою эволюционную задачу. Просто эту задачу вы видимо не совсем понимаете.


        1. oneiroid
          02.08.2016 18:05
          +1

          То, что вы перечисли не рефакторинги. самые стремные куски старого кода не удаляются. рефакторинги делают чтобы предотвратить катастрофу, а не пост-фактум.
          а по поводу эволюционной задачи — ее нет, природа не смотрит в будущее и как следствие — не ставит задач. у эволюции нету «для» и «чтобы», тока «почему» )))


          1. simki
            02.08.2016 23:10

            По моему там нет ни намека на рефакторинг. Просто в ДНК изначально встроен механизм случайных изменений, мелких мутаций. В итоге эволюция идет методом перебора:

            — добавим ка лошади пятую ногу, упс померла.

            — добавим лошади рога, ого, нормально, снижение скорости, больше кальция при росте нужно, но защита от хищников мелких.

            — добавим курице огромный хвост, как ни странно, но прокатило, самки среагировали на более яркого конкурента.

            — добавим обезьянке нейронов в лобной коре мозга, стала чаще падать, медленней бегать, больше кушать, замедлилась реакция, но появилось абстрактное мышление, палку в руках держит даже зачем-то…


          1. fivehouse
            03.08.2016 09:28

            самые стремные куски старого кода не удаляются
            А как и кто решил, что те или иные куски кода «стремные»? Смертельные изменения сразу приводят к смерти, это понятно. Но есть мириады не видимых и не понятных изменений. В том числе и в частях, которые как бы ни к чему (с высоты нашего понимания) не приводят, но наследуются. А рефакторинг в полном понимании этого слова это для писателей. А тут писателей нет. А еще, то что вчера было стремным, сегодня может стать очень полезным.


        1. lavmax
          02.08.2016 21:40

          Просто эту задачу вы видимо не совсем понимаете.

          Просветите пожалуйста.


          1. Vinchi
            03.08.2016 02:43
            +1

            Он ее не знает, как и все остальные. Ибо ее нет. Цель — чисто человеческое понятие, в природе не встречающееся.


          1. fivehouse
            03.08.2016 09:41

            Пожалуйста, главная задача — продолжить правильную эволюцию вида с точки зрения накопленных правил в генах и не только в генах. Именно накопленные правила/требования для вида и задают задачу и для организма и для вида в целом. Механически это выглядит так: организм наследует правила от родителей (как в ДНК, так и навыки и культуру в самом широком смысле слова культура), произвольно или нет меняет эти правила и передает все это далее потомкам. Вернее, организм все это пытается сделать. Смысла существования организма не выполняющего эту эволюционную задачу для эволюции просто нет. Для таких организмов припасается множество сюрпризов.


    1. simki
      02.08.2016 17:38
      +5

      У природы миллиард лет один и тот же органический материал, который 350 млн. лет назад кое-как превратили в чахлый нейрон, со временем реакции в миллисекунды, скоростью передачи данных по синапсам 0.1 км/с против 300 000 у электронных устройств. Еще удивительно, что такой органический хлам кое-как, вопреки всем своим ограничениям может сработать как бутлоадер для ИИ. Думаю ИИ удивится, изучая мозг человека, как люди могли этим думать.


      1. fivehouse
        02.08.2016 17:50
        -1

        Как то было тут https://geektimes.ru/post/108483/:

        Расчёт такой:
        1,25E14 синапсов в мозге
        в каждом синапсе 1000 молекулярных переключателей
        получается 1,25E17 молекулярных переключателей в мозге
        с 2005 года в микропроцессорах примерно 1E8 транзисторов (с 2010 года начали делать 1E9)
        предположим, что в мире 1E9 компьютеров
        получается, что во всех компьютерах на Земле 1E17 транзисторов
        1,25E17 > 1E17, ч.т.д.
        Получается, что один человеческий мозг по сложности примерно равен всей мировой ИТ-инфраструктуре.


        1. Timur_n
          02.08.2016 21:24
          +1

          Подумайте — где кроется проблема? Она не в вычислительных возможностях, вернее не только в них. Проблема случится, когда ИИ себя осознает как личность. Или программа станет ИИ когда осознает себя (кому как больше нравиться). На этом этапе появятся эмоции… излишне эмоциональный и обидчивый ИИ — это уже проблема…


          1. herr_kaizer
            02.08.2016 21:31
            +2

            Эмоции порождаются не сознанием.


            1. Vinchi
              03.08.2016 02:47

              Эмоции вполне понятная с точки зрения физиологии штука и очень даже моделируема на компьютере. А насчет сознания и самосознания — а нафига и вообще что это такое? Понятие это не физиологическое, скорее философское. Когда человек говорит «я» — очень часто он ошибается, да и само «я» вобщем-то просто иллюзия.


              1. vivlav
                03.08.2016 10:34

                «Я» это некая уникальность, до нее были МЫ: мы племя, мы мужчины, мы охотники, мы отцы, мы ..., на пересечении всех мы и родилось «я», «я» как личность (понятие действительно философское). Для ИИ такое «я» не может существовать — его можно очень просто скопировать, я и будет 2 одинаковых «я», и отсутствие уникальности.


        1. simki
          02.08.2016 22:50
          +1

          Это «романтический» подсчет в сторону преувеличения мощности мозга, но расчет нечестный, исходя из гипотезы что каждая молекула работает как логический элемент, но это не так.

          Проверьте сами, умножьте в уме 348*5555? Для электронного устройства это сотня логических элементов, ответ будет готов через 8 наносекунд, по наносекунде на действие. А для человека?

          Так же пример приложение Prisma, которое работает на том, в чем силен человек, распознавание лиц. Мозг человека на этом просто помешан и отдает распознаванию лиц огромные вычислительные мощности (иногда даже в кляксах и шуме находит лица), так как это основа социализации. Но предел мозга 1000 лиц. У Prisma миллиард лиц. И находит быстрее, человек может пол дня ждать отклика из глубин долговременной памяти (типичная мысль: озарило, это же одноклассник, точно же знал что где-то видел это лицо).

          Я был бы искренне рад разделять миф о мощности мозга, но это тормозной органический хлам. Просто чудо, что эволюции потребовалась развитая кора, а именно мелкий участок лобной доли коры мозга, человек додумался до палки кидалки, палки убивалки и далее понеслось в нужном направлении. Не смотря на голод и холод (мозг при весе около 1 кг жрет энергию в огромном количестве, около 10-20% всего организма, повышает центр тяжести организма и снижает живучесть из-за хрупкости), несмотря на столь тяжелый «мозговой балласт» эволюция смогла удержать курс развития в нужном направлении почти 100 тыс. лет.

          Молекулярному переключателю до логического элемента, как пешком до луны. Я бы считал наоборот: 10 000 синапсов-нейронов в лучшем случае это один логический элемент. Доказательство тот же человек чиновник, что недавно упоминался в статье, у которого деградировало 90% тканей мозга, оставшиеся нейроны перехватили управление на себя. Система избыточна, из-за чахлости нейронов, которые отмирают один за другим, приходится нейроны дублировать многократно, возможено важные функции 1000-кратно.

          По времени уточнил, время реакции 2 мс (ядро процессора за это время обрабатывает 2 млн. инструкций), но это пол беды, после реакции нейрон «отмирает» на 200 мс! Как с таким слабым логическим элементом можно хоть как-то решать проблемы в реальном времени? Только дублируя их тысячекратно. Далее структура нейронной сети мозга в основном предопределена генетиечески и принципиально не изменяюется, меняются связи между нейронами, причем весьма ограниченно, случайным образом и далеко не оптимально.

          … Под воздействием стимулирующих сигналов от других нейронов мембрана аксона динамически изменяет свою проводимость. Это происходит, когда суммарный внутренний потенциал превышает пороговое значение масштаба -50 мв. Мембрана на короткое время, сотавляющее около 2 миллисекунд, изменяет свою полярность (деполяризуется) и достигает потенциала действияоколо +40 мв. На микроуровне это объясняется кратковременным повышением проницаемости мембраны для ионов Na+и активным поступлением их в аксон. В дальнейшем, по мере выхода ионов калия, положительный заряд с внутренней стороны мембраны меняется на отрицательный, и наступает так называемыйпериод рефрактерности, длящийся около 200 мс. В течении этого времени нейрон является полностью пассивным, практически неизменно сохраняя потенциал внутри аксона на уровне около -70 мв.

          Изменчивость на уровне сети связана со спецификой нейронов. Нервная ткань практически лишена характерной для других типов тканей способности к регенерации путем деления клеток. Однако нейроны демонстрируют способность к формированию новых отростков и новых синаптических контактов. Ряд экспериментов с преднамеренным повреждением нервных путей указывает, что развитие нейронных ответвлений сопровождается конкуренцией за обладание синаптическими участками. Это свойство в целом обеспечивает устойчивость функционирования нейронный сетей при относительной ненадежности их отдельных компонент — нейронов.

          Специфическая изменчивость нейронных сетей и свойств отдельных нейронов лежит в основе их способности к обучению — адаптации к условиям функционирования — при неизменности в целом их морфологической структуры. Следует заметить, однако, что рассмотрение изменчивости и обучаемости малых групп нейронов не позволяет в целом ответить на вопросы об обучаемости на уровне высших форм психической деятельности, связанных с интеллектом, абстрактным мышлением, речью.


          Получается, что один человеческий мозг по сложности примерно равен всей мировой ИТ-инфраструктуре.


          Мозгу человека в лучшем случае бы удержать 8-байтовый ключ в голове (вместо наклеек на мониторе), а не соревноваться с электронными устройствами.

          По энергетической эффективности мозг впечатляет, например птицы за сотни метров видят мелкие детали, например когда семечками голубей кормишь — реакция мгновенная. Это распознование образов, зрение, анализ обстановки, при этом мозг голубя всего 1 грамм, против 1500 у человека. Но такие фокусы программные нейросети делают не хуже (правда весит оборудование от 10 кг и потребляет в миллион раз больше, но и универсальней, мозг же специализирован от рождения). Зрение у современных сенсоров и оптики лучше, но опять же габариты выше на порядки (хотя зрение глаза четкое только по центру, по краям всё смазанно и сбоку вообще слепое пятно что мозг замазывает программно).

          Вот пример работы нейронных сетей, раскраска черно-белых фоток

          работает мгновенно, бесплатно, по мне так и не хуже человека на моих примерах. Всё крутится на некотором сервере, результат быстрее, чем визуализация человеком даже мысленно, сервер по сути мощнее, опытнее и точнее отдела мозга отвечающего за визуализацию. Просто еще один пример, что обычный процессор со специфическим ПО вполне выполняет работу мозга, мозг ни как не мощнее всей ИТ-инфраструктуре, и не мощнее даже процессора (тем более видеокарты).

          Постепенно совершенствуют программно-аппаратные нейросети. В противовес мифу о том что используется 1% от возможностей мозга, думаю используется 1% от возможностей компьютеров, просто не создано ПО реализующее сильный ИИ, нет понимания как над слабыми нейросетями надстроить абстрактный высший слой и обучить это всё для полезной работы.


          1. Aleks_ja
            03.08.2016 00:26

            Если бы всё было так просто, уже бы давно появился настоящий ии.

            Моя дочка в пол года уже владела навыками, недоступными любому существующему супер компьютеру в мире.


            1. simki
              03.08.2016 20:35

              Вообще-то человек с момента зачатия работает по программе, которая отлаживалась более миллиарда лет. Структура мозга хранится в ДНК, далее просто связи укрепляются в ходе игр и естественного развития.

              ИИ отлаживается на интервале времени в 100 млн. раз меньше.

              Компьютер с момента появления так-же обладал навыками недоступными для мозга человека. И постоянно теснит человека, осваивая новые навыки и работая уже не с цифровыми данными, а абстрактными.


        1. Am0ralist
          03.08.2016 00:26

          ну здесь же пробегала мысль о человеке, который жил без большей части мозга)))


      1. herr_kaizer
        02.08.2016 19:01

        Этот «органический хлам» запитывается от двух тарелок каши и полутора литра воды в день.


        1. simki
          02.08.2016 23:11

          Причем мозгу перепадает десятая часть, остальное идет во вспомогательные системы.


  1. wormball
    02.08.2016 17:41

    СР! УВЧ!


  1. naryl
    02.08.2016 18:44
    +1

    Что такое тирания компьютеров, и какое отношение эта статья имеет к ней, кроме заголовка?


  1. herr_kaizer
    02.08.2016 18:55

    «А вот с какой проблемой придётся столкнуться – хотя это и не злой ИИ – так с это с повальной автоматизацией и исчезновением рабочих мест»

    Почему это проблема и как OpenAI её решит?


  1. RedSnowman
    02.08.2016 22:10

    Прикинул:
    Появляется сильный ИИ, смотрит в прошлое, узнает, что лишь из-за ошибок, глупости и нерасторопности этих обезьянок он смог появиться. Какая мысль будет первой у такого существа? EXTERMINATE!


    1. Bot_0003
      03.08.2016 01:08
      +2

      Мы же не обижаемся на наших доисторических предков, за то что они долго палками в земле колупались. :)


      1. Vinchi
        03.08.2016 02:53

        Некоторые еще колупаются и отношение к ним скорее как к животным в заповеднике. Те что поопасней и начинают создавать проблемы — просто накрывают ковровой бомбардировкой.


      1. Pakos
        03.08.2016 11:12

        Мы — нет, а некоторые настолько обижены, что предпочли фантазировать о происхождении из куска глины или путём саммонинга.


    1. Ra-Jah
      03.08.2016 08:49

      Появляется сильный ИИ, смотрит в прошлое, узнает, что лишь из-за ошибок, глупости и нерасторопности этих обезьянок он смог появиться.

      Начинает клепать нерасторопные, глупые, ошибающиеся ИИ.


  1. mihailfilatov
    03.08.2016 00:54
    +1

    >Как Илон Маск и Y Combinator планируют остановить тиранию компьютеров

    убивший дракона сам становится драконом


    1. Vlad_Hm
      03.08.2016 11:27
      +1

      Как раз в этом проекте они не собираются никого убивать…
      Они собираются дать возможность растить этого «дракона» сообща, контролируя сообща, и получая результирующие выгоды/опасности также — сообща.
      Проект заключается в устранении возможности монополизации «дракона». Это, конечно, несёт новые опасности, но потенциально устраняет наиболее опасные. По-крайней мере, они на это надеются.


  1. alex3535
    03.08.2016 10:35
    +1

    Я смотрю как годовалый племянник осознал кнопку на смартфоне, после этого он в тот же день пошел и нажал все кнопки на стиралке, плите, пульте, везде где есть эти кнопки. Но он четко определил что это кнопка, она нажимается, после будут какие-либо эффекты. По виду все кнопки очень отличаются, нету явных признаков.
    Думаю ИИ еще как пешком до луны до гибкости и креативности человеческого мозга. Узкие задачи-да, тут ИИ справляется отлично. Но там где нужно принимать решения без опоры на похожие прошлые ситуации — тут ИИ еще долго не приделах.
    Взять, к примеру, реакцию ИИ на критическую дорожную читуацию- сбить столб или в кювет лететь — по идее идеальный ИИ должен от модели к модели принять одинаковое наиболее рациональное решение. Взять человека- решение зависит от индивидуума- характера, реакции, способностей. Эта неопределенность и определяет возможность дальнейшего развития и изменения популяции.


  1. AlexJRa
    03.08.2016 20:21

    Создаем могущественную машину по своему образу и подобию? Так мы боимся не злого ИИ, мы боимся самих себя!


  1. Favorite101
    04.08.2016 00:28

    Vinchi 3 августа 2016 в 02:43
    «Цель — чисто человеческое понятие, в природе не встречающееся».
    fivehouse 3 августа 2016 в 09:41
    «Пожалуйста, главная задача — продолжить правильную эволюцию вида с точки зрения накопленных правил в генах и не только в генах. Именно накопленные правила/требования для вида и задают задачу и для организма и для вида в целом».

    Анализ всего того, что «делала» природа за всю свою историю (~ 14 млрд лет) приводит к мысли, что цель — сохранение. Да, понятие, действительно, человеческое, покольку только человек и умеет обобщать конкретные факты до абстрактных категорий.
    К тому, что «цель — сохранение» можно прийти, если последовательно задавать вопрос: Зачем (почему, с какой целью)? и последовательно отвечать на эти вопросы. Когда доходим до ответа «цель — сохранение», то следующий вопрос задать не удается… Тогда единственный выход — результат «цель — сохранение» принять за аксиому.

    Теперь можно перейти к интеллекту — естественному и искуссственному… Сразу возникает противоречие: интеллект человека развился именно на основе стремления (долгое время — неосознанного, сегодня — осознанного) ко всё более гарантированному выживанию (это хорошо), но достигнутый уровень интеллекта грозит уничтожением (невыживанием) человечества (это плохо).

    Это же самое противоречие возникает и при создании ИИ: чтобы он стал действительно интеллектом, он должен уметь решить любую задачу (сюда входит и задача гарантированного выживания) — это не просто хорошо, это обязательно, но тогда такая мощь искусственного интеллекта становится опасной. Особенно, если в его нише существования есть конкурент в борьбе за ресурсы и с той же целью — выжить.

    И.Маск со товарищи хотят ИИ контролировать. История показывает, что сразу понадобится надзор над контролем, а за надзором — наднадзор, и т.д. А на самом деле нужно разрешать сформулированное противоречие.


    1. kaa_weise
      04.08.2016 04:40

      если последовательно задавать вопрос: Зачем (почему, с какой целью)?


      А зачем задавать вопрос «зачем»? ИМХО, мысль о том, что всё вокруг «зачем-то» альтернативна «великому замыслу Создателя», только без создателя, но с всемогущей Природой, у которой есть какие-то чувства, мысли, сознания… Это вроде ещё научно не обоснованно =)

      Тут, скорее, вопросы «как» и «почему». И на эти вопрос учёные отвечают с достаточной точностью, хотя, конечно, неисследованного ещё очень много.


      1. Favorite101
        04.08.2016 08:53

        ОК, забудем про «зачем?».
        А можете привести примеры достаточно точных ответов ученых на вопросы «как?» и «почему?». Только ответы желательно связать в непрерывную цепочку…



  1. dmalkr
    04.08.2016 12:15

    А почему бы этот миллиард долларов не раздать институтам, исследоватльским центрам и т.д., которые уже занимаются этой проблемой? Опять же, результаты будут опубликованы почти сразу, и не надо будет потом клясться, что, мол, отдадим всё людям.


    1. fivehouse
      04.08.2016 14:42

      Скорее всего потому, что требуемое слишком далеко от того, что сделано.


      1. dmalkr
        05.08.2016 06:12

        Наверное, потому мало сделано, что учёным не так уж много платят? Миллиард в виде грантов здорово бы подстегнул развитие.


        1. fivehouse
          05.08.2016 14:37

          Наука бывает очень разной. А тут нужен конкретный практический результат в конкретный срок. А даже приблизительных заделов, простите, не видно. И понимания не видно.


          1. dmalkr
            05.08.2016 16:21

            Напоминает поиск термояда за два года, по указанию Сталина. Тогда тоже приблизительных заделов было не видно, и сроки весьма жёсткие.

            Ну что ж, посмотрим, что сможет этот миллиард вне обычной науки, какие будут созданы хотя бы заделы.


            1. fivehouse
              08.08.2016 09:22

              Будем честны. Общая схема термояда была понятна давно. До конкретных реакций. Американцы тоже что-то такое делали. Задача была в конкретном инженерном устройстве. А с ИИ не видно элементарного понимания, что можно считать интеллектом, что нельзя. И почему. Понятно, что нам не нужен в машине интеллект обезьяны/собаки/таракана, а нужен интеллект человека. Но чем конктретно одно отличается от другого (и почему так получается), никто не демонстрирует такого понимания.


              1. simki
                09.08.2016 01:24

                Вообще-то «интеллект» машины настолько отличается от нашего, что он нужен в любой форме, вот это самое интересное. Нужен даже интеллект таракана, в цифровой форме это уровень беспилотных летающих аппаратов например. Какие-то специфические аналитические системы. Интеллект собаки уже позволит создать совершенную систему доступа, чужой не пройдет, анализировать круглосуточно тысячи городских камер, наблюдать за подозрительными.
                Интеллект человека и выше уже страшно, слишком много вопросов он породит.


                1. fivehouse
                  09.08.2016 10:39

                  Нужен даже интеллект таракана, в цифровой форме это уровень беспилотных летающих аппаратов например.
                  Объяснять интеллекту таракана почему он должен ползти/лететь сюда-то, а не туда-то как будете? Как мотивировать не командами? Как объяснять, что пропеллером категорически нельзя ничего задевать? Как объяснять, что на воду категорически нельзя садиться? Тут и нужен не относительно условный интеллект таракана.


                  1. simki
                    09.08.2016 17:15

                    Есть абстрактный интеллект таракана.

                    Природный таракана имеет программу продолжить род любой ценой, искать избыточное питание, рисковать собой расширяя зону обитания, всё жестко прописано в инстинктах. И правил поведения у него больше, чем вы описали, их тысячи, он различает координаты, различает своих и чужих, время суток, опасность и выгоду.

                    Тот же интеллект может выполнять весьма сложные полезные функции. Другая программа, другое поведение. Пропеллером не задевать препятствия это не самое сложное. Стрекоза выполняет более сложные маневры, ничего не задевая, посадка самолета на этом фоне детский лепет, даже посадка на палубу авианосца в шторм, не говоря про скучные пассажирские. Люди при этом умудряются ошибаться, половина авиакатастроф — человеческий фактор. Да и ДТП. Человек занят не своим делом.


              1. dmalkr
                09.08.2016 03:42

                На момент указа Сталина в 1951-ом году схема «токамак» (в основном, наша) и «сталларатор» (США) были только на бумаге, и им был от силы год (обе схемы были предложены в 1950-ом), так что никакого «понятно давно» не было. И даже сейчас, спустя 65 лет (!), не факт, что в конечном итоге будут использоваться именно эти схемы (хотя на данный момент альтернатив не видно). Тут, как всегда, всё в детали упирается (как бы посильнее разогреть и подольше удержать), которые до сих пор практически (а не на бумаге) не решены.

                > Понятно, что нам не нужен в машине интеллект обезьяны/собаки/таракана, а нужен интеллект человека.

                Зачем нужен интеллект именно человека, тоже не совсем ясно. Взять то же вождение. Думаю, для автопилотов хватит интеллекта таракана просто выше крыши (даже можно урезать, убрав функциональность размножения и поиска еды). То же самое для задачи поиска и идентификации людей. Тут хватит интеллекта кошки/собаки (ну или у какого животного зрение острее, у орлов?). То же самое с речевым взаимодействием, собаки при должной тренировке неплохо справляются с пониманием команд, значи и тут человеческого интеллекта не надо. Логистике достаточно интеллекта вообще муравьёв (недавно на кафедре слушали доклад на эту тему, где обеспечение товаров в условиях сбоев на линиях моделировалось колонией муравьев, результат заказчика вполне устраивал). И так далее! Разве что задача автоматического перевода может потребовать ИИ на уровне человека. Короче, зачем вообще делать комплексный человеко-интеллект, если можно собирать нужный из отдельных компонентов? Тем более, прогресс в отдельных компонентах несомненный.

                Таким образом, для отдельных задач «понятно давно» как их делать, чуть ли не с тех же 50-ых. Тоже ведь хотели получить ИИ за ~10 лет (меня особенно забавляет, как один из корифеев этого зарождающегося направления отдал задачу компьютерного зрения своему аспиранту, мол, в рамках диссертации за пару лет справится… Проблема на 100% не решена до сих пор, хотя прогресс, конечно, огромный). Но проблема опять в чёртовых мелочах!!!

                И снова, зачем именно «человеческий»? Это как если бы сейчас самолёты делать с махающими, как у птиц, крыльями. Ведь пошли по другому пути, а с аэродинамикой птиц до сих пор, вроде, не всё ясно.

                Вот лучше бы стандартизировали эти отдельные ИИ-компоненты и придумали API для их совмещения, вот это было бы бомбой, да.


                1. simki
                  09.08.2016 17:41

                  Взять то же вождение. Думаю, для автопилотов хватит интеллекта таракана просто выше крыши


                  Или более наглядный пример стрекоза, хищник, маневры выполняет недоступные для человека, как по ускорению, так и по скорости реакции. Причина не в интеллекте, а специализированности. Например калькулятор на столе не имеет интеллекта вообще, ни намека, но за счет специализации — очень полезен.

                  Так же полезен будет специализированный аналог мозга стрекозы, к которому понятие интеллект особо не применимо, просто постоянно сканирует воздушное пространство и атакует цель, стараясь получить больше энергии и минимизировать затраты. Просто меняется программа, приоритеты, вместо продолжения рода любой ценой, выполнение новых заложенных функций. А питание обеспечивает человек, что интересно, эдакий симбиоз интеллектов.

                  Логистике достаточно интеллекта вообще муравьёв


                  У муравьев есть глюк, они могут закольцевать маршрут в «круг смерти», на хабре была статья. Глюк редкий, потому он сохранаяется как «фича» существующих алгоритмов.

                  задача автоматического перевода может потребовать ИИ на уровне человека


                  Тоже не факт, нужен просто абстрактный слой, в котором будут связаны смыслы выражений. У человека за речь так же отвечает не весь мозг, а небольшая часть, причем у женщин эта часть больше. И переводчикам нужен не просто аналог мозга, а способности выше средних, чтобы понимал термины типа «корчеватель функций Лапласа», даже если это математический юмор, непонятный для 99.9% населения. По сути это тоже специализированный интеллект.

                  И снова, зачем именно «человеческий»? Это как если бы сейчас самолёты делать с махающими, как у птиц, крыльями. Ведь пошли по другому пути, а с аэродинамикой птиц до сих пор, вроде, не всё ясно.


                  Скорее всего так и будет. Интеллект, который ближе к интеллекту корпораций, чем к человеку. Человек не образец интеллекта, а такой же специализированный вычислитель, составная часть общества, гибкость есть, но ограничена структурой коры мозга. Примеры уже есть, тот же интеллект для игры в Го, абстрактная игра и обработка абстракций другими, не человеческими методами. Или более наглядный пример, специализированный ИИ для раскраски ЧБ фотографий в цвета, скормил ему несколько фоток, на глаз отличий нет. Человек лучше не раскрасит, только после тренировок.