image

Со времен «Орнитопера» Да Винчи величайшие умы человечества черпали вдохновение из мира природы. В современном мире ничего не изменилось, и новейшие достижения в машинном обучении и искусственном интеллекте были созданы на основе самого передового вычислительного органа: человеческого мозга.

Подражать нашему серому веществу – не просто хорошая мысль в создании более совершенных ИИ. Это абсолютно необходимо в их дальнейшем развитии. Нейронные сети основанные на глубоком обучении, такие, как в AlphaGo, а также современное поколение систем распознавания образов и перевода являются лучшими системами машинного обучения, которые мы разработали на сегодняшний день. Они способны на невероятные вещи, но, по-прежнему, сталкиваются со значительными технологическими сложностями. Например, тот факт, что для обучения конкретному навыку им необходим прямой доступ к большим наборам данных. Более того, если вы хотите переучить нейронную сеть для выполнения новой задачи, вам по существу нужно стереть её память и начать с нуля – процесс, известный как «катастрофическое забывание».

Сравните это с мозгом человека, который учится постепенно, а не возникает сразу сформированным из кучи данных. Это фундаментальное различие: ИИ, основанные на глубоком обучении, генерируются сверху вниз, зная всё, что нужно, с самого начала, в то время как человеческий разум строится с нуля, когда предыдущие уроки, применимые к новому опыту, используются в создании новых знаний.

Более того, человеческий ум особенно хорошо выполняет реляционные рассуждения, основанные на логике, строит связи между прошлым опытом, чтобы понять новые ситуации «на лету». Статистический ИИ (т.е. машинное обучение) способен имитировать навыки мозга в распознавании образов, но не работает при применении логики. Символический ИИ, с другой стороны, может использовать логику (предполагая, что он был обучен правилам этой системы рассуждений), но, как правило, неспособен применить это умение в режиме реального времени.

Но что, если мы сможем объединить лучшие возможности вычислительной гибкости человеческого мозга с широкими возможностями обработки ИИ? Именно это и пыталась сделать команда из DeepMind. Они создали нейронную сеть, способную применять реляционные рассуждения к своим задачам. Она работает во многом так же, как сеть нейронов мозга. В то время как нейроны используют различные связи друг с другом для распознавания паттернов: «Мы явно заставляем сеть обнаруживать отношения, которые существуют между парами объектов в данном сценарии», – сказал Тимоти Лилликрап, учёный из DeepMind, журналу Science Magazine.

Когда в июне ей давали задание на сложные вопросы об относительных позициях геометрических объектов в изображении, например: «Есть объект перед синим предметом, имеет ли он ту же форму, что и крошечная голубая штука справа от серого металлического шара?» – она правильно идентифицировала объект в 96% случаев. Обычные системы машинного обучения давали правильное решение в 42 – 77% случаев. Даже люди проходили тест лишь в 92% случаев. Правильно, этот гибридный ИИ лучше справляется с задачей, чем люди, которые его построили.

Результаты были такими же, когда ИИ были представлены проблемы со словом. Хотя обычные системы были в состоянии соответствовать DeepMind на простых вопросах, таких, как «У Сары есть мяч. Сара входит в свой офис. Где мяч?» гибридная система ИИ была вне конкуренции на более сложных вопросах вроде: «Лили – лебедь. Лили белая. Грег – лебедь. Какой цвет Грега?» На них DeepMind ответил правильно в 98% случаев по сравнению с около 45% у конкурентов.

image

DeepMind даже работает над системой, которая «запоминает» важную информацию и применяет эти накопленные знания к будущим запросам. Но IBM делает ещё два шага вперёд. В двух исследовательских работах, представленных на Международной Совместной Конференции по Искусственному Интеллекту 2017 года, проведённой в Мельбурне (Австралия) на прошлой неделе, IBM представила два исследования: одно из них рассматривает вопрос о том, как предоставить ИИ «внимание», а другой – изучить вопрос о применении биологического процесс нейрогенеза, то есть рождения и смерти нейронов – для систем машинного обучения.

«Обучение нейронной сети, как правило, проектируется, и очень много работы нужно, чтобы на самом деле создать определённую архитектуру, которая работает лучше всего. Почти метод проб и ошибок», – рассказала Engadget Ирина Риш, исследователь из IBM. «Было бы хорошо, если бы эти сети могли строить себя сами».

Алгоритм внимания IBM информирует нейронную сеть о том, какие входы обеспечивают наивысшую награду. Чем выше вознаграждение, тем больше внимания будет уделять им сеть. Он особенно полезен в ситуациях, когда набор данных не является статическим – то есть в реальной жизни. «Внимание – это механизм, основанный на вознаграждении, это не просто что-то, не связанное с принятием решений и нашими действиями», – сказала Риш.

«Мы знаем, что, когда мы видим изображение, человеческий глаз обычно имеет очень малое поле зрения», – сказала Риш. «Таким образом, в зависимости от разрешения вы видите только несколько пикселей изображения [резкими], но все остальное выглядит размытым. Дело в том, что вы быстро перемещаете взгляд, и механизм сборки различных частей в образ в правильной последовательности позволит вам быстро распознать изображение».

image

Первое использование функции внимания, скорее всего, будет в распознавании образов, хотя оно может быть использовано в различных областях. Например, если вы тренируете ИИ с использованием оксфордского набора данных, который является главным образом архитектурными изображениями, он легко сможет правильно идентифицировать городские пейзажи. Но если вы покажете ему кучу картин из сельской местности (поля и цветы и т. д.), ИИ окажется в замешательстве, потому что он не знает, что такое цветы. А когда вы проводите те же тесты с людьми и животными, вы будете стимулировать нейрогенез, поскольку их мозги пытаются адаптировать то, что они уже знают о городах к новым пейзажам страны.

Механизм говорит системе, на чем она должна сосредоточиться. Например, возьмите своего врача, она может провести сотни возможных тестов на вас, чтобы определить, что вас беспокоит, но это невозможно: либо по времени, либо по разумным ценам. Итак, какие вопросы она должна спросить и какие тесты следует проводить, чтобы получить лучший диагноз за наименьшее количество времени? «Это то, что алгоритм учится выяснять», – объяснила Риш. Он не просто определяет, какое решение приводит к лучшему результату, но и узнает, где искать данные. Таким образом, система не только принимает более правильные решения, но и делает их более быстрыми, поскольку не запрашивает части набора данных, которые не применимы к текущей проблеме. Точно так же, как ваш врач не касается ваших колен странным маленьким молоточком, когда вы приходите с жалобами на боль в груди и одышку.

В то время как система внимания удобна для обеспечения того, чтобы сеть выполняла задачу, работа IBM по нейронной пластичности (насколько хорошо запоминаются «воспоминания») служит для обеспечения долговременной памяти сети. Это фактически смоделировано на основе тех же механизмов рождения и смерти нейронов, которые наблюдаются в человеческом гиппокампе.

В этой системе «вам не обязательно обязательно моделировать миллионы параметров», – пояснила Риш. «Вы можете начать с гораздо меньшей модели, а затем, в зависимости от данных, которые вы видите, они будут адаптироваться».

Когда ей представлены новые данные, нейрогенетическая система IBM начинает формировать новые улучшенные связи (нейроны), в то время как некоторые из более старых, менее полезных будут «обрезаны», – как выразилась Риш. Это не означает, что система буквально удаляет старые данные, она всего лишь становится менее привязана к ним – так же, как ваши старые воспоминания, как правило, становятся нечёткими на протяжении многих лет, но те, которые несут значительную эмоциональная нагрузку, остаются яркими в течение многих лет.

image

«Нейрогенез – это способ адаптации глубоких сетей», – сказала Риш. «Нейронная сеть – это модель, и вы можете построить эту модель с нуля, или вы можете изменить эту модель, когда нужно, потому что у вас есть несколько слоёв скрытых нейронов, и вы можете решить, сколько их (нейронов) вы хотите иметь… в зависимости от данных.»

Это важно, потому что вы не хотите бесконечного расширения нейронной сети. Если бы это произошло, набор данных стал бы настолько большим, что был бы не по силам даже для цифрового эквивалента гипертимезии. «Это также помогает с нормализацией, поэтому [ИИ] не 'передумывает' данные», – сказала Риш.

В совокупности эти достижения могли бы быть очень полезны исследовательскому сообществу ИИ. Команда Риша хочет работать над тем, что они называют «внутренним вниманием». Вы будете не просто выбирать, какие данные вы хотите видеть в сети, но и какие части сети вы хотите использовать в расчётах на основе набора данных и входов. В основе модель внимания будет охватывать краткосрочный, активный, мысленный процесс, в то время как часть памяти позволит сети оптимизировать свою функцию в зависимости от текущей ситуации.

Но не ожидайте, что в ближайшее время ИИ сможет соперничать с сознанием человека, – предупреждает Риш. «Я бы сказала, по крайней мере, несколько десятилетий, – но, опять-таки, это лишь предположение. Что мы делаем сейчас, с точки зрения высокоточного распознавания образов, всё ещё очень, очень далеко от базовой модели человеческих эмоций», – сказала она. «Мы лишь начали».



image
image

Комментарии (11)


  1. Hellsy22
    24.09.2017 11:26

    «Лили – лебедь. Лили белая. Грег – лебедь. Какой цвет Грега?»

    Правильный ответ — мы не знаем. Белизна может как быть свойством всех «лебедей», может быть привязанной к другим свойствам «лебедя» (например, полу — не зря же в задаче явно женское и явно мужское имя), так и вовсе не иметь никакого отношения к лебедям.


    1. tormozedison
      24.09.2017 12:47

      Неизвестно и то, взяла ли Сара с собой в офис мяч. Может, дома оставила, а может, прихватила, чтобы после офиса пойти на спортплощадку, не заходя домой.


      1. Hellsy22
        24.09.2017 17:04

        Собственно, поэтому логические задачи формулируются более строго.
        Например: Все лебеди одного цвета. Лили — лебедь. Лили белая. Грег — лебедь.


        1. equity
          25.09.2017 01:19

          более совершенный ИИ мог бы собрать информацию про лебедей и выдать ответ о цвете в виде несколькиз цветов с разными вероятностями.


    1. seminole
      25.09.2017 15:53

      Правильный ответ — Вероятность того что Грег белый 0.85, черный 0.1, другого цвета 0.05. Bayesian Network


  1. artemev
    24.09.2017 12:31

    Было бы хорошо, если бы эти сети могли строить себя сами

    /sarcasm/
    Видимо правы те, кто считает, что лень двигатель прогресса :-)


    1. Artystarty
      24.09.2017 13:06

      Было бы хорошо, если бы эти сети могли строить себя сами

      Это главная функция «живого» мозга и его отличие от искусственных нейро-сетей. В общем, в ней смысл опубликованной новости.

      Видимо правы те, кто считает, что лень двигатель прогресса

      Нейробиологи утверждают, что энергосбережение — другая главная функция «живого» мозга, поэтому он по своей природе «ленив». Но эта леность спринтерская: нужно ударно поработать непродолжительное время, чтобы после долго отдыхать.


  1. redpax
    25.09.2017 00:15

    Если человек с рождения не разу не будет видеть полей и цветов, то он тоже не сможет понять, что изображено на картинке, тут нет проблемы в нейронной сети тут проблема в объемах данных скормленой ей.


    Есть весьма хорошее подтверждение этому в виде абстрактного рисунука где обнимаются голые мужчина и женщина и дети не видевшие голых мужских и женских тел просто видят на картинке дельфионов, так как у них в памяти нет образов голых тел.


    Что бы нейронная сеть обучалась как человек и получала не меньший массив данных чем человек она грубо говоря много лет должна «жить» в среде людей и иметь похожие органы воприятия мира, как минимум одним манипулятор имитирующим руку, камеру и микрофон, что бы научиться распознавать расстояние на основании анализа изображения и правильно понимать функции и значение объектов и видить как физически объекты взаимодействуют между собой.


    Сейчас изображение для нейросети это просто набор пикселей, а должно быть распознавание объекта и создание виртуальной 3D сцены и модели объектов с определением их физических свойств.


    Если показать человеку картинку где стоит красный холодильник а рядом на полу синяя ваза и спросить его, «что будет если красный объект наклонить на 45 градусов в сторону синего?», человек ответит, что холодильник упадет и разобъет вазу, ниодна нейросеть не ответит на этот вопрос так как она не понимает изображения и объектов на ней.


  1. vesper-bot
    25.09.2017 12:29

    Интересно, сумеет ли эта нейросеть пройти тест с холодильником, жирафом и бегемотом?
    Вообще, любопытный подход, но вопрос, а может ли нейросеть потом строить связи между N схожими объектами, если может построить связь между двумя? Т.е. доступна ли будет ей индукция?


  1. ReakTiVe-007
    26.09.2017 13:38

    Может ии просто не хватает борьбы за выживание? Например будет несколько сетей, каждой дают одинаковую задачу, за меньшее количество времени и энергии потраченной на решение определенной задачи победившая сеть получит блоки(энергию и место на жестком диске для новых данных например), с помощью них можно улучшить себя и в следующей задаче будет проще получить блок(при этом задача может быть усложнена). Получится естественный отбор. При этом сети могут кооперироваться или работать отдельно. Если они скооперируются получится нечто очень похожее на мозг(одна часть отвечает за одно, другая за другое).


    1. LevOrdabesov
      26.09.2017 14:11

      А потом они догадаются, что им нужно БОЛЬШЕ ресурсов, а вокруг всё людишки уже заняли. Суровый мир.