Алгоритмы машинного обучения ещё не понимают реальность так, как это делают люди — иногда с катастрофическими последствиями

Об авторе: Мелани Митчелл — профессор компьютерных наук в Портлендском государственном университете и приглашённый профессор в Институте Санта-Фе. Её книга «Искусственный интеллект: руководство для мыслящих людей» будет опубликована в 2019 году издательством Farrar, Straus, and Giroux


Посетитель выставки Artificial Intelligence Expo в ЮАР, сентябрь 2018 года. Фото: Nic Bothma/EPA, via Shutterstock

Наверное, вы слышали, что мы находимся в разгаре революции ИИ. Нам говорят, что машинный интеллект прогрессирует с поразительной скоростью, опираясь на алгоритмы «глубокого обучения», которые используют огромные объёмы данных для обучения сложных программ, известных как «нейронные сети».

Сегодняшние программы могут распознавать лица и записывать речь. У нас есть программы для обнаружения тонкого финансового мошенничества, для нахождения релевантных веб-страниц в ответ на неоднозначные запросы, для прокладки оптимального маршрута практически в любом месте, эти программы побеждают гроссмейстеров в шахматы и Go и переводят между сотнями языков. Более того, нам обещают уже скоро и повсеместно беспилотные автомобили, автоматическую диагностику рака, роботов по уборке домов и даже автоматические научные открытия.

Основатель Facebook Марк Цукерберг недавно заявил, что в течение следующих пяти-десяти лет компания будет развивать ИИ, чтобы «превысить уровень человека по всем основным чувствам: зрение, слух, язык, общее понимание». Шейн Легг, главный научный сотрудник подразделения Google DeepMind, прогнозирует, что «ИИ превзойдёт человеческий уровень в середине 2020-х годов».

Как человек, работающий в области ИИ на протяжении нескольких десятилетий, я стала свидетелем провала множества подобных предсказаний. И я уверена, что последние прогнозы тоже не оправдаются. Проблема создания человеческого интеллекта в машинах остаётся сильно недооцененной. Сегодняшним системам ИИ катастрофически не хватает сущности человеческого интеллекта: понимания ситуаций, которые мы переживаем, способности понять их смысл. Математик и философ Джан-Карло Рота задал знаменитый вопрос: «Интересно, сможет ли ИИ когда-нибудь преодолеть барьер понимания». Для меня это по-прежнему самый важный вопрос.

Отсутствие человеческого понимания в машинах подчёркивается проблемами, которые недавно появились в основах современного ИИ. Хотя современные программы гораздо более впечатляющи, чем системы 20-30-летней давности, ряд исследований показывает, что системы глубокого обучения демонстрируют ненадёжность совершенно нечеловеческими способами.

Приведу несколько примеров.

«Человеку с непокрытой головой нужна шляпа» [The bareheaded man needed a hat] — программа распознавания речи на телефоне распознаёт эту фразу как «Под руководством медведя человеку нужна шляпа» [The bear headed man needed a hat]. Фразу «Я завёл свинью в стойло» [I put the pig in the pen] Google Translate переводит на французский как «Я подложил свинью в ручку» [Je mets le cochon dans le stylo].

Программы, которые «читают» документы и отвечают на вопросы о них, легко одурачить, если к документу добавляются короткие, несущественные фрагменты текста. Точно так же и программы, которые распознают лица и объекты (прославленный триумф глубокого обучения) терпят неудачу, если хоть немного изменить входные данные с помощью определённых типов освещения, фильтрации изображений и других изменений, которые ни в малейшей степени не влияют на эффективность распознавания объектов человеком.

Одно недавнее исследование показало, что добавление небольшого количества «шума» к изображению лица серьёзно мешает работе современных программ распознавания лиц. Другое исследование, с юмором названное «Слон в комнате», показывает, что небольшое изображение постороннего объекта, такого как слон, в углу изображения гостиной странным образом заставляет системы машинного зрения на глубоком обучении неправильно классифицировать другие объекты.

Более того, программы, которые научились мастерски играть в конкретную видеоигру или настольную игру на «сверхчеловеческом» уровне, полностью теряются при малейшем изменении условий (изменение фона на экране или изменение положения виртуальной «площадки» для отбивания «шарика»).

Это лишь несколько примеров, демонстрирующих ненадёжность лучших программ ИИ, если ситуация немного отличаются от тех, на которых они обучались. Ошибки этих систем варьируются от смешных и безвредных до потенциально катастрофических. Например, представьте систему безопасности аэропорта, которая не позволит вам сесть на рейс, потому что ваше лицо перепутали с лицом преступника, или беспилотный автомобиль, который из-за необычных условий освещения не заметил, что вы выезжаете на перекрёсток.

Еще более тревожны недавние демонстрации уязвимостей ИИ перед так называемыми «враждебными» примерами. В них злонамеренный хакер может вносить определённые изменения в изображения, звук или текст, которые незаметны или незначительны для людей, но могут привести к потенциально катастрофическим ошибкам ИИ.

Возможность таких атак показана почти во всех областях применения ИИ, включая компьютерное зрение, обработку медицинских изображений, распознавание и обработку речи. Многочисленные исследования показали лёгкость, с которой хакеры могут обмануть системы распознавания лиц или объектов мизерными изменениями картинки. Незаметные наклейки на дорожном знаке «Стоп» заставляют систему машинного зрения в беспилотном автомобиле принять его за «Уступи дорогу», а модификация звукового сигнала, который звучит для человека как фоновая музыка, приказывает системе Siri или Alexa скрытно выполнить определённую команду.

Эти потенциальные уязвимости иллюстрируют, почему текущий прогресс в ИИ упирается в барьер понимания. Любой, кто работает с системами ИИ, знает, что за фасадом похожих на человеческое зрения, речи и умения играть эти программы совершенно не понимают — каким-либо человеческим способом — входные данные, которые получают для обработки, и результат, которые выдают. Отсутствие такого понимания делает эти программы восприимчивыми к неожиданным ошибкам и незаметным атакам.

Что потребуется для преодоления этого барьера, чтобы машины смогли глубже понимать ситуации, с которыми они сталкиваются, а не полагаться на мелкие детали? Чтобы найти ответ, нужно обратиться к изучению человеческого познания.

Наше собственное понимание ситуаций, с которыми мы сталкиваемся, основано на широких интуитивных «понятиях здравого смысла» о том, как работает мир, и о целях, мотивах и вероятном поведении других живых существ, особенно других людей. Кроме того, наше понимание мира опирается на наши основные способности обобщать то, что мы знаем, формировать абстрактные концепции и проводить аналогии — короче говоря, гибко адаптировать наши концепции к новым ситуациям. На протяжении десятилетий исследователи экспериментировали с обучением ИИ интуитивному здравому смыслу и устойчивым человеческим способностям к обобщению, но в этом очень трудном деле мало прогресса.

Программы ИИ с отсутствием здравого смысла и других ключевых аспектов человеческого понимания всё чаще развёртывают в реальные приложения. В то время как некоторые люди беспокоятся о «суперинтеллекте» ИИ, самым опасным аспектом ИИ является то, что мы слишком доверимся и дадим слишком много автономии таким системам, не будучи полностью осведомлёнными об их ограничениях. Как исследователь Педро Домингос отметил в своей книге «Главный алгоритм»: «Люди беспокоятся, что компьютеры станут слишком умными и захватят мир, но реальная проблема в том, что они слишком глупы и уже его захватили».

Гонка по коммерциализации ИИ оказала огромное давление на исследователей по созданию систем, которые работают «достаточно хорошо» в узких задачах. Но в конечном счёте цель развития надёжного ИИ требует более глубокого изучения наших собственных замечательных способностей и нового понимания когнитивных механизмов, которые мы сами используем, чтобы надёжно понимать окружающий мир. Преодоление барьера понимания ИИ, вероятно, потребует шага назад — от всё более крупных сетей и наборов данных обратно к корням отрасли как междисциплинарной науки, изучающей самую сложную научную проблему: природу интеллекта.

Комментарии (52)


  1. cgnrat
    08.11.2018 16:40
    -5

    Целая статья построена на сомнительной тождественности понятий «нейросеть» и «ИИ».
    И да, автор «профессор компьютерных наук». Хм…


    1. lair
      08.11.2018 17:13
      +1

      Целая статья построена на сомнительной тождественности понятий «нейросеть» и «ИИ».

      Где вы в статье нашли утверждение или предположение о такой тождественности?


      И да, автор «профессор компьютерных наук». Хм…

      "Professor of Computer Science", пламенный привет переводчику.


      1. spax555
        08.11.2018 17:20
        +1

        Переводил, видимо, ИИ.


      1. cgnrat
        08.11.2018 19:04
        +1

        Примеры «провалов» относятся к нейросетям, а рассуждения о причинах этих провалов основываются на свойствах иного порядка, таких как понимание, здравый смысл, интеллект, которые к нейросетям никак не относятся (на данном уровне их развития по крайней мере).


        1. lair
          09.11.2018 00:46

          Примеры «провалов» относятся к нейросетям

          Приведенные примеры слабостей относятся к тем областям, в которых недавно были достижения, нейронные сети прямо не упоминаются. Если во всех этих отраслях причиной достижения были нейронные сети (в чем я, кстати, не уверен) — это еще не означает ни тождественности, ни импликации тождественности. А если вы можете привести пример альтернативной системы, которая решает ту же задачу не хуже нейронных сетей, и при этом лишены описанных слабостей — так я с удовольствием послушаю.


          рассуждения о причинах этих провалов основываются на свойствах иного порядка, таких как понимание, здравый смысл, интеллект, которые к нейросетям никак не относятся

          Ну так статья, вроде бы, ровно о том, что не относятся. Не очень понятно, с чем вы пытаетесь спорить.


          1. roryorangepants
            09.11.2018 07:59

            Насчёт альтернативных систем — для алгоритмов типа бустинга особо не получается делать adversarial examples. Впрочем, это скорее связано с тем, что вне компьютерного зрения (и ещё парочки подобных областей) в принципе сложно определить понятие adversarial attack.


            В целом, конечно, не понимаю комментатора выше, которому говорят "ИИ", а он слышит "нейросети" и радостно набрасывается на автора.


            1. lair
              09.11.2018 11:16

              Насчёт альтернативных систем — для алгоритмов типа бустинга особо не получается делать adversarial examples

              А задачи компьютерного зрения на них можно решать с той же успешностью?


              1. roryorangepants
                09.11.2018 11:43

                Нет, но справедливости ради статья тоже не про computer vision, а про разные применения AI.


                1. lair
                  09.11.2018 11:54

                  Ну так там и примеры из разных областей применения.


                  Вот, скажем, там ссылаются на adversarial examples в задачах понимания текста (кстати, как раз к разговору о "барьере понимания"): так вот, если я правильно понимаю, там есть решения и на базе сетей, и на базе "традиционных" моделей, типа логистической регрессии — и они все подвержены этой проблеме (кстати, к разговору о "примеры «провалов» относятся к нейросетям").


    1. worldmind
      09.11.2018 10:18

      Так назовите нам ту технологию, в которой нет описанной автором проблемы, надеемся и ждём.


  1. Vlad_fox
    08.11.2018 17:40
    +1

    вчера была похожая статья — тоже об ИИ, и тоже по сути ниочем.
    такое себе очередное вступление в ИИ, динамика развития сейчас, дающая основания бояться его потом и констатация того, что мы ничего не знаем про интеллект ни человека, ни на другой елементной базе.


  1. sena
    08.11.2018 17:53

    Всё-таки «преодолеть барьер понимания» это неправильное выражение. Понимание не может быть барьером в данном случае. Барьером может быть непонимание, но «барьер непонимания» уже используется как некое препятствие между двумя осознающими себя интеллектами.
    Можно сказать что «барьером является отсутствие понимания», но наверное лучше, что «барьером является отсутствие осознания» или даже просто просто «отсутствие сознания».


  1. hurtavy
    08.11.2018 19:31

    А почему нейронные сети должны реагировать как люди? Никого же не смущает, что, например, червяк реагирует не так, как собака


    1. TimKGS
      09.11.2018 09:23

      Потому что «разумен» с точки зрения человека тот, кто мыслит как человек.


    1. worldmind
      09.11.2018 10:20

      Так мы червяка за руль авто и не садим.


      1. hurtavy
        09.11.2018 18:24

        нейронная сеть автопилота послабее червяка будет


        1. worldmind
          10.11.2018 14:59
          +1

          В каких единицах?


        1. Vinchi
          10.11.2018 22:46

          Да что вы говорите? Как это вообще предлагается измерять? Учитывая что червяк испольузет мозг, химический конструкт с аналоговыми сигналами ничем не похожий на математические нейросети. Даже близко сравнить нереально.


  1. Fracta1L
    08.11.2018 21:20

    Понимание это должным образом выстроенные связи с другими понятиями, представлениями, объектами, и т.д. Так что «мощность» понимания напрямую связана с мощностью памяти и адекватностью выстроенных связей. Конечно, у нынешних ИИ проблемы с пониманием — они тупые как пробка, а понимания от них требуют, как от экспертов.


  1. Whiteha
    08.11.2018 22:20

    Прекрасный пример говорящий о том, что сильный ИИ возможен это существование человека, который при всех своих способностях к логике ее не везде применяет) Существование человека является прямым доказательством возможности создать интеллект.
    Барьер может быть только один — вычислительные ресурсы, но даже на нынешнем этапе при большом желание можно построить компьютер с вычислительными ресурсами равными мозгу человека. Но настанет день когда это будет не вопрос большого желания, а будет насущной реальностью где сильный ИИ соседствует с человеком.


    1. sena
      09.11.2018 13:04

      Барьер может быть только один — вычислительные ресурсы

      Разве кто-то доказал что ИИ в принципе можно реалзизовать на тьюринг-машине? Вполне может быть что это просто невозможно. Я уверен что проблема не только и не столько в вычислительных ресурсах, то есть даже увеличив в сотни миллиардов раз количество памяти, процессоров и связей между ними, мы не получим желаемого.


      1. Whiteha
        09.11.2018 13:38

        Об архитектуре итогового решения никто и не говорил, это может быть что угодно. Суть факт в том что такое решение есть и мы его демонстрация.


        1. Chupakabra303
          10.11.2018 19:17

          Следующая ступень обсуждения: материализм против идеализма.


  1. fivehouse
    08.11.2018 23:35
    -8

    Искусственный бырыльник упёрся в барьер ферования.
    Профессорша не понимает ни что такое «настоящий ИИ», ни что такое «понимание», ни как одно может «упереться» в другое. Но уверена, что это случилось. А почему? А потому, что она профессорша целых компьютерных(!) наук и еще куда-то приглашена. А ее книга про мыслящих людей будет опубликована Фарором, Стросом и Жиру. А ты кто?…
    И еще она записала десятки разрозненных фактов относящихся к недо-ИИ, но никак не относящихся к полноценному ИИ о котором пытается писать. А ты же то кто?
    ПРЕДЛАГАЮ
    Перед переводом подобных словоблудных статей приглашенных профессорш переводить последние 1-2 предложения в статье и проводить голосования под такими предложениями, хочет ли читатель тратить время статью с таким пустым выводом. Для тематики ИИ это становится важным.

    Преодоление барьера понимания ИИ, вероятно, потребует шага назад — от всё более крупных сетей и наборов данных обратно к корням отрасли как междисциплинарной науки, изучающей самую сложную научную проблему: природу интеллекта.


    1. lair
      09.11.2018 00:41
      +1

      А потому, что она профессорша целых компьютерных(!) наук

      Вам незнаком термин Computer Science?


      1. Komesk
        09.11.2018 15:38

        В мое время Computer Science переводили как Мат. обеспечение [ЭВМ]. Сейчас это вроде как информатика.


  1. Kant8
    09.11.2018 00:40
    +1

    Может уважаемому профессору просто стоит признать, что никаким интеллектом в нейронных сетях и не пахнет?
    Что это просто невероятных размеров вероятностный классификатор, основанный на зубрежке?


    1. roryorangepants
      09.11.2018 07:51

      Нейросети — типичный слабый ИИ. Только почему-то при словах "искусственный интеллект" у всех возникают ассоциации не со слабым ИИ, а со Скайнетом.


  1. third112
    09.11.2018 05:00

    Сегодняшние программы могут распознавать лица и записывать речь. У нас есть программы для обнаружения тонкого финансового мошенничества, для нахождения релевантных веб-страниц в ответ на неоднозначные запросы, для прокладки оптимального маршрута практически в любом месте, эти программы побеждают гроссмейстеров в шахматы и Go и переводят между сотнями языков.

    Прочитав до этих строк проделал
    любимый тест
    Перевел в гугле приведенную цитату на английский:

    Today's programs can recognize faces and record speech. We have programs for detecting subtle financial fraud, for finding relevant web pages in response to ambiguous requests, for laying the optimal route almost anywhere, these programs defeat grandmasters in chess and Go and translate between hundreds of languages.


    А потом назад:

    Сегодняшние программы могут распознавать лица и записывать речи. У нас есть программы для обнаружения тонкого финансового мошенничества, поиска соответствующих веб-страниц в ответ на неоднозначные запросы, для оптимального маршрута почти везде, эти программы побеждают гроссмейстеров в шахматах и идут и переводят сотни языков.


    Не совсем плохо. Но заметная часть смысла испарилась. Ниже в статье приведены более яркие примеры машинного перевода, но их можно заподозриь в специальном подборе, а я случайно выбрал первый попавшийся кусок.


  1. third112
    09.11.2018 05:16

    PS Спасибо переводчику. ИМХО хороший перевод. Единственное, что на мой взгляд стоит отметить: для термина CS точного перевода нет, обычно используют термин «информатика».


  1. xFFFF
    09.11.2018 16:15
    +1

    Мне кажется, что некоторые люди тоже упёрлись в барьер понимания.


  1. javamain
    09.11.2018 16:47
    -1

    Ну можно сказать, что ИИ сегодня это просто поделия для интерактива и в примере с алисой для помощи пользователю на заранее заданных кейсах. Меня удивит если в скором будущем ИИ будет так же быстро получать данные из БД их анализировать (на их основе обучать Нейросеть) и на их основе будет Анализировать полученные интерактивные данные. Даже в CS:GO прослеживается, что ИИ не обучается на старых ошибках, и чужих тоже, а просто метит прямо в лоб когда к ниму из-за спины подкрадываешся.


  1. algotrader2013
    09.11.2018 16:49

    Интересно мнение тех, кто теме, можно ли покрыть все примеры с обманом нейросетей аугментацией зашумленными данными?


    1. alexeykuzmin0
      09.11.2018 21:11

      Нельзя, если атакующему известно внутреннее содержимое нейросети. Например, сеть, которая берет изображение и определяет, кошка там или собака. По сути, она берет многомерный вектор, прогоняет его через некоторую функцию и выдает ее значение в ответ — если больше нуля — собака, меньше — кошка. Мы можем взять изображение кошки и посчитать производную это функции по каждому из коэффициентов вектора (то есть, пикселей изображения). После чего берем и изменяем те пиксели, производная которых самая большая. Таким образом, небольшими модификациями изображения (незаметными ни человеку, ни другой нейросети, даже обученной на тех же данных) мы получаем неверный ответ.


      1. michael_vostrikov
        10.11.2018 06:22

        Вот что мне непонятно, так это почему на вход определителя подают исходное изображение, и пытаются построить функцию от яркости пикселей. Понятно же, что если изменить яркость пикселей, то и результат функции изменится. Подавать надо только данные о форме, которые уже инвариантны к цвету, повороту и масштабированию. Если и делать обучение до этого этапа, то только "изображение — линии формы", но никак не "изображение — кошка/собака".


        1. alexeykuzmin0
          10.11.2018 16:45

          Подавать надо только данные о форме, которые уже инвариантны к цвету, повороту и масштабированию
          А эти данные вы откуда возьмете? Ведь из изображения же. То есть, это тоже некоторая функция, которая из изображения в промежуточное представление переводит. А композиция двух функций — тоже функция. Дальше — как описано выше, дифференцируем, двигаемся в сторону градиента.


          1. michael_vostrikov
            10.11.2018 17:04

            Так оно же независимое получается. Двинемся в сторону градиента на первом этапе — получим отсутствие нужной линии на втором. То есть чтобы на втором этапе появились линии, которые вместо панды дадут гиббона, надо на первом нарисовать гиббона. Факт в том, что мы гиббона не видим, значит это возможно.


            Скрытый текст


            1. alexeykuzmin0
              10.11.2018 17:11

              Первый этап делает преобразование y=f(x), где x — изображение, а y — промежуточное представление. Второй делает z=g(y), где y — промежуточное представление, а z — ответ. Я предлагаю двигаться по направлению градиента функции h(x) = g(f(x)), а не по направлению градиента f или g.
              Так-то первые слои нейронной сети как раз и делают примерно то преобразование, о котором вы пишете.


              1. michael_vostrikov
                10.11.2018 17:36

                Как я понимаю, у отсутствия сигнала градиент 0. Куда двигаться? Клетка узнает конкретный паттерн, а на все остальные никак не реагирует, неважно какие пиксели там изменены.


                Если бы в нейросетях было так, изменение отдельных пикселей не влияло бы на контур.


      1. algotrader2013
        10.11.2018 11:04

        Получается, что напрашивается какой-то огрубляющий фильтр типа размытия с последующим повышением резкости, который уничтожит все ключевые пиксели, сохранив суть изображения?


        1. alexeykuzmin0
          10.11.2018 16:45

          Все равно есть зависимость, в виде функции. Ее все равно можно продифференцировать.


  1. javamain
    09.11.2018 17:22
    -1

    Поразмышляйте еще над одной вещью: Сначало нужно писать какие-то новости или вести список чего-то. Потом из этого списка вычленять объекты, связанные с данной новостью или с данным списком. По завершению нужно обучить ИИ распозновать данные объекты. Далее по алгоритму или поиск объектов или распространение информации основаных на объектах. Так сказать новости об объектах реальной жизни у нас выходят не часто… и не интересные… просто не на чем будет обучать ИИ.


    1. javamain
      09.11.2018 17:29
      -1

      Самые перспективные БД я бы мог сказать кто как попивает(на основе программы Andoroid) в день воды, сопоставленный с данными Гугл фит (кто как худеет).


    1. lair
      09.11.2018 23:02

      … и что?


  1. Ckpyt
    09.11.2018 17:50

    Дык эта… кто же посадит ИИ за перебор картинок? Максимум за неоднозначности в выявлении картинок.
    Сегодняшние задачи страшно далеки от областей ИИ. Во-первых, у текущих нейронных сетей отсутствует обратная связь… ну разве что, к тех, которые играют в игрушке в какой-то мере есть, но и там она ВНЕШНЯЯ, а не внутренняя. Как итог, у нас пока нет нейронных сетей с незатухающим или слабо затухающим сигналом — пока просто неясно как это сделать и как оно потом будет работать.
    Во-вторых, у нас сети сейчас строятся послойно, без выделения блоков. По сути, сейчас нейросети совершили скачек с программирования с одной функции к функциональному программированию. Сейчас идут робкие попытки объединения таких вот сетей в одну, но все упирается в неподъемную мощность. Впрочем, вру. Ватсон от IBM тянет… Но там оно просто подгружает ту сетку, которую запросили и переключается на нее. Объединены они весьма слабо.
    Третья проблема, которая непосредственно идет от первых двух, пока еще нет представления а как вообще можно организовать поток сознания. По моему мнению, это будет что-то вроде внутренних связей между разными слоями, с незатухающим или самовозбуждающимся сигналом.
    В общем, какой-либо прорыв возможен будет в течение следующих десяти лет, а до полноценного ИИ еще лет двадцать-пятьдесят в зависимости от скорости решения возникающих проблем.


    1. lair
      09.11.2018 23:05

      Во-первых, у текущих нейронных сетей отсутствует обратная связь…

      Вы, простите, что понимаете под "обратной связью"?


      Во-вторых, у нас сети сейчас строятся послойно, без выделения блоков.

      Simian networks, например, ага.


  1. alexeykuzmin0
    09.11.2018 21:13

    Непонятно, каким образом из всего описанного в статье следует невозможность создани ИИ человеческого уровня эволюционным развитием современных технологий. Я вот вижу, что единственное, в чем ИИ пока что проигрывает человеку — в умении решать сложные нечетко определенные задачи, в которых мало входных данных. Причем с каждым годом во все более и более сложных и нечетких задачах ИИ превосходит человека. Да, пока не превзошел. Да, пока до этого далеко. И что?


    1. michael_vostrikov
      10.11.2018 06:44

      Эволюционное развитие довольно растяжимое понятие. Нейросети являются эволюционным развитием вычислений на абаке?
      Из того что знаю я, можно сделать вывод, что естественный интеллект работает по другим принципам. Человек не замечает разницы между изображениями, а нейросеть дает абсолютно неверный результат. Животные без проблем управляют 4 лапами, а с нейросетями для этого возникают сложности.


      1. alexeykuzmin0
        10.11.2018 16:54

        Нейросети являются эволюционным развитием вычислений на абаке?
        Являются, но весьма дальним.
        Из того что знаю я, можно сделать вывод, что естественный интеллект работает по другим принципам.
        Конечно по другим, у него углерод вместо кремния. Но из этого никак не следует, что развитием текущих принципов нельзя получить искусственный интеллект человеческого уровня.
        Человек не замечает разницы между изображениями, а нейросеть дает абсолютно неверный результат.
        Это вы об атаке на нейросети, о которой я писал в комментарии выше? Если неизвестны веса, топология и точный алгоритм сети, а сеть не выдает в ответ уверенность, ее провести нельзя. Для человека это все неизвестно. В то же время, есть подозрение, что на человека такую атаку тоже можно провести, вопрос лишь в достаточно точной математической модели нейрона и точном знании топологии нейронных связей и состояний нейронов в мозге.
        Животные без проблем управляют 4 лапами, а с нейросетями для этого возникают сложности.
        Я пишу о тенденции. Я помню, как десять лет назад я говорил отцу, что программу для голосового набора текста, наверное, не напишут никогда. Сейчас они есть в каждом смартфоне. С каждым годом все более и более сложные, все более и более нечетко определенные задачи решаются лучше человека. Из чего вы делаете вывод, что какие-то задачи будут не решены никогда? Из того, что они сложны и пока решаются человеком сильно лучше, это никак не следует.


        1. michael_vostrikov
          10.11.2018 17:20

          В то же время, есть подозрение, что на человека такую атаку тоже можно провести

          В on/off клетках при вычислении контрастных переходов происходит размытие на нескольких масштабах (6x6, 12x12, 24x24 вроде бы, размер центра в 3 раза меньше), так что вряд ли. А дальше наклон перехода определяется, не будет нескольких сигналов, расположенных в линию, не будет и наклона, то есть просто форма объекта будет менее узнаваема.


          Из чего вы делаете вывод, что какие-то задачи будут не решены никогда?

          Я не делаю такой вывод. Они не будут решены никогда только нейросетями с текущими подходами.


          1. alexeykuzmin0
            10.11.2018 17:31

            В on/off клетках при вычислении контрастных переходов происходит размытие на нескольких масштабах
            Сверточный слой в сети тоже вполне может размытие выполнить. Покуда преобразование дифференцируемо или может быть приближено дифференцируемым, все можно похакать.


  1. Vinchi
    10.11.2018 22:48
    +2

    Последнее время появилось куча таких ниочемных статей. Какой нахрен здравый смысл? О чем вы? Сначала приводят примеры с неустоячивостью к шуму (что корректно и сейчас как раз это челленджат), а потом начинают маркетинговы булшит.