«Любая достаточно развитая технология», — писал серый кардинал научной фантастики Артур Кларк, — «неотличима от магии». Эта цитата, которую без устали цитируют продвигающие технологию фанаты, пожалуй, стала самым разрушительным высказыванием из всех, что сделал Кларк, поскольку она поощряет наше гипнотическое изумление перед технологиями и отключает критическое мышление. Поскольку, когда речь идёт о «магии», это по определению будет что-то необъяснимое. Нет смысла задавать вопросы об этом; просто принимайте его, как оно есть, расслабьтесь и приглушите недоверие.

Сейчас больше всего магического мышления притягивает к себе искусственный интеллект (ИИ). Энтузиасты описывают его так, будто это самое важное изобретение со времён колеса. Пессимисты рассматривают его как экзистенциальную угрозу человечеству: первая «сверхумная» машина, которую мы создадим, станет началом конца человечества; единственный вопрос, будут ли машины содержать нас в качестве домашних животных.

В обоих случаях проглядывается обратная зависимость между силой убеждённости людей в возможностях ИИ и их знаниями об этой технологии. Эксперты проявляют сдержанный оптимизм, а горячие сторонники находятся в блаженном неведении по поводу того, что превозносимый ими ИИ на самом деле представляет собой довольно приземлённую комбинацию из машинного обучения (МО) и больших данных.

Машинное обучение использует статистические техники, чтобы наделять машины способностью «обучаться» – то есть, использовать данные для постоянного улучшения выполнения определённой задачи без необходимости предварительного программирования. Система МИ – это куча алгоритмов, принимающих на вход поток данных, и выдающая на выходе ссылки, корреляции, рекомендации, и, вероятно, даже решения. Эта технология используется уже повсеместно: практически любое наше взаимодействие с Google, Amazon, Facebook, Netflix, Spotify, и так далее, происходит при посредничестве системам МИ. Дошло до того, что один из выдающихся гуру ИИ, Эндрю Ын, сравнивает МО с электричеством.

Многим директорам компаний машина, способная узнать об их клиентах больше, чем они сами смогут когда-либо, кажется волшебной. Представьте себе тот момент, когда Walmart обнаружил, что среди всех вещей, которые потребители в США запасли после ураганного предупреждения, кроме обычного набора, оказались пиво и земляничное печенье Поп-тартс. И, неизбежно, энтузиазм корпораций по поводу волшебной технологии вскоре вышел за пределы закупок для супермаркетов и передался правительству. МО быстро проникло в предсказания загруженности дорог, предсказательного поддержания правопорядка (МО помогает помечать районы, где преступления «скорее всего» произойдут), решения по поводу условно-досрочного освобождения, и так далее. Среди оправданий этого безумного роста – повышение эффективности, улучшения контроля над соблюдением закона, более «объективное» принятие решений, и, естественно, более отзывчивые коммунальные услуги.

Этот постепенный сдвиг фокуса не прошёл незамеченным. Критики отмечают, что старый компьютерный афоризм «мусор на входе, мусор на выходе» применим и к МО. Если данные, на которых «учится» машина, будут предвзятыми, то её выход будет отражать эту предвзятость. Это можно обобщить; возможно, мы создали технологию, которая – пусть и прекрасно справляется с рекомендациями того, какой фильм вам посмотреть – может превратиться в фактор, усиливающий социальное, экономическое и культурное неравенство.

При всей этой социополитической критике МО, никто не подвергал сомнению технологическую работоспособность самой идеи – то есть, считалось, что любые неправильные решения, которые она выдаёт, зависят исключительно от недостатков во входных данных. Но теперь и это успокаивающее предположение оказывается довольно спорным. На недавней конференции NIPS (системы нейронной обработки информации) – большом ежегодном собрании экспертов по МО – Али Рахими, одна из признанных звёзд этой области, швырнул в аудиторию интеллектуальную гранату. В примечательной лекции он сравнил МО со средневековой алхимией. Обе области знания оказались рабочими, до определённого уровня – алхимики придумали металлургию и изготовление стекла; исследователи МО создали машины, способные побеждать людей в го и определять объекты по картинке. Но так же, как алхимии недоставало научной основы, так её недостаёт и МО, по словам Рахими. Он утверждает, что исследователи часто не могут объяснить принципов работы их математических моделей – у них нет чёткого и подробного понимания их инструментов, и в этом смысле они работают в роли алхимиков, а не учёных.

Имеет ли это значение? Определённо да. Как говорит Рахими: «Мы создаём системы, управляющие здравоохранением и служащие посредниками в гражданских делах. Мы будем влиять на выборы. Мне хотелось бы жить в обществе, системы которого построены на проверяемом, строгом, исчерпывающем знании, а не на алхимии».

Мне тоже. На основе электричества мы создали то, что любим называть цивилизацией. Но, по крайней мере, мы понимали, почему и как оно работает. Если Рахими прав, то в случае с ИИ мы пока и близко к этому не подошли. Так что давайте прекратим думать об этом магически.

Комментарии (19)


  1. kababok
    16.08.2018 16:29

    Забавный факт, вспомнившийся по поводу утверждения из последнего абзаца — конечно же с некоторой долей упрощения:

    кто бы и что бы не говорил о всех новых изобретениях, IT-чудесах и могуществе ИИ, но вся наша цивилизация на данный момент почти полностью зависит от одного изобретения, которому в этом году исполняется 152 года.

    Называется оно «синхронный генератор переменного трёхфазного напряжения». :)


    1. Exchan-ge
      16.08.2018 19:29

      Называется оно «синхронный генератор переменного трёхфазного напряжения». :)


      "… Жизнь, вопреки ожиданию, входила в колею довольно гладко.
      Первая комиссия ведала транспортом. Она немедленно взяла под свое
      начало все железные дороги страны. Было отдано распоряжение в самый короткий срок привести в порядок и пустить в действие все имеющиеся в наличии паровозы, наладить
      работу путей сообщения без телеграфа и электрической сигнализации.
      … Все лошади были объявлены собственностью государства,
      зарегистрированы и распределены в зависимости от физического состояния
      либо на различные виды работ, либо для воспроизводства на племенные
      заводы. Особое внимание было уделено разведению лошадей.
      Комиссия подсчитала, что конный парк за два года удвоится, за три
      возрастет вчетверо, а через шесть-семь лет лошадь уже будет в каждом
      гараже вместо автомобиля.
      … приходилось обучать их использовать крупный рогатый скот для вспашки и других сельскохозяйственных работ, вплоть до перевозок на небольшие расстояния легких грузов.
      … предстояло выполнить грандиозную задачу: перевести все предприятия страны с электричества на пар и наладить выпуск приборов, машин, двигателей и аппаратуры, работающих без электричества"

      (с) Фредерик Браун. Волновики


      1. kababok
        16.08.2018 19:55

        Ну, уж тогда можно и вселенную Центрума у Лукьяненко вспомнить.

        И вообще — любой годный стимпанк. :)


        1. Exchan-ge
          16.08.2018 20:02

          Ну, уж тогда можно и вселенную Центрума у Лукьяненко вспомнить.


          Фредерик Браун написал это лет за пятнадцать до рождения Лукьяненко )


          1. kababok
            16.08.2018 20:04

            Ну, а Жюль Верн писал вообще в позапрошлом веке… ;)))


            1. Exchan-ge
              17.08.2018 01:09

              Ну, а Жюль Верн писал вообще в позапрошлом веке…


              Напомните, где у Жюль Верна про глобальный блэкаут.


              1. kababok
                17.08.2018 01:41

                Необитаемый остров?


                Для тех людей это был глобальный блэкаут — больше никого до поры, до времени рядом не было! :)


                1. Exchan-ge
                  17.08.2018 02:11

                  Для тех людей это был глобальный блэкаут


                  «Чтобы продать что-нибудь ненужное, нужно сначала купить что-нибудь ненужное...»

                  Для блэкаута требуется предварительное наличие не только электричества как такового — но и наличие целого ряда использующих электричество устройств — причем не любых, а таких, неработоспособность которых будет сразу замечена (лифт, например).

                  (Электробритва не подойдет )


      1. dmpetrenko
        18.08.2018 15:19

        Я читал, отличная книга.
        Однако вызывает недоумение отказ от дизеля.
        При некоторой сноровке можно построить дизельный мотор с гидравлической системой управления без всякой электрики, на этом даже легковушку можно сделать.


  1. vassabi
    16.08.2018 16:47

    вот за что люблю гуманитариев — за непосредственность приписывания собственных ощущений окружающим:

    «Любая достаточно развитая технология», — писал серый кардинал научной фантастики Артур Кларк, — «неотличима от магии». Эта цитата, которую без устали цитируют продвигающие технологию фанаты, пожалуй, стала самым разрушительным высказыванием из всех, что сделал Кларк, поскольку она поощряет наше гипнотическое изумление перед технологиями и отключает критическое мышление


    и, за чрезмерную гиперболу, особенно когда она совершенно не нужна:
    одна из признанных звёзд этой области, швырнул в аудиторию интеллектуальную гранату.


    И это все — вместо того, чтобы предложить конкретную конструктивную критику, а не очередное «мышки станьте ежиками». Кто б против.


  1. Karpion
    16.08.2018 21:32

    Фраза «любая достаточно развитая технология — неотличима от магии» содержит один хорошо видимый пробел (отсутствующий необходимый элемент), который, к сожалению, большинство людей пропускают мимо сознания: к слову «неотличима» необходимо указывать, кто именно не может отличить. (Аналогичный пробел бывает со словами «нужно», «важно», «ценно» — во всех случаях надо требовать от автора указать, кому именно это нужно/важно/ценно.)

    Так вот, мне достаточно очевидно, что этот пробел надо заполнить словом «с точки зрения невежд». Ну или "«с точки зрения обывателей» — учитывая поголовное невежество обывателей.
    Впрочем, что там думают обыватели — не так уж важно, ибо от них мало что зависит (за исключением демократических государств, где обыватели избирают правительство); гораздо важнее то, что думают люди, принимающие решения — а тут всё плохо.

    Главная проблема — в том, что для карьерного роста сейчас совершенно не требуется разбираться в предмете деятельности корпорации. Надо уметь извлекать прибыль — а это достигается скорее рекламой, чем техническим совершенством. Надо уметь отчитываться перед начальством — а оно обычно ещё более невежественно.

    Качественное образование никому не нужно (ну, кроме кучки ничего не значащих энтузиастов). Политическая лояльность ценится намного выше знаний. У нас тут политическую лояльность проявляют в виде православия, на Западе — в виде толерантности; я даже не знаю, что из этого хуже. Соответственно — детям вместо знаний вливают в головы «тимбилдинговую информацию» — терминологию и понятия соответствующей идеологии.

    А главная проблема ИИ — в том, что он снижает потребность в образованных людях, по кр.мере на ближайшее время. А вот в дальней перспективе — отсутствие людей, способных понять работу ИИ и обойтись без него, может оказаться весьма опасным.
    Т.е. главная опасность ИИ — в том, что он будет принимать решения, ориентированные ну никак не на интересы людей. А люди будут настолько глупы, что не смогут управлять инфраструктурой жизнеобеспечения без ИИ. И тут наилучшие шансы выжить будут у дикарей — типа папуасов Новой Гвинеи.

    PS: Тот факт, что упомянутый в первом абзаце пробел люди не замечают — это один из факторов недостатка образования.


    1. barbos6
      17.08.2018 00:22

      этот пробел надо заполнить словом «с точки зрения невежд». Ну или "«с точки зрения обывателей» — учитывая поголовное невежество обывателей.

      Ну что же вы так жестко строго об адептах секты Пресвятого Маска, молящихся Лучезарному Айфону?
      Может, как раз благодаря их групповым камланиям о Теслах и движется прогресс…

      А главная проблема ИИ

      в его отсутствии.
      И в невозможности, для разумного человека, даже приблизительно спрогнозировать время его появления.


      1. Exchan-ge
        17.08.2018 01:18

        И в невозможности, для разумного человека, даже приблизительно спрогнозировать время его появления


        Обычно путают понятия «искусственный интеллект» и «искусственный разум».
        Что до второго понятия — да, вы правы.

        А «искусственный интеллект» — всего лишь компьютерная программа, коих уже полно.
        Позволю себе прогноз — скорое появление программ ИИ, способных отформатировать произвольный текст по заданному шаблону:

        «По щучьему велению, по моему хотению — набранный текст, превратись в курсовую (бакалаврскую, магистерскую, дипломную) работу — с правильно оформленным титульным листом, аннотацией на трех языках, сносками и списком литературы! И без орфографических и грамматических ошибок.» (с) мой


    1. Deerenaros
      17.08.2018 15:42

      Пожалуй, ключевое слово таки не пропущено, и это слово «достаточно».

      Расскажите, пожалуйста, про компьютер, которым вы пользуетесь. Ну да, там есть процессор. По архитектуре фон Неймана. Это вы знали? Допустим. А то что АЛУ стало овердохрена, память разрослась на сотни иерархий, а управление теперь куда более разностороннее, и я не про банальную возможность подключить две клавиатуры, это очевидно. Я про то, что компьютеры во многом управляют сами собой: DHCP, IoT, 2G+3G+4G+5G, да банально на отдельно взятом ПК есть bootload, OS load, kernel space, user space, драйвера, демоны с сервисами, а сейчас довольно популярны виртуализации с контейнерами, причём одно другому не мешает… Тьфу! Почему это до сих пор работает? Потому что товарищ фон Нейман создал крайне отказоустойчивую систему — резервирование систем даётся из коробки на каждом уровне, а толерантность к ошибкам одной системы к другой позволяет их банально допускать и корректировать.

      Возвращаясь к ИИ. Ещё товарищ Тьюринг пояснил, что на машине Тьюринга (или эквивалентной) можно вычислить любую вычислимую функцию, хоть немного и не так и немного не про то, но это по большому счёту означает, что практически вся известная физика может быть имитирована. Нейронная сеть — это статистическая машина. Ну, условно. И да, её можно имитировать на компьютере.

      Условно проблемы две. Первая — это адекватность модели. В основном — математической. И это не сказка, а реальность. Все прекрасно понимают эту проблему, более того — она интуитивная, особенно когда только начинаешь изучать тему. Вопрос «И это работает?», мне кажется, задавал почти каждый. Но если посмотреть поближе действительно далеко от машинного обучения мы не ушли и нейронные сети на самом деле лишь удобная упаковка любой статистики. Она универсальна. Поэтому популярна. Но практически все проблемы проистекают именно из вопроса адекватности.

      А вторая проблема… Это масштаб. Самый серьёзный прорыв технологии совершился именно с подачи гугла и глубокого (глубинного) обучения. Благодаря ей стал возможным практически неограниченный рост нейронной сети с сопутствующим ростом возможностей. А благодаря тому, что по сути это упаковка статистики пристальное изучение содержимого позволило разворачивать её наизнанку, получая очень интересные эффекты.

      Так вот. Я отошёл от темы. Главная проблема ИИ в том, что это нихрена блджад не ИИ. Пока что это голая статистика. Взять миллион картинок, получить среднее и вычислять по порогу сплайн. Крайне условно, опуская обратное распространение ошибки, сжатие данных и автогенерируемые абстракции, но тем не менее. Но это ладно. Я как раз к тому, что пока ещё нейронные сети развиты недостаточно.

      Но ещё немного про достаточность. Если взять конкретно нейронные сети, то рядом с ними стоит рассмотреть ещё и вычислители: тензорные процессоры, GPU, CPU. Это уже не математика. Так ли вы в ней сильны? Конвейризация, спекуляция, кэширование, виртуализация, параллелизация… А это ещё и схемотехника. Суперскаляр допустим это конвейр с вычислителями (ALU, FPU, предсказатель), при этом есть и VLIW, MISC. И одно другому особо не мешает. Но ведь всё это работает на стеке физики. Это и квантовая механика с затворами и p-n переходами, полупроводники, электороны, занятные паразитные активные сопротивления. Много чего… И боюсь, что это ещё не всё, так как есть социология, экономика, военные науки: можете говорить что угодно про бред и ненужность, однако пара тысяч лет с вами не согласятся. Как минимум тот банальный факт, что программист не должен думать об интерфейсе, этим должен заниматься UI/UX дизайнер.

      Я вру? Я говорю совсем не о том? Я пишу какой-то бред? Но почему тогда вы пишите, что ИИ снижает потребность в образованных людях если даже не знаете, чем образованные люди занимаются. Намекну — с развитием технологий огромный стек критически переформировался не один раз. Банальное производство. Когда-то это было крайне сложное дело редких ремесленников, практически индивидуальных, при катастрофически сложном и опасном ручном труде требовались достаточно обширные знания. Да, в основном статистические, но вспомните про то, что любая нейронная сеть это статистическая машина работающая в сторону абстрагирования и всё встанет на свои места. И вот сегодня это конвейерное производство на заводе очень сильно автоматизированное: теперь не требуется физический труд. Но тем не менее требуются знания, причём чем дальше — тем обширнее.

      Можно ли автоматизировать дальше? Конечно! Правда ещё не одна тысяча лет потребуется, чтобы выдавить профсоюзы на улицу и пустить электронные щупальца в каждый угол. Более того — человек тоже развивается и если сотню лет назад смерть от инфекции это нормально сегодня есть антибиотики. Если пол сотни лет назад деревянный протез едва ли не лучшее предложение на рынке — сегодня…

      Блин. Замечание про сферу людей к месту… Если бы не одно но — всё взаимосвязано. Вы очень условно понимаете свою сферу, любой очень условно понимает свою сферу. Банально потому, что для нейронных сетей нужна подстилка в виде компьютера или нейронных клеток. А для них нужна другая подстилка.

      P.S. Вы понимаете как работаете сами? ДНК, РНК, митохондрии, АТФ, цикл Кербса, нейромедиаторы, гормоны, ионная проницаемость, белки-жиры-углеводы, жирные кислоты, аскорбинки, железо, соли, тяжёлые металлы (вы знали, что медь крайне необходима для катализации окислительных и восстановительных реакций). Тысячи их. А ведь это только один уровень абстракции. На этом работает социология, тогда как само работает на физике. Алсо, кроме вас есть ещё несколько царств животных, довольно сильно различающихся. И что вы мне скажете про магию? Не задумывались об этом. Магия это прекрасно, магия даёт нам немного надежды, что где-то там есть то, что мы ещё не знаем. Что-то, что даст нам счастье. Что-то, что даст нам бессмертие. Что-то, что даст нам возможности. Что-то, что даст нам что-то, о чём мы мечтаем, но ещё не знаем об этом.


      1. Karpion
        17.08.2018 16:34

        Расскажите, пожалуйста, про компьютер, которым вы пользуетесь. Ну да, там есть процессор. По архитектуре фон Неймана. Это вы знали?
        Да, знаю. Я также знаю, что там двоичная логика. Я знаю, как из неё делается сумматор и умножитель — и могу рассказать студентам.
        Я даже когда-то знал, как делается тактирование. Но успешно забыл.

        управление теперь куда более разностороннее, и я не про банальную возможность подключить две клавиатуры
        Ну, это просто в ходе эволюции накопился всякий мусор.

        Я про то, что компьютеры во многом управляют сами собой
        Вообще-то, компьютер изначально задумывался именно как система, управляющая чем-то — ну и собой тоже.

        2G+3G+4G+5G
        Это Вы точно про самоуправление?

        на отдельно взятом ПК есть bootload, OS load, kernel space, user space, драйвера, демоны с сервисами, а сейчас довольно популярны виртуализации с контейнерами, причём одно другому не мешает…
        Ну, если мешает — то «остаться должен только один». Так что ничего удивительного тут нет.

        А плохо то, что оно не мешает ещё и всяким Spectre, Meltdown, etc…

        Почему это до сих пор работает?
        Потому что это нужно людям. Ответ — чисто экономический.

        Ещё товарищ Тьюринг пояснил, что на машине Тьюринга (или эквивалентной) можно вычислить любую вычислимую функцию, хоть немного и не так и немного не про то, но это по большому счёту означает, что практически вся известная физика может быть имитирована.
        У Вас дырка в логике: Вы не доказали, что физика вычислима.

        Главная проблема ИИ в том, что это нихрена блджад не ИИ. Пока что это голая статистика. Взять миллион картинок, получить среднее и вычислять по порогу сплайн.
        А что такое ЧИ (человеческий интеллект)? Разве не то же самое?

        Если взять конкретно нейронные сети, то рядом с ними стоит рассмотреть ещё и вычислители: тензорные процессоры, GPU, CPU. Это уже не математика.
        Поясните про математику. Особенно в свете утверждения про Тюринга.

        Но почему тогда вы пишите, что ИИ снижает потребность в образованных людях если даже не знаете, чем образованные люди занимаются.
        Например — потому что реально образованные люди получаются только при массовом обучении населения. А ИИ — отменяет потребность в массовом образовании, и в результате через поколение высокообразованных людей не будет.

        Правда ещё не одна тысяча лет потребуется, чтобы выдавить профсоюзы на улицу и пустить электронные щупальца в каждый угол.
        Ну, Пол Пот управился с задачей за пару лет…

        Более того — человек тоже развивается и если сотню лет назад смерть от инфекции это нормально сегодня есть антибиотики.
        Ну так просто теперь убивают иные инфекции — устойчивые к антибиотикам.


        1. Deerenaros
          18.08.2018 00:03

          Я знаю, как из неё делается сумматор и умножитель — и могу рассказать студентам.

          Это самые основы, настолько элементарная база, что проходится в любом профильном ВУЗе.
          Я даже когда-то знал, как делается тактирование. Но успешно забыл.

          Мне кажется тактирование меньшая из проблем. Хотя она становится проблемой когда количество шин переваливает за дцать и у каждой по мультиплексору с отличной частотой. Но опять же, это детали.
          управление теперь куда более разностороннее, и я не про банальную возможность подключить две клавиатуры
          Ну, это просто в ходе эволюции накопился всякий мусор.

          Как-то больно вырвано из контекста и не совсем понял про мусор. Успешно работающие технологии — мусор? Сильное утверждение.
          Вообще-то, компьютер изначально задумывался именно как система, управляющая чем-то — ну и собой тоже.

          Настолько наглая ложь, что кровоточат уши. Компьютер задумывался как очень мощный калькулятор, причём для военных целей. Пожалуй, кому-то стоит изучить историю.
          Но даже если допустить, что мы пропускаем целый пласт истории в десяток другой лет и переносимся прямо в конец 60х, прямо в гавайский университет с ALOHAnet, когда появилась идея именно о построении автоматизированной системы, то даже здесь технологии были настолько слабыми, что пока ещё никто не воспринимал их как будущее автоматизации ещё десятилетие.
          2G+3G+4G+5G

          Боюсь вам действительно стоит сначала изучить вопрос, так как вопрос автоматический. Сотовые сети, пожалуй, одни из наиболее автоматизированных. Начиная от радиотракта (множественный доступ) заканчивая маршрутизацией связанной с биллингом и пачкой менее значимых сервисов.
          Ну, если мешает — то «остаться должен только один». Так что ничего удивительного тут нет.

          Кому как.


  1. UnrealQW
    16.08.2018 23:56

    Странно, что не упомянута отличная (художественная) книга «Гарри Поттер и методы рационального мышления». Автор — специалист в сфере ИИ. Рекомендую.


  1. Komesk
    18.08.2018 15:18

    Конечно, хотелось бы понимать как все работает, но мы спокойно живем в мире, чьи физические законы знаем лишь приблизительно. И тем не менее успешно этими законами пользуемся.


  1. Myxer
    18.08.2018 15:18

    То, что кто-то из пользователей. (а ученые-биологи, медики, физики, астрономы, и т.п. тоже именно пользователи) не пониматет математического аппарата, вовсе не делает из ИИ алхимию. Ведь у алхимии матаппарата нет вовсе, а матаппарат ИИ просто не все хотят выучить.
    Магии в МО опять же никакой нет. Это просто набор эффективных алгоритмов поиска минимума функции. Фишка только в том, что весь мозг человека — тоже набор таких алгоритмов, просто отполированный миллиардами лет эволюции (причем отполированный хреново).
    Нет никакой особой проблемы в том, что рядовой юзер только пользуется и не понимает чем пользуется. Так всегда было и так всегда будет. 80% населения — идиоты, не делайте из этого вселенскую проблему.