В течение последних нескольких недель я вёл переписку по электронной почте с моим любимым анархо-синдикалистом Ноамом Хомским. Сначала я обратился к нему, чтобы спросить, не заставили ли его недавние разработки в области ANNs (искусственных нейронных сетей) пересмотреть свою знаменитую лингвистическую теорию универсальной грамматики. Наш разговор коснулся возможных ограничений глубокого обучения, того, насколько хорошо на самом деле ANN моделирует биологический мозг, а также побеседовали на философские темы. Здесь я не буду напрямую цитировать профессора Хомского, поскольку наша дискуссия была неофициальной, но попытаюсь резюмировать ключевые выводы.

И, между прочим, вчера, 7 декабря, Ноаму Хомскому исполнилось аж 92 года!

кф «Капитан Фантастик»

---

Немного о Ноаме Хомском

Ноам Хомский — прежде всего профессор лингвистики (многие называют его «отцом современной лингвистики»), но он, вероятно, более известен за пределами академических кругов как активист, философ и историк. Хомский — автор более 100 книг, признан ведущим мировым общественным интеллектуалом в опросе 2005 года, проведённом журналами Foreign Policy и Prospect.

Я восхищаюсь работами Хомского, особенно его критикой американского империализма, неолиберализма и средств массовой информации. Где наши взгляды несколько разошлись, так это в отношении его отказа от континентальных философов (особенно французских постструктуралистов). Возможно, я был испорчен слишком частыми заимствованиями из источников Фуко, Лакана и Деррида во времена, когда только стал взрослым, но я всегда находил аналитический подход Хомского к философии нравственно привлекательным, но немного «очищенным» ради удовлетворительного объяснения нашего мира. Хотя его презрение к этим постструктуралистским светилам бросается в глаза, философские взгляды Хомского тоньше, чем полагают его недоброжелатели.

Универсальная грамматика

Сразу скажу, что я не лингвист, но в этой части статьи попытаюсь дать обзор теории универсальной грамматики. До Хомского преобладающей гипотезой в лингвистике была гипотеза о том, что люди рождаются с разумом «tabula rasa» (чистый лист) и овладевают языком через подкрепление. То есть дети слышат, как говорят их родители, имитируют услышанное, а когда правильно употребляют слово или строят предложение, то их хвалят. Хомский показал, что подкрепление — только часть процесса и что в человеческом мозге должны иметь место врождённые универсальные структуры, облегчающие усвоение языка. Его основными аргументами были:

1. Дети усваивают язык слишком быстро, а данных слишком мало, чтобы это можно было объяснить обучением с подкреплением (аргумент известен как «бедность стимула»).
   
2. Животные не овладевают языком даже тогда, когда им представлены те же данные, что и людям. В 1960-х годах проводился знаменитый эксперимент, в ходе которого лингвисты попытались научить шимпанзе по имени Ним Чимпски языку жестов, но спустя 10 лет обезьяна всё ещё не могла общаться, выполняя лишь несколько элементарных задач.
   
3. Общие черты есть во всех человеческих языках. Этот факт показывает, что даже при независимом развитии языка существуют универсальные черты, которые проявляются благодаря общим структурам в человеческом мозге вообще.
   
4. Дети не запрограммированы на изучение определённого языка. Если вы возьмёте ребенка, родившегося в Кении, и воспитаете его в Германии, он овладеет немецким языком так же легко, как и немецкий ребенок.
   

Эта теория жёстко генетически закодированной способности к языку получила широкое признание в научном сообществе, но очевидным был следующий вопрос: «Как выглядит эта универсальная грамматика?» Вскоре отважные исследователи начали открывать общие свойства всех человеческих языков, но до сих пор нет единого мнения о том, какую форму имеют наши врождённые способности к языку. Можно с уверенностью предположить, что универсальная грамматика не состоит из конкретных синтаксических правил, но, скорее всего, является фундаментальной когнитивной функцией.

Хомский постулировал, что в какой-то момент истории люди развили способность выполнять простой рекурсивный процесс, называемый «слиянием», и этот процесс отвечает за свойства и ограничения синтаксических структур в человеческих языках. Это немного абстрактно (и слишком сложно, чтобы разрешить всё правильно), но по существу «слияние» — это процесс взятия двух объектов и их объединения для формирования нового объекта. Несмотря на кажущуюся прозаичность, способность мысленно комбинировать понятия и делать это рекурсивно обманчива и позволяет нам создавать «бесконечное разнообразие иерархически структурированных выражений». Этот небольшой, но решающий генетический скачок может не только объяснить нашу способность к вербальному общению, но и привести к тому, что он может отвечать (по крайней мере частично) за наши математические таланты и творческие способности человека в более широком смысле. Эта мутация «слияния», произошедшая у одного из наших предков около 100 000 лет назад, может быть одной из ключевых вещей, отделяющих человека от других животных.

Искусственная нейронная сеть

Основная причина, по которой я связался с профессором Хомским, заключалась вот в чём: я хотел услышать его взгляды на искусственные нейронные сети (о них я знаю значительно больше, чем о лингвистике). ANN — это подмножество моделей машинного обучения, которые смоделированы по образцу человеческого мозга и учатся аналогичным образом: просматривая множество примеров. Такие модели требуют очень мало кода и могут выполнять довольно широкий спектр сложных задач (например маркирование изображений, распознавание голоса, генерация текста) с относительно простой архитектурой. Поучительный пример такого подхода — модель AlphaGo (разработана компанией Google), которая научилась играть в Go (сложную, проблемную настольную игру) и в конечном счёте стала непобедимой для чемпионов мира среди людей. Самое впечатляющее в этом то, что она была обучена играть без жёстко закодированных правил или вмешательства человека, то есть модель была «tabula rasa». Хотя ANN, безусловно, не идеальная аналогия с человеческим мозгом, я спросил профессора, не говорят ли ANN о том, что на самом деле, чтобы учиться на разбросанных данных, нам не нужны жёстко закодированные когнитивные структуры.



Хомский корректно указал на то, что ANN полезны в узкоспециализированных задачах, но эти задачи должны быть резко ограничены (хотя их объём может показаться огромным, учитывая память и скорость современных компьютеров). Он сравнил ANN с массивным краном, работающим на высотном здании; хотя такая работа, безусловно, впечатляет, и здание, и кран существуют в системах с фиксированными границами. Это направление рассуждений согласуется с моим наблюдением о том, что все прорывы в глубоком обучении, которые я наблюдал, происходили в очень специфических областях, и мы, похоже, не приближаемся ни к чему подобному в обобщённом искусственном интеллекте (что бы он ни значил). Хомский также указал на растущее число свидетельств того, что ANN не могут точно моделировать человеческие способности к познанию, которые сравнительно богаты настолько, что задействованные вычислительные системы могут распространяться даже на клеточный уровень.

Если Хомский прав (а я думаю, что он прав), каковы последствия продвигающихся исследований глубокого обучения? В конце концов, в человеческом мозге нет ничего волшебного. Это просто физическая структура, состоящая из атомов, и поэтому вполне рационально полагать, что в какой-то момент в будущем мы сможем создать искусственную версию мозга, способную к обобщённому интеллекту. С учётом сказанного современные ANN предлагают только симулякр познания такого рода, и по логике Хомского, мы не достигнем этой следующей границы, не углубив вначале понимание того, как работают органические нейронные сети.

Моральный релятивизм

Этичное применение ИИ — основная проблема современных дата-сайентистов, но временами она может казаться неопределённой и субъективной в другой конкретной области. Работа Хомского не только даёт уникальную техническую перспективу будущего глубокого обучения; универсальная грамматика также имеет глубокие моральные последствия, поскольку язык — это то, как мы говорим о мире и интерпретируем его. Например, Хомский считает, что упомянутые выше врождённые нейронные структуры исключают моральный релятивизм и что должны существовать универсальные моральные ограничения. Существует много различных разновидностей морального релятивизма, но основной принцип в том, что не может быть объективной основы для этических определений. Моральные релятивисты утверждают, что, хотя мы можем глубоко верить в такие утверждения, как «рабство аморально», у нас нет эмпирического способа доказать это тем, кто с нами не согласен, поскольку любое доказательство обязательно будет опираться на ценностные суждения, а наши ценности в конечном счёте экзогенны и определяются культурой и опытом.

Хомский утверждает, что мораль проявляется в мозге и, следовательно, по определению является биологической системой. Все биологические системы имеют вариации (естественные и обусловленные различными стимулами), но эти вариации также имеют пределы. Рассмотрим зрительную систему человека: эксперименты показали, что она обладает некоторой пластичностью и формируется опытом (особенно в раннем детстве). Варьируя данные, поступающие в зрительную систему человека, можно буквально изменить распределение рецепторов и тем самым изменить способ восприятия человеком горизонтальных и вертикальных линий. Чего вы не можете сделать, так это превратить человеческий глаз в глаз насекомого или дать кому-то возможность видеть рентгеновские лучи. Согласно Хомскому, биологические системы (включая мораль) могут изменяться довольно широко, но не бесконечно. Он продолжает говорить, что, даже если вы верите, что наша мораль полностью происходит от культуры, вам всё равно нужно получить эту культуру таким же образом, как вы приобретаете любую систему (в результате работы врожденных когнитивных структур, которые универсальны).

Мое первое дополнение к сказанному этой статье заключается вот в чём: если мы предполагаем, что мораль — это просто следствием «слияния» (или чего-то столь же примитивного), то, хотя это может накладывать теоретические ограничения, моё интуитивное понимание заключается в том, что наша мораль может изменяться настолько дико, что делать универсальные суждения практически невозможно. В прошлом Хомский дискутировал о том, как моральный прогресс, по-видимому, следует определённым тенденциям (например, принятие различий, отказ от угнетения и т. д.), но я изо всех сил пытаюсь понять, как эти широкие тенденции будут последовательно возникать из таких простых атомарных когнитивных структур. Когда я говорил об этом профессору, он утверждал, что этот взгляд иллюзорен и что, когда мы не понимаем вещей, они кажутся более разнообразными и сложными, чем на самом деле. Он привел пример отклонения, наблюдавшегося в скелетах тел животных после кембрийского взрыва. Всего лишь 60 лет назад в биологии господствовало мнение, что организмы изменяются настолько сильно, что каждый из них должен изучаться индивидуально, но теперь мы знаем, что это совершенно неверно и что генетические различия между видами довольно незначительны. Вариации в сложных приобретённых системах должны быть минимальными, иначе мы не смогли бы их приобрести.

Не забывайте про промокод HABR, добавляющий 10% к скидке на баннере.

• Продвинутый курс «Machine Learning Pro + Deep Learning»
• Курс по Machine Learning