Наступила пора вычислений, вдохновлённых устройством мозга. Алгоритмы, использующие нейросети и глубинное обучение, имитирующее некоторые аспекты работы человеческого мозга, позволяет цифровым компьютерам достигать невероятных высот в переводе языков, поиске трудноуловимых закономерностей в огромных объёмах данных и выигрывать у людей в го.

Но пока инженеры продолжают активно развивать эту вычислительную стратегию, способную на многое, энергетическая эффективность цифровых вычислений подходит к своему пределу. Наши дата-центры и суперкомпьютеры уже потребляют мегаватты – 2% всего потребляемого электричества в США уходит на дата-центры. А человеческий мозг прекрасно обходится 20 Вт, и это малая доля энергии, содержащейся в потребляемой ежедневно еде. Если мы хотим улучшать вычислительные системы, нам необходимо сделать компьютеры похожими на мозг.

С этой идей связан всплеск интереса к нейроморфным технологиям, обещающий вынести компьютеры за пределы простых нейросетей, по направлению к схемам, работающим как нейроны и синапсы. Разработка физических схем, похожих на мозг, уже довольно неплохо развита. Проделанная в моей лаборатории и других учреждениях по всему миру работа за последние 35 лет привела к созданию искусственных нервных компонентов, похожих на синапсы и дендриты, реагирующие и вырабатывающие электрические сигналы почти так же, как настоящие.

Так что же требуется для того, чтобы интегрировать эти строительные блоки в полномасштабный компьютерный мозг? В 2013 году Бо Марр, мой бывший аспирант из Технологического института Джорджии помог мне оценить наилучшие современные достижения в инженерном деле и нейробиологии. Мы пришли к выводу, что вполне возможно создать кремниевую версию коры человеческого мозга при помощи транзисторов. Более того, итоговая машина занимала бы меньше кубического метра в пространстве и потребляла бы менее 100 Вт, что не так уж сильно отличается от человеческого мозга.

Я не хочу сказать, что создать такого компьютер будет легко. Придуманная нами система потребует несколько миллиардов долларов на разработку и постройку, и для придания ей компактности в неё войдут несколько передовых инноваций. Также встаёт вопрос того, как мы будем программировать и обучать подобный компьютер. Исследователи нейроморфизма пока ещё бьются над пониманием того, как заставить тысячи искусственных нейронов работать вместе и как найти полезные приложение для псевдомозговой активности.

И всё же тот факт, что мы можем придумать такую систему, говорит о том, что нам недолго осталось до появления чипов меньшего масштаба, пригодных для использования в портативной и носимой электронике. Такие гаджеты будут потреблять мало энергии, поэтому нейроморфный чип с высокой энергоэффективностью – даже если он возьмёт на себя лишь часть вычислений, допустим, обработку сигналов – может стать революционным. Существующие возможности, такие, как распознавание речи, смогут работать в шумных условиях. Можно даже представить себе смартфоны будущего, проводящие перевод речи в реальном времени в разговоре двух людей. Подумайте вот о чём: за 40 лет с момента появления интегральных схем для обработки сигналов, закон Мура улучшил их энергоэффективность примерно в 1000 раз. Очень похожие на мозг нейроморфные чипы смогут с лёгкостью превзойти эти улучшения, уменьшив потребление энергии ещё в 100 млн раз. В результате вычисления, для которых раньше нужен был дата-центр, уместятся у вас на ладони.

В идеальной машине, приблизившейся к мозгу, нужно будет воссоздать аналоги всех основных функциональных компонентов мозга: синапсы, соединяющие нейроны и позволяющие им получать и реагировать на сигналы; дендриты, комбинирующие и проводящие локальные вычисления на базе входящих сигналов; ядро, или сома, регион каждого нейтрона, объединяющий вход с дендритов и передающий выход на аксон.

Простейшие варианты этих основных компонентов уже реализованы в кремнии. Начало этой работе дал тот же самый металл-оксид-полупроводник, или MOSFET, миллиарды экземпляров которого используются для построения логических схем в современных цифровых процессорах.

У этих устройств много общего с нейронами. Нейроны работают при помощи барьеров, управляемых напряжением, и их электрическая и химическая активность зависит в основном от каналов, в которых ионы двигаются между внутренним и наружным пространством клетки. Это гладкий, аналоговый процесс, в котором происходит постоянное накопление или уменьшение сигнала, вместо простых операций типа вкл/выкл.

MOSFET тоже управляются напряжением и работают при помощи движений отдельных единиц заряда. А когда MOSFET работают в «подпороговом» режиме, не достигая порога напряжения, переключающего режимы вкл и выкл, количество текущего через устройство тока очень мало – менее одной тысячной того тока, что можно найти в типичных переключателях или цифровых затворах.

Идею о том, что физику подпороговых транзисторов можно использовать в создании мозгоподобных схем, высказал Карвер Мид из Калтеха, способствовавший революции в области сверхбольших интегральных схем в 1970-х. Мил указал на то, что разработчики чипов не пользовались многими интересными аспектами их поведения, применяя транзисторы исключительно для цифровой логики. Этот процесс, как писал он в 1990-м, похож на то, будто «всю прекрасную физику, существующую в транзисторах, сминают до нолей и единиц, а затем на этой основе мучительно строят затворы AND и OR, чтобы заново изобрести умножение». Более «физический» или основанный на физике компьютер мог бы выполнять больше вычислений на единицу энергии, чем обычный цифровой. Мид предсказал, что такой компьютер и места будет занимать меньше.

В последовавшие годы инженеры нейроморфных систем создали все базовые блоки мозга из кремния с высокой биологической точностью. Дендриты, аксон и сому нейрона можно сделать из стандартных транзисторов и других элементов. К примеру, в 2005 году мы с Итаном Фаркухаром создали нейронную схему из набора из шести MOSFET и кучки конденсаторов. Наша модель выдавала электрически импульсы, очень похожие на то, что выдаёт сома нейронов кальмара – давнего объекта экспериментов. Более того, наша схема достигла таких показателей с уровнями тока и потребления энергии близкими к существующим в мозгу кальмара. Если бы мы захотели использовать аналоговые схемы для моделирования уравнений, выведенных нейробиологами для описания этого поведения, нам пришлось бы использовать в 10 раз больше транзисторов. Выполнение таких расчётов на цифровом компьютере потребовало бы ещё больше места.


Синапсы и сома: транзистор с плавающим затвором (слева вверху), способный хранить различное количество заряда, можно использовать для создания координатного массива искусственных синапсов (слева внизу). Электронные версии других компонентов нейрона, типа сомы (справа), можно сделать из стандартных транзисторов и других компонентов.

Синапсы эмулировать чуть сложнее. Устройство, ведущее себя, как синапс, должно уметь запоминать, в каком состоянии оно находится, отвечать определённым образом на входящий сигнал и адаптировать свои ответы со временем.

К созданию синапсов есть несколько потенциальных подходов. Наиболее развитый из них – обучающийся синапс на одном транзисторе (single-transistor learning synapse, STLS), над которым мы с коллегами в Калтехе работали в 1990-х, когда я была аспирантом у Мида.

Впервые мы представили STLS в 1994-м, и он стал важным инструментом для инженеров, создающих современные аналоговые схемы – к примеру, физические нейросети. В нейросетях у каждого узла сети есть связанный с ним вес, и эти веса определяют, как именно комбинируются данные с разных узлов. STLS был первым устройством, способным содержать набор разных весов и перепрограммироваться на лету. Кроме того, устройство энергонезависимо, то есть запоминает своё состояния, даже когда не используется – это обстоятельство значительно уменьшает потребность в энергии.

STLS – это разновидность транзистора с плавающим затвором, устройства, используемого для создания ячеек в флэш-памяти. В обычном MOSFET затвор управляет проходящем через канал током. У транзистора с плавающим затвором есть второй затвор, между электрическим затвором и каналом. Этот затвор не соединён напрямую с землёй или любым другим компонентом. Благодаря такой электроизоляции, усиленной высококачественными кремниевыми изоляторами, заряд долгое время сохраняется в плавающем затворе. Этот затвор способен принимать разное количество заряда, в связи с чем может давать электрический отклик на многих уровнях – а это необходимо для создания искусственного синапса, способного варьировать свой ответ на стимул.

Мы с коллегами использовали STLS, чтобы продемонстрировать первую координатную сеть, вычислительную модель, пользующуюся популярностью у исследователей наноустройств. В двумерном массиве устройства находятся на пересечении линий ввода, идущих сверху вниз, и линий вывода, идущих слева направо. Такая конфигурация полезна тем, что позволяет программировать соединительную силу каждого «синапса» отдельно, не мешая другим элементам массива.

Благодаря, в частности, недавней программе DARPA под названием SyNAPSE, в области инженерного нейроморфинга произошёл всплеск исследований искусственных синапсов, созданных из таких наноустройств, как мемристоры, резистивная память и память с изменением фазового состояния, а также устройства с плавающим затвором. Но этим новым искусственным синапсам будет тяжело улучшаться на основе массивов с плавающим затвором двадцатилетней давности. Мемристоры и другие виды новой памяти сложно программировать. Архитектура некоторых из них такова, что обратиться к определённому устройству в координатном массиве довольно сложно. Другие требуют выделенного транзистора для программирования, что существенно увеличивает их размер. Поскольку память с плавающим затвором можно запрограммировать на большой спектр значений, её легче подстроить для компенсации производственных отклонений от устройства к устройству по сравнению с другими наноустройствами. Несколько исследовательских групп, изучавших нейроморфные устройства, пробовали внедрить наноустройства в свои разработки и в результате стали использовать устройства с плавающим затвором.

И как же мы совместим все эти мозгоподобные компоненты? В человеческом мозге нейроны и синапсы переплетены. Разработчики нейроморфных чипов тоже должны избрать интегрированный подход с размещением всех компонентов на одном чипе. Но во многих лабораториях такого не встретишь: чтобы с исследовательскими проектами было проще работать, отдельные базовые блоки размещаются в разных местах. Синапсы могут быть размещены в массиве вне чипа. Соединения могут идти через другой чип, программируемую пользователем вентильную матрицу (FPGA).

Но масштабируя нейроморфные системы, необходимо убедиться, что мы не копируем строение современных компьютеров, теряющих значительное количество энергии на передачу битов туда и сюда между логикой, памятью и хранилищем. Сегодня компьютер легко может потреблять в 10 раз больше энергии на передвижение данных, чем на вычисления.

Мозг же, наоборот, минимизирует энергетическое потребление коммуникаций благодаря высокой локализации операций. Элементы памяти мозга, такие, как сила синапсов, перемешана с передающими сигнал компонентами. А «провода» мозга – дендриты и аксоны, передающие входящие сигналы и исходящие импульсы – обычно короткие по сравнению с размером мозга, и им не требуется много энергии для поддержания сигнала. Из анатомии мы знаем, что более 90% нейронов соединяются только с 1000 соседних.

Другой большой вопрос для создателей мозгоподобных чипов и компьютеров – алгоритмы, которые должны будут работать на них. Даже слабо похожая на мозг система может дать большое преимущество перед обычной цифровой. К примеру, в 2004 году моя группа использовала устройства с плавающим затвором для выполнения умножения в обработке сигнала, и на это потребовалось в 1000 раз меньше энергии и в 100 раз меньше места, чем цифровой системе. За прошедшие годы исследователи успешно продемонстрировали нейроморфные подходы к другим видам вычислений для обработки сигналов.

Но мозг всё ещё остаётся в 100 000 раз эффективнее этих систем. Всё оттого, что хотя наши текущие нейроморфные технологии используют преимущества нейроноподобной физики транзисторов, они не используют алгоритмы подобные тем, что использует мозг для своей работы.

Сегодня мы только начинаем открывать эти физические алгоритмы – процессы, которые смогут позволить мозгоподобным чипам работать с эффективностью, близкой к мозговой. Четыре года назад моя группа использовала кремниевые сомы, синапсы и дендриты для работы ищущего слова алгоритма, распознававшего слова в аудиозаписи. Этот алгоритм показал тысячекратное улучшение в энергоэффективности по сравнеию с аналоговой обработкой сигналов. В результате, уменьшая напряжение, подаваемое на чипы и используя транзисторы меньшего размера, исследователи должны создать чипы, сравнимые по эффективности с мозгом на многих типах вычислений.

Когда я 30 лет назад начинала исследования в области нейроморфизма, все верили в то, что разработка систем, похожих на мозг, даст нам удивительные возможности. И действительно, сейчас целые индустрии строятся вокруг ИИ и глубинного обучения, и эти приложения обещают полностью преобразовать наши мобильные устройства, финансовые учреждения и взаимодействие людей в общественных местах.

И всё же эти приложения очень мало полагаются на наши знания о работе мозга. В следующие 30 лет мы без сомнения сможем увидеть, как эти знания всё более активно используются. У нас уже есть множество основных аппаратных блоков, необходимых для преобразования нейробиологии в компьютер. Но мы должны ещё лучше понять, как эта аппаратура должна работать – и какие вычислительные схемы дадут наилучшие результаты.

Считайте это призывом к действию. Мы достигли много, используя очень примерную модель работы мозга. Но нейробиология может привести нас к созданию более сложных мозгоподобных компьютеров. И что может быть лучше использования нашего с вами мозга для понимания того, как сделать эти новые компьютеры?