Сегодня в мире существует совсем немного специализированных процессоров, чипов или крупномасштабных систем, которые можно отнести к нейроморфным. Про нейроморфные вычисления в целом мы уже говорили, про нейроморфные чипы тоже, а в этой статье  расскажем о самых заметных на сегодня реализациях. Попытаемся раскрыть их суть, разобрать отличительные черты и выделить некоторые особенности.

Ну и как всегда, больше деталей на нашем инженерном портале.

TrueNorth: процессор, имитирующий миллион нейронов

TrueNorth — это продукт компании IBM и первый специализированный процессор, созданный для эффективной эмуляции ИНС. Чип IBM TrueNorth стал результатом десятилетней работы в рамках программы DARPA SYNAPSE, направленной на создание высокоплотной и энергоэффективной платформы, способной поддерживать когнитивные приложения. Ключевым компонентом является большой 28-нм CMOS-чип, содержащий 5,4 млн. транзисторов и 4 096 нейросинаптических ядер, каждое из которых состоит из 256 нейронов с 256 синаптическими входами. Микросхема полностью цифровая и работает асинхронно, за исключением тактовой частоты 1 кГц, которая определяет основной временной шаг.

Важно отметить, что чипы TrueNorth можно напрямую соединять друг с другом для формирования более крупных систем, это означает возможность неограниченной масштабируемости.

С точки зрения применения, TrueNorth подходит для использования в различных отраслях и сферах деятельности. Система подходит для решения задач по видеоаналитике, распознаванию речи и пр.  TrueNorth предлагает очень энергоэффективную обработку в реальном времени многомерных данных [2] [3] [4] [5] [6].

Энергоэффективный симулятор мозга Neurogrid

Neurogrid был разработан группой Brains in Silicon в Стэнфордском университете в рамках проекта, который был запущен в конце 2009 года. В настоящий момент система используется для проведения экспериментов по моделированию и визуализации [12].

Neurogrid — это многочиповая система со смешанным режимом. В системе используется подпороговые аналоговые схемы для моделирования динамики нейронов и синапсов в биологическом реальном времени с помощью цифровой импульсной связи. Все сигналы в нейрон поступают в одну из четырех общих цепей синапсов. Из-за «древообразной» структуры «вход» в один нейрон воздействует на соседние нейроны через резистивную сеть.

Каждый чип Neurocore включает в себя маршрутизатор, который может передавать пакеты пиковых значений между своим локальным чипом, его родительским чипом и двумя дочерними чипами.

Neurogrid состоит из 16 нейроядер/чипов, каждый из которых содержит 65 тыс. нейронов (всего 1 млн. нейронов), реализованных в подпороговых аналоговых схемах. Отдельное нейроядро изготавливается на матрице размером 11,9 мм × 13,9 мм. Плата из 16 нейроядер имеет размер 6,5 × 7,5, при этом вся плата потребляет примерно 3 Вт.

Режим работы Neurogrid в режиме реального времени делает его подходящим для управления роботами, в частности в рамках исследования Neurogrid был подключен к роботизированной руке для управления протезной конечностью и демонстрировал довольно многообещающие показатели. Дальнейшее финансирование проекта направлено на использование очень низкого энергопотребления технологии для разработки чипа, который может быть имплантирован в мозг для управления протезом конечности, а также для разработки технологии управления дронами [2] [3] [7].

BrainScaleS: ускорение в 10 000 раз

Нейроморфная система BrainScaleS была разработана в Гейдельбергском университете в рамках серии проектов, финансируемых Европейским союзом. BrainScaleS — это ускоренные нейроморфные вычисления, основанные на аналоговых нейронных цепях, превышающих пороговые значения. Проект нацелен на исследования в области вычислительной нейробиологии.

Ключевые особенности BrainScaleS:

●    Использование надпороговых аналоговых схем для реализации физических моделей нейронных процессов, что дает гораздо более быстрые схемы, работающие со скоростью, в 10 000 раз превышающей биологическую

●    Использование интеграции в масштабе пластины для доставки большого количества аналоговых нейронов, которые могут быть очень эффективно соединены между собой, чтобы обеспечить ускорение в 10 000 раз.

Крайне высокая скорость работы системы BrainScaleS предопределяет ее использование в областях, где необходимо длительный промежуток времени «сжать» до нескольких дней или даже часов. Например, долгосрочные учебные задачи, такие как моделирование нескольких лет развития детей, где ускорение в 10 000 раз потенциально может превратить годы в часы [2] [3].

SpiNNaker: суперкомпьютер, моделирующий работу мозга

SpiNNaker — это цифровая многоядерная система, работающая в реальном времени. Система реализует нейронные модели и модели синапсов в программном обеспечении, работающем на небольших встроенных процессорах. SpiNNaker был разработан для обеспечения масштабируемости и энергоэффективности за счет использования интеллектуальных методов коммуникации. Принцип его работы состоит в том, чтобы минимизировать расстояния, на которые должны быть перемещены часто используемые данные: код и наиболее часто используемые данные находятся в пределах одного-двух миллиметров от ядра, а редко используемые данные находятся в SDRAM, которая является примерно в 1 см от сердцевины.

Каждый узел SpiNNaker содержит 18 процессорных ядер ARM 968, каждое с 32 Кбайтами локальной памяти команд и 64 Кбайтами локальной памяти данных, 128 Мбайт общей памяти, маршрутизатор пакетов и вспомогательные схемы. Один узел может моделировать до 16 000 цифровых нейронов с 16 миллионами синапсов, потребляя 1 Вт энергии. Существует два размера печатных плат SpiNNaker: меньший из них представляет собой плату с 4 узлами (64 000 нейронов), больший — плату с 48 узлами (768 000 нейронов). Плата с 48 узлами потребляет до 60 Вт. Нейроморфная вычислительная система SpiNNaker HBP включает в себя миллион процессоров на 48-узловых платах и ​​способна имитировать импульсные сети в масштабе мозга мыши в биологическом реальном времени.

Во многих отношениях система SpiNNaker напоминает обычный суперкомпьютер, но имеет ряд существенных отличий:

●    Процессоры в SpiNNaker — это небольшие целочисленные ядра, изначально предназначенные для мобильных и встроенных приложений, а не высокопроизводительные «толстые» ядра, которые традиционно предпочитают разработчики суперкомпьютеров

●    Структура связи в SpiNNaker оптимизирована для отправки большого количества очень маленьких пакетов данных (каждый обычно передает один нейронный всплеск) многим адресатам по статически настроенным групповым путям, тогда как суперкомпьютеры обычно используют большие пакеты с динамической двухточечной маршрутизацией.

Маломасштабные системы SpiNNaker используются для решения задач в реальном времени, например, для управления роботами и обработки изображений, а также для моделирования биологических цепей, не требующих работы в реальном времени [2] [3].

Авангард: нейроморфный чип Loihi

Loihi — это нейроморфный чип, представленный Intel Labs в 2018 году и изготовленный по 14нм техпроцессу Intel FinFET. Loihi моделирует 130 тыс. нейронов и 130 млн синапсов в реальном времени. Чип состоит из 128 нейроморфных ядер, способных к обучению и логическим выводам. Протокол иерархической сети реализован для поддержки связи между нейроморфными ядрами.

Loihi считается первым полностью интегрированным чипом нейронной сети, поддерживающим сжатие разреженных сетей, многоадресную передачу от ядра к ядру, переменный синаптический формат и иерархическую связность.

Loihi может решать задачи оптимизации, такие как LASSO (Least Absolute Shrinkage and Selection Operator) и при этом он более чем в 30 раз энергоэффективнее традиционных используемых сейчас систем [2].[1]

Совсем недавно (во второй половине 2021 г.) компания Intel представила новый процессор — Loihi 2. В процессоре Loihi 2 выросло число нейронов со 128 тыс. до 1 млн. а также реализовано более гибкое программирование нейронной модели  (подробнее см. https://engineer.yadro.com/events/intel-loihi/).

Человеческий мозг vs нейроморфные системы: сравнение ключевых особенностей

Платформа

Мозг человека

Neurogrid

BrainScaleS

TrueNorth

SpiNNaker

Loihi

Технология

Биология

Аналоговая, подпороговый

Аналоговая, выше порога

Цифровая, фиксированный

Цифровая, программируемый

Цифровая

Микрочип

Neurocore

HiCANN

 

18 ARM cores

Intel FinFET

Общие размеры:

10 μ м

180 нм

180 нм

28 нм

130 нм

14 нм

Транзисторы

23 млн

15 млн

5.4 млрд

100 млн

2,07 млрд

Размер кристалла

1,7 см 2

0,5 см 2

4,3 см 2

1 см 2

0,41 мм 2

Нейроны

 

65 тыс.

512

1 млн

16 тыс.

130 тыс.

Синапсы

 

~ 100 млн

100 тыс.

256 млн

16 млн

130 млн

Мощность

 

150 мВт

1,3 Вт

72 мВт

1 Вт

н\д

Плата/система:

 

PCB

20 cm wafer

PCB

PCB

PCB

Число процессоров

 

16

352

16

48

 

Нейроны

 

1 млн

200 тыс.

16 млн

768 тыс.

 

Синапсы

 

4 млрд

40 млн

4B

768 млн

 

Мощность

 

3 Вт

500 Вт

1 Вт

80 Вт

 

Габариты:

1,4 кг

 

20 пластин в стойках7 ×19 ''

 

600 печатных плат в стойках 6×19 ''

 

Нейроны

100 млрд

 

4 млн

 

460 млн

 

Синапсы

10 15

 

1 млрд

 

460 млрд

 

Мощность

20 Вт

 

10 кВт

 

50 кВт

 

Энергия

10 фДж

100 пДж

100 пДж

25 пДж

10 нДж

 

Скорость против биологии

1 ×

1 ×

10 000 ×

1 ×

1 ×

1 х

Interconnect

3D прямая сигнализация

Дерево-многоадресная рассылка

Иерархический

2D одноадресная сетка

2D сетка-многоадресная рассылка

2D-сетка с ядрами 8x16

Модель нейрона

Разнообразный, фиксированный

Адаптивная квадратичная IF

Адаптивная экспоненциальная IF

LIF

Программируемый b

LIF

Модель синапса

Разнообразный

Общий дендрит

4-битный цифровой

Бинарный, 4 модулятора

Программируемый c

 

Пластичность во время выполнения

Да

Нет

STDP

Нет

Программируемый d

Програмируемый

Источник: [2] [3], открытые источники, данные компаний и пр.

Каждая из описанных выше систем имеет свои сильные стороны. Так, TrueNorth предлагает платформу для высокоинтегрированной и энергоэффективной работы приложений, SpiNNaker – максимальную гибкость для исследования различных нейронных моделей и правил пластичности, BrainScaleS обеспечивает высокое ускорение для длительного обучения, а Neurogrid предлагает высокую энергоэффективность с моделями, которые наиболее близки к физике и биологии. Loihi является наиболее перспективным и функционально богатым нейропроцессором. Все принципы функционирования этих систем в том или ином виде будут развиваться, а новые усовершенствованные системы будут еще производительнее и эффективнее.

Ключевые игроки на рынке нейроморфных технологий

В заключении перечислим менее известные пока проекты, в рамках которых апробируются разнообразные подходы к реализации с неплохим потенциалом к развитию: MNIFAT, DYNAP, 2IFWTA chip, Tianjic chip, ODIN [2] [9] [11].

Ниже перечислены наиболее крупные компании, которые на коммерческой основе предлагают рынку нейроморфные вычислительные системы или решения:

● Applied Brain Research — https://appliedbrainresearch.com/

●     BrainChip — https://brainchipinc.com/

● Green Mountain Semiconductor — https://www.greenmountainsemi.com/

● Hewlett Packard Enterprise — https://www.hpe.com/us/en/hewlett-packard-labs.html

● IBM — https://www.research.ibm.com/artificial-intelligence/hardware/

● Intel — https://newsroom.intel.com/tag/neuromorphic-computing/

●     Knowm — https://knowm.org/

● Natural Intelligence Semiconductor — https://www.naturalintelligence.ai/

● Neuromem Technologies — http://neuromem.ai/

● Westwell lab – http://www.westwell-lab.com/index_en.html

Список литературы:

[1] Gartner, Emerging Technology Analysis: Neuromorphic Computing, 2021

[2] Neuromorphic Computing Technology (NCT) state of the art overview, 2020 https://neurotechai.eu/media/filer_public/da/6c/da6c4853-a574-4f55-8d88-e1d496bb0674/state_of_art_2020.pdf

[3] Furber S Large-scale neuromorphic computing systems, https://iopscience.iop.org/article/10.1088/1741-2560/13/5/051001#jneaa3660f1

[4] Merolla P A et al 2014 A million spiking-neuron integrated circuit with a scalable communication network and interface Science 345 668–73

[5] Hsu J 2014 IBM’s new brain IEEE Spectrum pp 17–9

[6] Cassidy A S et al 2013 Cognitive computing building block: a versatile and efficient digital neuron model for neurosynaptic cores Proc. JCNN

[7] Benjamin B V et al 2014 Neurogrid: a mixed-analog-digital multichip system for large-scale neural simuations Proc. IEEE 102 699–716

[8] IBM, https://www.research.ibm.com/artificial-intelligence/hardware/

[9] 2021 Roadmap on Neuromorphic Computing and Engineering, https://arxiv.org/ftp/arxiv/papers/2105/2105.05956.pdf)

[10] ZHEQI YU (Student Member, IEEE), AMIR M. ABDULGHANI и пр. An Overview of Neuromorphic Computing for Artificial Intelligence Hardware-based Hopfield Neural Network

[11] Bipin Rajendran, Abu Sebastian, Michael Schmuker, Narayan Srinivasa, and Evangelos Eleftheriou, 2019, Low-Power Neuromorphic Hardware for Signal Processing Applications, https://arxiv.org/pdf/1901.03690.pdf)

[12] https://web.stanford.edu/group/brainsinsilicon/neurogrid.html

Комментарии (1)


  1. count_enable
    27.01.2022 18:26

    Если очень плохой реферат разделить на 3 части, он от этого лучше не станет. Плохо всё, начиная от перевода, который напоминает ранние 90-е, когда не было терминологии но надо было переводить техническую литературу, и заканчивая таблицей, которая напоминает классификацию животных по Борхесу.

    "Скорость против биологии"? "Технология: аналоговая, выше порога"? "Интерконнект: дерево, многоадресная рассылка"???

    Это ещё Промт, или уже "Китайская комната: технология выше порога, но ниже плинтуса"? Автор явно не имеет ни малейшего понятия по теме: путает ядра, сердцевину, импульсы, спайки и "всплески". Просто бессмысленный набор слов.