Корпорация IBM работает совместно с DARPA над созданием нейроморфных чипов (Systems of Neuromorphic Adaptive Plastic Scalable Electronics, SyNAPSE) уже много лет, реализация проекта началась еще в 2008 году. Цель — создание чипов и систем, работа которых была бы организована по принципу работы нейронов мозга животных (например, грызунов). Это очень сложная задача, и специалистам пришлось потратить на ее решение немало времени. Сейчас, наконец, представлены первые значительные результаты проекта SyNAPSE.
Система TrueNorth, состоит из отдельных чипов-модулей, которые работают, как нейроны мозга. Соединяя нейроморфные чипы в систему, исследователи получают искусственную нейронную сеть. Версия, которую представила IBM, включает 48 млн соединений — это близко к числу синапсов в мозге крысы. Представленная структура состоит из 48 отдельных чипов-модулей.
TrueNorth поддерживает "глубинное обучение", это набор алгоритмов машинного обучения, которые пытаются моделировать высокоуровневые абстракции в данных, используя архитектуры, состоящие из множества нелинейных трансформаций.
Под термином «глубина» в данном случае понимается глубина графа вычислений модели — максимальная длина между входным и выходным узлами конкретной архитектуры. В случае, например, простой нейронной сети прямого распространения глубина соответствует количеству слоев сети. Термин 'глубокое обучение' акцентирует внимание на сложности обучения внутренних (глубоких) слоев многослойной сети, которые плохо поддаются классическим методам обучения, таким как метод обратного распространения ошибки.
TrueNorth потребляет гораздо меньше энергии и занимает меньше места, чем традиционные компьютерные системы. Так, отдельный чип TrueNorth, содержащий 5,4 млрд транзисторов, потребляет всего 70 мВт энергии. А процессор Intel с 1,4 млрд транзисторов, потребляет от 35 до 140 Вт.
Будущие версии TrueNorth могут быть значительно уменьшены — до размера, который позволяет использовать такую систему в смартфоне или умных часах. У чипов TrueNorth есть и значительные преимущества перед GPU и FPGA. Корпорация IBM надеется, что TrueNorth станет тем фактором, который позволит компьютерным системам выйти на новый этап развития. Новые технологии могут использоваться не только для создания смартфонов или умных часов — нейроморфные чипы возможно использовать и в высокопроизводительных системах, устанавливаемых в дата-центрах.
Специалисты утверждают, что все это позволяет ускорить процесс обработки данных, поскольку информацию не требуется постоянно посылать и принимать, как в традиционных системах. Например, TrueNorth может идентифицировать все машины на фотографиях пользователя, без необходимости загрузки каждого фото на удаленный сервер для обработки в «облаке». Для обучения такой системе не требуется постоянное подключение к Сети.
Обычная вычислительная система анализирует информацию в определенной последовательности, задачи ставятся «в очередь», если можно так выразиться. А нейроморфные чипы могут одновременно работать с огромным числом операций, выполняя их параллельно.
Интересную аналогию проводят специалисты IBM с мозгом человека. Так, корпорация сравнивает обычные компьютерные системы с левым полушарием. Нейроморфные системы умеют находить отдельные паттерны в больших массивах данных, и интерпретируют эту информацию, как правое полушарие мозга. Возможно, в ближайшем будущем ученые смогут объединить возможности традиционных компьютеров и нейромфорных чипов, создав единую сверх-эффективную структуру.
Для того, чтобы объяснить принципы работы нейроморфных чипов, корпорация провела семинар, в котором приняли участие технические специалисты, ученые, чиновники. Интересно, что для работы с нейромфорными чипами необходим специальный язык программирования, который также был представлен IBM.
Сейчас проект находится на одной из начальных стадий развития, и до использования TrueNorth в смартфонах или умных часах еще далеко.
Комментарии (16)
leshabirukov
27.08.2015 16:41+4Одночиповые отладочные платы в свободной продаже будут?
veloriba
27.08.2015 16:46Это получается 5,4к транзисторов на одну нейронную связь. Как то многовато. На один нейрон я бы ще ще понял. Вот бы глянуть на архитектуру.
a5b
28.08.2015 03:34ru.wikipedia.org/wiki/TrueNorth (текст cc-by-sa 3, авторы)
реализованы:[1] один миллион эмулируемых «нейронов»; 256 миллионов эмулируемых связей между нейронами — «синапсов»; около 400 мегабит SRAM памяти (приблизительно 50 мегабайт). Для организации такого количества элементов использовалось 4096 блоков («ядер») в двухмерном массиве размером 64 на 64. Каждый блок («ядро»)… позволяет… моделировать 256 «нейронов» с частотой 1 кГц[2]… Моделируются «нейроны» с двоичным состоянием (Spiking neurons; Integrate-and-fire). Синапсы имеют веса, выражающиеся как 9-ти битные целые, и 4-битную временную задержку.[2]
5.4 млрд транзисторов (на площади 430 мм2 — это очень крупный чип) на 4096 ядер — 1.3 млн транзисторов на ядро, из них 0,6 — sram память (6*100 кбит). Каждый эмулируемый нейтрон имеет 256 «синапсов», частота в 1 кГц относится, вероятно к передаче эмулируемых сигналов по «синапсам». Техпроцесс чипа — 28 нм с «low-leakage transistors». Традиционной частоты нет, т.к это не чистая синхронная схема, а частично асинхронная («eventdriven, hybrid asynchronous-synchronous approach»)
Подробности в статье «A million spiking-neuron integrated circuit with a scalable communication network and interface» // Science 8 August 2014: Vol. 345 no. 6197 pp. 668-673 DOI: 10.1126/science.1254642 — paulmerolla.com/merolla_main_som.pdf
«Each core has 104,448 bits of local memory to store synapse states (65,536 bits), neuron states and parameters (31,232 bits), destination addresses (6, 656 bits), and axonal delays (1, 024 bits). „
Особенно часть “Supplementary Text: Architecture & Design». Физические «нейроны» получаются из 1,3 тыс вентилей, логические нейроны реализуются путем временного мультиплексирования 256 штук на одном физическом за шаг эмуляции (1 мс). Номинальная частота эмуляции («The time step is nominally 1ms,») — «1kHz», частота сигналов выбора нейрона — 256 кГц. Напряжение питания 0.775V. Типичные частоты срабатывания нейронов — 20 Гц, максимальная (в бенчмарке на потребление питания) — 200 Гц. («For a typical network with neurons that fire at an average rate of 20Hz and make an average of 128 connections, a core will receive on average five incoming spike events in a 1ms time step, which corresponds to ~640 neural updates… out of the possible 256 x 256»)
The neuron is an extension of the integrateand-fire neuron with additional features (model described in (20), Table S2) and uses 1,272 logic gates (924 gates for the neuron and 348 gates for the random number generator) in a 28nm process, corresponding to an area of 2900µm2; storing neuron state (20 bits) requires an additional area of 3.0µm2 per neuron. By multiplexing the neuron 256 times in a time step, the effective area per neuron is: 2900µm2/256 + 3.0µm2 = 14.3µm2. For reference, a state-ofthe-art (non-multiplexed) mixed analog–digital neuron uses on the order of 400µm2 in 130nm technology (6).
Стр 30 — «Fig. S1: Layout and operation of the neurosynaptic core. The core implements 256 neurons, 256 axons, and a 256x256 array of synapses. (A) Layout of the five main blocks of the core»
kraidiky
27.08.2015 17:29+5Система TrueNorth, состоит из отдельных чипов-модулей, которые работают, как нейроны мозга.
Оставим сейчас за кадром то что никто на самом деле не знает как работают нейроны мозга. В мозгу одних только нейромедиаторов под 4000, а не так давно было известно всего 12, и внесинаптических рецепторов для этих нейромедиаторов до 25% от общего количества рецепторов.
Гораздо интереснее другое — на сколько я понимаю, TrueNorth спайковый процессор, а для спайковых сетей сколько нибудь надёжно работающих алгоритмов обучения ещё недавно не было, есть только совсем общий механизм подкрепления и всё. Что-то изменилось в этой части пока мы тут все спали? Можно почитать про примеры эффективного обучения спайковых систем?
TrueNorth поддерживает «глубинное обучение»
— Ссылка битая.
— Можно узнать миксимальную/минимальную/среднюю/запланированную глубину в полученой системе? Она фиксирована для комплекса или зависит от задачи?
— Если не трудно расскажите, а у одного процессора TrueNorth в каких пределах можно перепрограммировать архитектуру связей в процессоре? Могу я, например, все нейроны одного чипа собрать в 10 слоёв или какую-то неслоистую структуру? Могу ли менять структуру связей на лету?
Термин 'глубокое обучение' акцентирует внимание на сложности обучения внутренних (глубоких) слоев многослойной сети, которые плохо поддаются классическим методам обучения, таким как метод обратного распространения ошибки.
Если не использовать предобучения или других способов, которые эту проблему успешно решают.
xiWera
27.08.2015 19:24+1На рекламном проспекте всегда только плюсы
еще, похоже, бенефит в том, что само «обучение» (то есть фактически изменение весов) делается одномоментно у всей сети с каким-то смешным потреблением.
PerlPower
28.08.2015 06:46+2Мне кажется что в области машинного обучения все большее значение начинает играть ноу-хау, разрабатываемый в корпорациях. В смысле у нас есть общедоступная теория, которую мы знаем и… наработки корпораций на основе этой теории. И хоть эти наработки базируются на известных алгоритмах, но из-за того, что в том же IBM есть ресурсы и оборудование, которые позволяют оценить насколько конкретный алгоритм эффективен для реальных задач, выхлоп от такого алгоритма у академика и отдела IBM будет разным. Соответственно и наши оценки того, что «работает», а что нет, будут разниться. Я абсолютно не разбираюсь в машинном обучении, но то что я нахожу в открытом доступе, и те пресс релизы, что выкладывают корпорации — это небо и земля. Ну а может быть xiWera верно подмечает — в рекламе только плюсы.
Godless
27.08.2015 21:31+1хм. в принципе думаю реально если не думать, то голос в текст преобразовывать оно сможет со временем…
Greendq
27.08.2015 21:36А совсем недавно IBM купила Alchemy, которые используют (использовали?) амазоновские инстансы для своего ИИ. И их техдиректор утверждал, что про нейроморфные чипы никогда не слышал — мол, мы их не используем… Одно радует — Скайнет обещал лягушек на этой планете не трогать. :)
Invision70
28.08.2015 01:16>>> Сейчас проект находится на одной из начальных стадий развития, и до использования TrueNorth в смартфонах или умных часах еще далеко.
Так что на смартфоны-то ждать, крыс? (:
solver
Нужна Сара Конор, иначе все это зайдет слишком далеко…
Valdei
Сначала пусть дойдёт до аналога нашего мозга и оцифровки сознания, потом можно и всяких Сар выпускать.
Gexon
нужна Крыса Коннор
