Традиционно считается, что нейросети работают по принципу человеческого мозга и тем самым реализуют искусственный интеллект. Но на самом деле с мозгом у них мало общего и они ему во многом уступают. Оказывается, ученые по всему миру сейчас работают над принципиально новым классом «нейроморфных систем», которые по задумке будут работать так же, как мозг.
Про нейроморфные чипы, новую архитектуру компьютеров и про то, какие задачи они смогут решать в будущем, мы поговорили с Денисом Ларионовым из «Цифрума» (центр «Росатома» по цифровизации атомной отрасли).
Фарида Рословец:
– Что такое нейроморфная система?
Денис Ларионов:
– Начнем с того, что система искусственного интеллекта (ИИ) – это связка алгоритмов и железа, на котором эти алгоритмы исполняются. Когда мы прибавляем к этому слово «нейроморфная», мы намекаем на то, что технологические барьеры в этой связке преодолеваются с помощью подходов, заимствованных из биологии. То есть нейроморфные системы строятся на принципах работы мозга.
Зачем это нужно? До сих пор мы создаем ИИ для классического компьютерного железа, чтобы решать те же задачи, которые решают биологические системы. И мы видим большой разрыв в эффективности их работы. Например, самый мощный компьютер распознает кошку/собаку на 3 порядка хуже по энергоэффективности, чем наш мозг.
– Получается, что классические процессоры, в память которых поместили нейросети, не эффективны с точки зрения энергопотребления?
– Рассмотрим классическую архитектуру фон Неймана. Например, надо сложить два числа, как мы это делаем? Мы из памяти берем одно число, помещаем в регистр процессора, затем другое число помещаем в регистр процессора. Выполняем операцию, и из 3-го регистра процессора кладем обратно в память результат. А как сделать лучше?
Можно иметь в памяти «складывалку» и дать команду: «сложи два числа и сделай в памяти третье». И в процессор тогда ничего по шине гонять не надо. Надо просто дать команду памяти что-то сделать. Это гораздо энергоэффективнее. Нейроморфная система – это не просто искусственный интеллект, это уход от классической архитектуры фон Неймана. Ведь лазить в память в тысячу раз затратнее, чем просто умножить два целых числа.
Какие есть предложения по архитектуре нейроморфных чипов и какие критерии нейроморфности существуют, смотрите в полной версии интервью:
– Чему можно научить нейроморфный чип? Как моя жизнь поменяется, когда эти чипы появятся?
– Нейроморфные системы решают задачи там, где нам нужно что-то непрерывно видеть, слышать, там, где есть изменения во времени. Я бы назвал три таких фундаментально разных направления.
Первое – это интеллектуальные сенсоры. Это такие датчики, которые могли бы работать автономно, без привязки к облаку или сети и делать что-то умное.
Например, детектор на одежде, который анализирует токсичность воздуха и сигнализирует об этом. Если такой сделать сейчас, у него, скорее всего, будет либо модуль передачи данных, и тогда он будет глупый, либо, если он будет умным, у него должна быть большая батарейка, и это ограничит его время работы или сделает его неудобным для переноски и использования.
Нейроморфность – это про то, что мы можем сделать что-то интеллектуальное и долго работающее, автономно живущее, и не требующее синхронизации. Тут можно вспомнить о всяких исследовательских миссиях – космос, океан, радиация, подземелье… Автономные дроны, роботы, и так далее.
Второе направление, где у нейроморфных систем есть задел – когда нужно обеспечить быстрое время принятия сложного интеллектуального решения.
Например, у Boston Dynamics есть роботы, которые бегают, как собаки. У этих роботов раньше была проблема: если его толкнуть или ударить чем-то, то он не успевал пересчитать, как ему нужно балансировать, чтобы не упасть. Это на самом деле очень сложная инженерная задача. Нужно быстро собрать информацию с сенсоров, а потом отдать какой-то нейронке и сказать: «Посчитай, как нам нужно каждую нашу механическую мышцу напрячь, чтобы сбалансировать». Сейчас долго считает, а с нейроморфами будет намного быстрее.
Или мы могли бы сделать такую DVS-камеру (особый тип камер, которые работают по принципу глаза), которая была бы способна настолько быстро обрабатывать информацию, что мы бы видели даже вибрации. Практическое применение – визуальная вибродиагностика. Мы можем смотреть на какую-то большую поверхность камерой и видеть вибрации, незаметные глазу.
Третье направление, наверное, самое интересное, но тоже больше на перспективу. Современные нейросети мы не можем бесконечно увеличивать по количеству нейронов. А математический аппарат импульсных нейронных сетей как раз решает эту проблему. Заложив его в нейроморфные чипы, мы сможем строить системы неограниченно большого масштаба. Не 100 миллиардов нейронов, а еще на 3 порядка больше.
– Люди, которые боялись, что к нам придет Терминатор, уже начали нервничать. Чему можно обучить такую систему?
– Есть, например, китайский чип Tianjic. Он умеет исполнять импульсные нейронные сети и делает это намного эффективнее классических. На нем сделали систему управления велосипедом, при чем используется только этот чип, больше никаких вычислителей.
Во-первых, он умеет воспринимать голосовые команды благодаря классической нейросети. Зрение построено на основе сверточной нейронки, а балансом велосипеда чип управляет с помощью другой сети. В общем, это такой гибрид из разных архитектур, на верху которого спайковая сеть, отвечающая за принятие быстрых решений.
Если попросить кого-нибудь другого повторить, это будет огромное решение из кучи модулей – зрения, слуха, управления, плюс огромная батарейка… А здесь велик едет, объезжает препятствия и реагирует на команды с одной маленькой штучкой.
– Какая самая большая проблема вашего проекта? Догоним ли мы когда-нибудь другие страны?
– Основная наша сложность – найти в России центр компетенций, который будет способен разработать и произвести такую архитектуру.
Мне кажется, что мы вряд ли догоним другие страны в классических архитектурах. Но, что касается нейроморфных систем, то тут у нас есть сильный задел, как, кстати, и по квантовым вычислениям. Мы в этом развиваемся.
Конечно, мы не можем сейчас как Интел напечатать чипов, попробовать, выкинуть, опять напечатать… для нас это технологически сложно. Но здесь нам шансы дает то, что не в железках дело. Точнее, не только в них. Обычно ведь делают железку и потом под нее что-то пишут. Но мы считаем, что железка должна быть оптимизирована под алгоритм не меньше, чем алгоритм под железку.
Тем более сейчас никто даже не знает, как математику создать. При этом у нас в стране есть крупные города с высокой концентрацией математиков и их навыки подходят, чтобы переключиться на нейроморфные задачи. У нас в стране есть уже несколько серьезных центров компетенций по нейроморфным системам.
Заключение
Не знаю, как вас, но меня тема нейроморфных систем очень захватила. Прямо на наших глазах создаются принципиально новое железо и алгоритмы, которые будут имитировать наш мозг по-настоящему, а не как текущие нейросети, которые, как оказалось, еще и очень неэффективны в плане энергозатрат. На наших глазах на смену привычной архитектуре фон Неймана придет что-то на порядки более эффективное и мощное в плане решения интеллектуальных задач.
Отдельно меня порадовало, что наши ученые вовсю вовлечены в эту гонку и работают вместе с мировым сообществом.
Комментарии (11)
Astromatics
14.01.2022 18:24Простите, я правильно понимаю, мы хотим сделать умных, долгоживущих, быстрых, неуязвимых боевых роботов, против которых будем бороться следующие 100-200 лет? И это при условии, что сразу не будет разгромного поражения, и геноцида?
Быстродумающий
Надёжный
Маленький, но зато его много
Энергоэффективный - солнечной энергии хватит
Вечный.
GospodinKolhoznik
14.01.2022 23:16С экологией та же фигня. Уничтожаем планету, делаем её непригодной для проживания, а как потом с последствиями экологической катастрофы бороться следующим поколениям? Да всем похрен!
vonabarak
15.01.2022 18:22+2Причём, если с условными терминаторами - это пока ближе к фантастике и голливудским фильмам, а не реальной проблеме, требующей решения, то глобальные экологические проблемы вполне насущны и их надо решать уже вчера.
count_enable
14.01.2022 18:39+7Это такие сапоги всмятку что даже не знаешь что комментировать
Надо просто дать команду памяти что-то сделать. Это гораздо
энергоэффективнее. Нейроморфная система – это не просто искусственный
интеллект, это уход от классической архитектуры фон Неймана.Нет, нейроморфные вычисления это не Compute-in-Memory.
Или мы могли бы сделать такую DVS-камеру (особый тип камер, которые работают по принципу глаза),
Нет, DVS (Dynamic Vision Sensor) работает "по принципу глаза" не больше, чем обычная камера, где есть обьектив (хрусталик), диафрагма, и сетчатка (матрица). Разница в принципе считывания и кодирования матрицы. DVS возвращет картину изменений.
Современные нейросети мы не можем бесконечно увеличивать по количеству нейронов. А математический аппарат импульсных нейронных сетей как раз решает эту проблему. Заложив
его в нейроморфные чипы, мы сможем строить системы неограниченно
большого масштаба. Не 100 миллиардов нейронов, а еще на 3 порядка
больше.Напомнило анекдот: "Я печатаю со скоростью 300 знаков в минуту! - Что, правда? -Ага, только полная фигня получается." Нету никакой проблемы увеличить модель в гугол раз, есть проблема обучения больших сетей - как практической реализации, так и теоретических алгоритмов эффективного обучения сверхглубоких и широких моделей. Импульсные нейронные сети имеют другой алгоритм обучения, который теоретически не имеет таких ограничений, а практически...ну вы поняли.
Отдельно меня порадовало, что наши ученые вовсю вовлечены в эту гонку и работают вместе с мировым сообществом.
Так с кем они "гоняются", или против кого?
amartology
14.01.2022 19:23Нет, нейроморфные вычисления это не Compute-in-Memory.
Но compute in memory сейчас чаще всего применяется для перемножения матриц)count_enable
15.01.2022 21:14Потому что это чуть ли не единственная стоящая и вычислительно сложная задача.
А вот как раз для импульсных нейронных сетей ("нейроморфных") оно и не особо нужно.
napa3um
17.01.2022 11:39Скорее потому, что это чуть ли не единственное направление развития цифровой микроэлектроники (имеющей грандиозный запас наработанных технологий) в сторону нейроморфных вычислений. Все разработчики железа в этом смысле так или иначе пытаются "срастить" вычислительные ядра с оперативной памятью. И это направление как раз достаточно универсальное, чтобы разрабатывать его без специфичной привязки к развитию алгоритмов (импульсные сети в этом смысле лишь подмножество алгоритмов compute-in-memory - высокопараллельных алгоритмов, удобно ложащихся на триллионноядерный CPU с кешем под каждое ядро или на RAM с вычислительным ядром на каждый килобайт :)).
napa3um
15.01.2022 04:46+1Да, тоже полез в гугл вспоминать новость про Самсунг (возможно, с ними и гоняются? про Интел тоже где-то новости были о подобной разработке), чтобы посмотреть, называют ли они это нейроморфностью, ибо сам всегда считал, что нейромрофное железо - это про что-то типа мемисторов, про какие-то физические принципы мозга, реализованные в аналоговых радиоэлементах. Погуглил встречаемость словосочетаний, вроде пока мой словарь верен :).
Но слово красивое, согласен, маркетологи его наверняка опошлят и забаззвордят, как нано, крипто и прочие ашди. Статья, кажется, не про технологии, а про аналоговнет и привлечение инвестиций :).
UPD: Всё-таки процессоры, реализующие нейроморфные вычисления на "транзисторной" логике тоже называют (называют) нейроморфными. Ок, свой словарь поправил.
longtolik
15.01.2022 11:39– Основная наша сложность – найти в России центр компетенций, который будет способен разработать и произвести такую архитектуру.
Пока можно производить уже известные решения. Для них есть проекты в Vivado для FPGA Xilinx, например, на сайте General Vision написано, что "IP available on FPGA and ASIC" (и на языке C тоже).
А то тут, на Хабре писали, что Verilog программисты не знают, чем заняться, мигать светодиодом - слишком просто, а делать процессор - наоборот, слишком сложно.
Мне кажется, что мы вряд ли догоним другие страны в классических архитектурах. Но, что касается нейроморфных систем, то тут у нас есть сильный задел, как, кстати, и по квантовым вычислениям.
Также можно попробовать "вычисления на воде". Это - не шутка, а вот тут можно почитать, и после по ссылкам тоже.
https://techxplore.com/news/2022-01-simple-liquids-complex.html
Reservoir computing называется...
amartology