Вычислительные ресурсы виртуальных дата-центров практически не ограничены. Однако, если ваша компания генерирует большое количество данных, в конце концов целесообразность работы с обычными ЦОД будет под вопросом. Чем больше расстояние между локацией с серверами и местом сбора данных, тем ниже скорость вычислений.

В этом контексте набирают обороты так называемые граничные вычисления (edge computing). В такой парадигме данные обрабатывают на «границе сети» как можно ближе к клиентам. Переход к edge-инсталляциям имеет жизненно важное значение для решения проблем с задержками и построения действительно интеллектуальных и автономных систем, таких как беспилотный транспорт.

Однако обработка данных на местах имеет свои проблемы. В первую очередь, с энергоемкостью и скоростью вычислений. И одно из перспективных решений, способных предложить выход из ситуации, — это нейроморфные системы.

Технологический потолок и первые решения

Развитие транзисторов. Источник

Рост числа транзисторов ведет к увеличению микрочипов. Чтобы сохранить их форм-фактор на привычном уровне, необходимо уменьшать физический размер транзисторов. Но тогда проявляются побочные эффекты — растет энергопотребление, а энергоэффективность снижается.

В начале нулевых инженеры решили эту задачу с помощью технологии FinFET (Fin Field-Effect Transistor). Транзисторы получили специальный «плавник» (fin) из кремния. Он повысил эффективность управления проводимостью канала: сократил утечки энергии и увеличил ток транзистора, что важно для его быстродействия. Подробнее об этой технологии уже писали коллеги на Хабре.

FinFET внедрили на производстве микропроцессоров в 2011 году (еще на 22-нанометровом техпроцессе). Технология стала стандартом в индустрии полупроводников, но и у неё есть ограничения. Дальнейший прогресс связан с переходом на новые материалы (не кремний), созданием многослойных микросхем, технологиями вроде Gate-All-Around FET (GaaFET) и, вполне вероятно, нейроморфными системами.

Нейроморфные системы и архитектура фон Неймана

Различия между архитектурами. Источник

Под нейроморфными компьютерами понимают вычислительные системы с архитектурой, отличной от фоннеймановской. Их принципы работы напоминают работу мозга — с нейронами и синапсами. Разумеется, речь идет о классических полупроводниковых системах, а не биологических устройствах. В основе чипов лежат знакомые транзисторы, но архитектура отличается.

Так, в компьютерах с архитектурой фон Неймана процессор и память разделены. Но нейроморфные вычислительные системы хранят и обрабатывают данные одновременно.

Программы в нейроморфных компьютерах определены структурой нейронной сети и её параметрами, но не конкретными инструкциями. Кроме того, привычные вычислительные системы кодируют информацию в бинарном виде, а нейроморфные компьютеры работают с напряжением — амплитудой, формой, длительностью импульсов (поэтому некоторые такие системы строят в том числе на базе FPGA).

В чем, собственно, интерес

Нейроморфные технологии уже дают преимущества в плане энергоэффективности. В прошлом году группа инженеров из китайского Университетата Цинхуа представила нейроморфный чип, сокращающий энергопотребление роботизированной системы на 50% (по сравнению с чипом NVIDIA).

Такая технология может оказать влияние на развитие IoT. Так, сложные алгоритмы машинного обучения можно будет реализовать прямо «на борту» умных устройств. Возрастет и скорость работы, так как интеллектуальным системам не придется запрашивать данные в стороннем хранилище. В перспективе они смогут обрабатывать огромные наборы данных буквально на лету, и даже стать основой для создания полноценного искусственного интеллекта.

Архитектура и кейсы нейроморфных систем

Одно из ключевых направлений, в котором ведутся исследования, — это материалы. Успех FinFET во многом зависел от реализации технологии high-k диэлектриков с высокой диэлектрической проницаемостью. Для развития нейроморфных чипов также необходимы компоненты, способные снизить энергопотребление и обеспечить высокую скорость переключения.

В целом инженеры рассматривают сразу несколько базовых технологий для построения нейроморфных чипов — электрохимические и ферроэлектрические транзисторы, а также мемристоры (искусственные синапсы). В большинстве мемристоров используется серебро, но отдельные группы инженеров экспериментируют с новыми комбинациями металлов — например, со сплавами серебра и меди. Такой подход позволяет разместить на кремниевом чипе площадью в один квадратный миллиметр десятки тысяч мемристоров.


Источник

Также наиболее перспективным направлением считают оптические устройства. В этом направлении работает команда из Технологического университета Суинберна. Два года назад она представила оптический нейроморфный процессор, способный выполнять до 11 триллионов операций в секунду. Новый чип уже успешно испытали на задачах распознавания лиц и изображений.

Их коллеги из института Одена изучают возможности материала под названием титанат бария в производстве модуляторов — устройств, позволяющих кодировать информацию с помощью света — для нейроморфных чипов. Новый материал позволит создавать более компактные устройства прямо на кремниевых чипах и организовать производство на существующих промышленных мощностях.


Источник

Еще одна область исследований — разработка аппаратной части и новых архитектур нейроморфных чипов. В этой сфере существует сразу несколько знаковых проектов — например, чип Loihi, представленный Intel. Он реализует 131 000 нейронов, разделенных между 128 ядрами. Каждый нейрон имеет механизмы совместного использования весов и сетевого сжатия. Они позволяют работать с комплексными нейросетями.

Чтобы решить проблему совместимости с классическим фоннеймановскими системами, разработчики добавили в архитектуру чипа три микроконтроллера на x86, решающие задачи управления. Нейроморфная система Intel уже находит применение. Специалисты из Корнелльского университета разработали алгоритм для Loihi, который имитирует процесс восприятия запахов мозгом. Чип успешно распознает десять различных ароматов и в перспективе может найти применение в детекторах угарного газа, а также на таможнях — для поиска запрещённых веществ в багаже.

Еще один интересный проект в этой сфере — чип для нейроморфных вычислений NeuRRAM. Он содержит 3 млн ячеек памяти на базе резистивной RAM (RRAM). Она состоит из особого диэлектрического материала, который формирует проводящие нити под воздействием высокого напряжения (по сути, становится проводником). Однако проводимость ячеек памяти изменчива — сказывается его аналоговая природа. Разработчики NeuRRAM представили новую архитектуру, которая учитывает эти особенности. Чипы могут найти применение в носимых устройствах благодаря низкой стоимости и энергоэффективности.

Что интересно, в сфере нейроморфных чипов появляются и открытые разработки. Примером может быть проект OpenSpike. Это — акселератор для спайковой нейронной сети (SNN), использующей биологически реалистичные модели нейронов. OpenSpike построен с помощью открытых инструментов для проектирования схем и печатных плат и PDK. Макросы памяти синтезировали с помощью фреймворка OpenRAM. Чип разработан по 130-нанометровому техпроцессу и имеет миллион синаптических весов с перепрограммируемой архитектурой.

Да, о широком применении разработки речи пока не идет. Открытые технологии все еще отстают от коммерческих решений по многим параметрам (в том числе по техпроцессам). Но они могут найти применение в лабораториях и институтах, занимающихся алгоритмическими исследованиями.

Еще один компонент: софт

Развитие нейроморфных вычислений также будет толкать вперед специализированное программное обеспечение. И если в аппаратной сфере преобладают проприетарные технологии, то в этой области на первый план выходят открытые решения. Например, проект Lava — фреймворк для разработки приложений под нейроморфные аппаратные архитектуры. Он предлагает набор абстракций для построения распределённых приложений.

Сейчас инструмент поддерживает классические архитектуры процессоров и архитектуру Loihi, но в будущем этот список может быть расширен — в том числе с помощью сообщества.

Заключение

Инженеры в исследовательских институтах и ИТ-компаниях по всему миру развивают аппаратное обеспечение, приближая будущее, но говорить о сильном ИИ пока рано. Есть огромная проблема со сложностью. Пока ни одной компании не удалось даже близко подойти к созданию нейроморфного чипа, обладающего сотнями миллиардов нейронов и синапсов — прямо как в человеческом мозге.

Сейчас одним из наиболее доступных способов обрабатывать большие объемы данных являются облачные услуги. За счет вычислительных ресурсов, которые могут быть оперативно предоставлены, сконфигурированы и освобождены с минимальными затратами времени и усилий, у компаний появляется больше возможностей выбрать решения, подходящие под конкретные нагрузки и задачи.

---