Автор: Андрей Батутин, Senior iOS Developer в DataArt

Сегодня все делают Machine Learning, включая наши телефоны. Да, скоро ваш телефон станет по настоящему смарт. Ну или по крайней мере, умнее нас с вами. Почему? Сейчас разберемся. Начнем с железа, уже установленного в мобильных устройствах.

TL;DR


Все основные производители мобильных System-on-chip (SoC) уже 3-4 года активно добавляют ML-specific hardware в свои решения. Если у вас топовый андроид или айфон, рядом с GPU у вас почти гарантированно есть чип, специально заточенный под ML-задачи.

В основном ML-чипы предназначены для Computer Vision, Audio, Camera/Photo/Video. Основные задачи: уменьшение шума на фото, лучшее качество при зуме, распознавание лиц и животных, распознавание речи и синтез текста.

К тому же, основные вендоры предоставляют SDK, которая дает доступ к этому ML-чипу сторонним разработчикам. Так что вы вполне можете сделать свой Snapchat или Siri, все равно вы наверняка сидите дома (Когда все это кончится?! Как я хочу в KFC!).

Железо


Основные вендоры мобильных чипов активно расширяют свои SoC-архитектуры с помощью Neural Processing Unit (NPU), Digital Signal Processor (DSP) и специализированных AI-ядер. Компоненты эти специально заточены для работы ML-моделей.

Qualcomm


ML Hardware: DSP + GPU
SDK: Qualcomm Neural Processing SDK

Предоставлен Qualcomm Neural Processing SDK, которая обеспечивает аппаратное ускорение ML-моделей на связке DSP + GPU + CPU для Snapdragon чипов. DSP заточен под работу с аудио/видео: умная камера, очистка картинки от шумов, лучшее качество при зуме и схожие инструменты для повышения качества звука.

HiSilicon/Huawei


ML Hardware: NPU
SDK: HiAI SDK

Da Vinci NPU состоит из трех ядер: двух высокопроизводительных, и одного энергоэффективного ядра для ML-вычислений.

HiAI SDK дает доступ к заточенному под операции над матрицами NPU. Т. е. NPU идеально подходит для Deep Neural Network моделей. Из плюшек — плагин к Android Studio.

HiAI заточена под:

  • Computer Vision;
  • Automatic Speech Recognition;
  • Natural Language Understanding.


MediaTek


ML Hardware: APU + GPU
SDK: NeuroPilot SDK

NeuroPilot SDK позволяет решать ML-задачи с помощью AI Processing Unit (APU) + GPU. APU заточен под Deep Neural Network модели. Обеспечивает аппаратное ускорение для convolutions, fully connected layers, activation functions, и т. д.

NeuroPilot 2.0 позволяет в реальном времени:

  • Multi-person pose tracking;
  • 3D pose tracking;
  • multiple object identification;
  • semantic segmentation;
  • image enhancement.


Samsung


ML Hardware: NPU
SDK: Samsung Neural SDK / EDEN SDK
Samsung добавил в Exynos SoC специализированный NPU. Состоит он из двух Multiply–accumulate units, заточенных под операции над матрицами.

Также он предоставляет Samsung Neural SDK, которая обеспечивает аппаратное ускорение для ML-моделей с помощью связки CPU + GPU + NPU.

Apple


ML Hardware: NPU
SDK: CoreML SDK

Начиная с Apple A11, Bionic использует NPU. В A13 NPU разросся уже до восьми ядер. Одна из killer-features нового NPU — Deep Fusion image processing: делаем 9 снимков и комбинируем их в один. Особенно актуально для ночной съемки.

Предоставляет CoreML SDK. Также, как в других SDK, обеспечивает аппаратное ускорение для ML-моделей. Из плюшек — Create ML — UI-only среда для тренировки ML-моделей. Позволяет тренировать:

  • Object detection/classifier;
  • Sound classifier;
  • Motion classifier;
  • Text classifier/word tagging;
  • Tabular Classifier;
  • Recommendation engine.


Полезные ссылки


ML-бенчмарк для Андроид смартфонов;
Qualcomm Neural Processing SDK;
HUAWEI HiAI SDK;
Apple CoreML

В продолжении материала подробнее разберемся в том, как работает NPU. Поговорим о нужном для мобильного ML софте и способах его использования.