Существует большое количество задач, где процессинг и обработку контента необходимо выполнять «на краю», то есть в непосредственной близости от источника данных (камер). В частности, это касается и задач объектовой видеоаналитики, например, в рамках проектов по оптимизации транспортной инфраструктуры.

Рассмотрим несколько совместных решений от российского интегратора ГК «Ларга» и разработчиков систем объектовой видеоаналитки, компании ComBox Technology.

image

Задача:

  1. Реализация счетчиков пассажиров в автобусах для контроля количества проданных билетов и получения статистики загруженности транспорта в разрезе маршрута.
  2. Контроль действий водителя (детекция курения и использования мобильных телефонов).

Условия:

  1. Инференс нейронных сетей и исполнение аналитики «на краю» для минимизации трафика и ввиду нестабильности и высокой стоимости каналов связи.
  2. Возможность совместного и раздельного применения различных детекторов (масштабируемость).
  3. Передача данных для последующей обработки по мобильным каналам связи.

В качестве решения мы остановились на AAEON VPC-3350S, так как это устройство обладает следующими, важными для нас, характеристиками:

  • Встроенный LTE-модуль.
  • Возможность расширения VPU ускорителем Intel MyriadX.
  • Встроенная графика Intel HD Graphics 500, на которой можно использовать аппаратные декодеры и энкодеры для обработки видеопотоков.
  • Множество LAN-портов для прямого подключения сетевых камер без необходимости установки коммутатора.
  • Широкий эксплуатационный температурный диапазон (-20+70).

AAEON VPC-3350S
AAEON VPC-3350S

Рассмотрим первый кейс раздельного применения детекторов. В сфере каршеринга уже сейчас предусмотрены меры наказания в виде штрафов за курение в салонах арендованных автомобилей. Сумма штрафа варьируется в зависимости от компании от 5 до 15 тысяч рублей. В сравнении объектовой видеоаналитики и датчиков детекции дыма, датчики не улавливают вейпы и иные приспособления для курения смесей, а также практически не чувствительны при открытых окнах автомобиля. Но это не отменяет факт нарушения и, соответственно, законного наказания в виде штрафа в соответствии с договором.

Помимо этого, на транспорте можно каскадом (последовательно) применять несколько нейронных сетей, таких как детекция курения и детекция факта/времени использования мобильного телефона. Понятно, что дальше подобные системы должны масштабироваться, например, с интеграцией телематики и подключением к CAN-шине автомобиля для отслеживания использования телефонов только при движении ТС, но это уже детали интеграции.

Наглядный пример, что конкретно детектируем и что получаем в итоге:

Детекция мобильного телефона в руках водителя ТС

Детекция курения в автомобилях

Демонстрация на ботах в Телеграме (вход – картинка с камеры смартфона или из галереи, выход – вероятность):


Конкретно наша версия AAEON VPC-3350S укомплектована процессором Intel Atom x5 E3940. В случае необходимости можно дополнительно устанавливать платы расширения с Intel MyriadX и переносить инференс нейронных сетей на VPU без каких-либо существенных доработок, так как используется фреймворк Intel OpenVINO.

Рассмотрим скорость инференса (FP16) на различных устройствах, включая CPU, iGPU (Intel HD) AAEON VPC-3350, VPU Intel Movidius и решения других производителей:

Скорость инференса (FP16) на различных устройствах, включая CPU, iGPU (Intel HD) AAEON VPC-3350, VPU Intel Movidius и решения других производителей
Скорость инференса (FP16) на различных устройствах, включая CPU, iGPU (Intel HD) AAEON VPC-3350, VPU Intel Movidius и решения других производителей

Таким образом, на графике iGPU процессора Intel Atom x5 E3940 мы получаем 54 FPS, а дополняя устройство VPU Intel Movidius – еще 45 FPS. Для детекции курения достаточно 15 FPS/камера, что позволит на одной графике процессора обрабатывать до 3 потоков. Также необходимо учитывать, что помимо выделения и использования ресурсов на инференс, необходимо декодировать входящий RTSP-поток. Рассмотрим тесты декодера:

Тест декодера AAEON VPC 3350
Тест декодера AAEON VPC 3350

При максимальной загрузке процессора и графики мы декодируем 30 потоков 720p при 15 FPS, то есть получаем 450 кадров для 720p. Для 1080p это около 150 кадров.

Рассмотрим состав комплекта для использования в каршеринге и основные шаги обработки данных:

  1. На автомобиле устанавливаются IP-камеры с питанием по Ethernet, PoE (одна на водителя или две: водитель, пассажир).
  2. Данные с камер поступают напрямую на вычислитель, в данном случае AAEON NVR 3350.
  3. На вычислителе выполняется декодирование и нарезка видеопотока на фреймы.
  4. Фреймы с заданным делителем кадровой частоты обрабатываются нейронной сетью.
  5. Нейронная сеть возвращает вероятность события (курение или наличие телефона в руках). Каждое изображение пропускается через эти нейронные сети последовательно. Если одна из них выдала вероятность выше, условно, 50%, то фотография и запись об этом фиксируется во временной таблице в базе данных (в памяти).
  6. На основе количества повторяющихся событий фиксируется время действия/нарушения.
  7. Если время действия превышает заданную константу (10 секунд), то происходит фиксация факта события в базе данных. Событие включает следующую информацию:
    • дата, время
    • фотография факта нарушения
    • длительность события в сек.
    • идентификатор ТС (статичный GUID)
    • номер камеры (0, 1)
    • тип события
  8. Данные о событиях по факту наличия 3G/LTE передаются на центральный сервер обработки данных с интеграцией с существующей информационной системой каршеринга для проведения билинговых операций.

Вернемся ко второму кейсу применения AAEON VPC-3350S – детекция и счетчик пассажиров в автобусах:



Этапы выполненных работ:

  1. Подготовительные работы (тестирование камер, выбор фокусного расстояния, постановка граничных условий задачи):
    • Разметка 600 фреймов с нескольких камер с различным фокусным расстоянием
    • Обучение нейронной сети на nVidia GPU, 10 тыс. шагов
    • Тестирование модели по валидационному датасету
    • Конвертация модели в Intel OpenVINO
    • Тестирование полученной модели в Intel OpenVINO по валидационному датасету, сравнение качества и скорости с моделью до конвертации
    • Формирование сводного отчета по быстродействию модели и качественным параметрам, согласование необходимого оборудования для исполнения (камеры, CPU, VPU)
  2. Построение архитектуры решения (край + централизованная аналитика в ДЦ)
  3. Разметка контента, 20 тыс. фреймов
  4. Обучение нейронной сети на nVidia GPU
  5. Конвертация модели в OpenVINO
  6. Разработка алгоритма траекторного анализа для выделения уникальных событий
  7. Разработка программного обеспечения для подсчета и выгрузки событий:
    • Получение и нарезка потоков на кадры с учетом делителя кадровой частоты при помощи gstreamer/ffserver
    • Партируемый интерфейс настройки подключаемых камер (зона, адресация, список источников, параметры передачи в ДЦ)
    • Хранение событий в mongoDB/PostgreSQL
    • REST API для интеграции
  8. Адаптация решения под аппаратную базу для инференса в ЦОД и «на краю»


Непосредственно, процесс обучения:



Интерфейс личного кабинета ГК «Ларга» для клиентов с отображением отчетов по пассажиропотоку:

image
Интерфейс личного кабинета ГК «Ларга» для клиентов с отображением отчетов по пассажиропотоку

Личный кабинет для клиентов с отображением отчетов по пассажиропотоку

Процесс детекции людей в зоне входа в автобус и разметка зон

Алгоритм работы счетчика:

  1. Нарезка RTSP-потока на фреймы
  2. Детекция голов на каждом фрейме
  3. Траекторный анализ (удержание головы в кадре при движении)
  4. Анализ направления движения на основе последовательности пересечения 3-х заранее размеченных зон
  5. Запись событий в локальную базу данных с учетом направления движения (вход/выход)
  6. Предоставление доступа по REST API сторонним информационным системам и системам формирования отчетности

Так как изначально предполагалось гибридное решение по инференсу нейронных сетей (краевой и обработка части данных в ЦОД), рассмотрим плюсы и минусы обоих подходов:



Таким образом, мы получаем минимальную себестоимость потока в ЦОД при централизованной обработке, но высокие требования по наличию качественных и быстрых каналов связи. Для краевых решений – более высокая себестоимость, но минимальные требования по каналам связи и отсутствие требований к их резервированию.