28.04.2020 13:19
ComBox 35 2000 Источник


Ранее мы рассказывали про детекцию курения посредством объектовой видеоаналитики. Попробуем теперь рассмотреть практические аспекты применения данных решений и конкретные отрасли внедрения, а также их преимущества для бизнеса.

На наш взгляд самой интересной сферой применения является транспорт, в частности – каршеринг, где уже сейчас предусмотрены меры наказания в виде штрафов за курение в салонах арендованных автомобилей. Сумма штрафа варьируется в зависимости от компании от 5 до 15 тысяч рублей. Возвращаясь к сравнению объектовой видеоаналитики и датчиков, датчики не улавливают вейпы и иные приспособления для курения смесей, а также практически не чувствительны при открытых окнах автомобиля. Но это не отменяет факт нарушения и, соответственно, законного наказания в виде штрафа в соответствии с договором.

Помимо этого, на транспорте можно каскадом (последовательно) применять несколько нейронных сетей, таких как детекция курения и детекция факта/времени использования мобильного телефона. Понятно, что дальше подобные системы должны масштабироваться, например, с интеграцией телематики и подключением к CAN-шине автомобиля для отслеживания использования телефонов только при движении ТС, но это уже детали интеграции.

Наглядный пример, что конкретно детектируем и что получаем в итоге:





Демонстрация на ботах в Телеграме (вход – картинка с камеры смартфона или из галереи, выход – вероятность):


Аппаратная составляющая


Если в первой статье мы говорили об Intel NUC и серверах на их основе, как вычислителях для инференса, то сейчас мы говорим об эксплуатации решения в транспортных средствах, то есть появляется влияние погодных условий (жара, холод, точка росы и т.д.). Хорошее решение оказалось у AAEON, VPC-3350S:

AAEON, VPC-3350S

Конкретно наша версия – с процессором Intel Atom x5 E3940. Инференс – на MyriadX на плате расширения. FPS в инференсе:



Тесты декодера:



Чем хороша железка и почему наш выбор пал на нее?


Нам понравилось:

  • Наличие встроенного LTE-модуля.
  • Наличие возможности расширения VPU ускорителем Intel MyriadX.
  • Встроенная графика Intel HD Graphics 500, на которой можно использовать аппаратные декодеры и энкодеры для обработки видеопотоков.
  • Наличие множества LAN-портов для прямого подключения сетевых камер без необходимости установки коммутатора.
  • Широкий эксплуатационный температурный диапазон (-20+70).

Как это работает?


  1. На автомобиле устанавливаются сетевые камеры с питанием по Ethernet, POE (одна на водителя или две: водитель, пассажир).
  2. Данные с камер поступают напрямую на вычислитель, в данном случае AAEON NVR 3350.
  3. На вычислителе выполняется декодирование и нарезка видеопотока на фреймы.
  4. Фреймы с заданным делителем кадровой частоты обрабатываются нейронной сетью.
  5. Нейронная сеть возвращает вероятность события (курение или наличие телефона в руках). Каждое изображение пропускается через эти нейронные сети последовательно. Если одна из них выдала вероятность выше, условно, 50%, то фотография и запись об этом фиксируется во временной таблице в базе данных (в памяти).
  6. На основе количества повторяющихся событий фиксируется время действия/нарушения.
  7. Если время действия превышает заданную константу (10 секунд), то происходит фиксация факта события в базе данных. Событие включает следующую информацию:
    • дата, время
    • фотография факта нарушения
    • длительность события в сек.
    • идентификатор ТС (статичный GUID)
    • номер камеры (0, 1)
    • тип события
  8. Данные о событиях по факту наличия 3G/LTE передаются на центральный сервер обработки данных с интеграцией с существующей информационной системой каршеринга для проведения билинговых операций.

Вместо резюме


В статье мы постарались поделиться опытом реализации и интеграции решений в области ИИ на примере транспортной инфраструктуры. Что самое главное, большинство объектов автоматизации уже оснащено камерами, и можно обрабатывать существующие потоки без какой-либо существенной модернизации.