Во всем мире активно развивается направление по мониторингу критических инфраструктурных объектов за счет использования видеоаналитики на основе нейросетей. На одном из внутренних совещаний в компании на стыке умений и опыта команды в работе с видеоаналитикой и моих познаний в транспортной тематике родилась интересная идея – о возможности создания продукта в сфере ИТС по детектированию объектов, установленных на дорогах, который бы позволил упростить и автоматизировать получение данных о состоянии всех объектов и сделать дороги безопаснее и комфортнее. О том и расскажу в этой статье.

Предыстория

Автомобильные дороги, по которым мы ежедневно передвигаемся на личном или общественном транспорте, не так просты, как кажется на первый взгляд. Они состоят из множества элементов – дорожные знаки, бортовой камень, разметка, светофорные объекты, дорожное покрытие, пешеходное и транспортное ограждение и др. И чтобы было безопасно и комфортно передвигаться по дорогам, каждый из них важно поддерживать в идеальном состоянии, получая, в свою очередь, точную и оперативную информацию об их состоянии.

Сегодня основной объем работ по сбору информации о состоянии всех вышеназванных объектов ведется в «ручном формате», а ежедневно на получение информации тратится колоссальный объем человеческих ресурсов. Регулярные выезды инженеров по всем участкам многокилометровых дорожных сетей для получения своевременной информации по текущему состоянию объектов дорожной инфраструктуры – совсем не та картина, что хотелось бы наблюдать в 2022, в зените развития высоких технологий.

Так мы решили создать продукт, которому было показано переложить монотонную работу по обнаружению дефектов объектов транспортной инфраструктуры на программно-аппаратный комплекс (ПАК) с использованием машинного зрения и ИИ, простое и недорогое решение – компактный и лёгкий в установке ПАК, который позволит обеспечить регулярный мониторинг дорог и своевременно сообщит об обнаруженном дефекте заказчику или обслуживающему подрядчику.

Kill features

Комплекс состоит из аппаратной части и локального ПО.

Структурная схема строения и интеграций ПАК с внешними системами и логика использования
Структурная схема строения и интеграций ПАК с внешними системами и логика использования

В аппаратную часть входит видеокамера, портативный промышленный компьютер, модуль LTE-связи, модуль GPS/GLONASS и комплект крепежа для установки в автомобиль.

ПО состоит из:

  • модулей сбора, хранения и передачи данных;

  • модулей нейросетей обработки данных;

  • сервиса хранения медиа данных;

  • сервиса хранения мета данных;

  • сервиса матчинга данных, трекинг данных и верификации дублей;

  • сервиса настройки ПАК.

Также вдобавок к основному решению мы планируем разработать веб-платформу для сбора, хранения информации и отображения информации, поступающей со всей ПАК, предоставления доступа к информации, разграничения прав доступа к данным, отображения данных в виде таблиц или на картографической подложке и формирования аналитических отчетов всей информации.

Как это работает

Комплекс устанавливается на любой автомобиль, подключается к бортовой сети автомобиля штатными методами. Может быть установлен на любой автомобиль заказчика или подрядчика, так и на подвижной состав общественного транспорта, спецтранспорт, патрульные машины.

Схема применения ПАК
Схема применения ПАК
  1. Автомобиль курсирует по выбранному маршруту и производит фото\видео фиксацию состояния элементов дорожного покрытия, люков, дорожных знаков и искусственного освещения.

  2. Модуль компьютерного зрения производит онлайн обработку входящей информации и при выявлении несоответствия полученных данных эталонным значениям, формирует событие и передает на Сервис приема сообщений веб-приложения по каналу LTE. При отсутствии связи LTE, Система производит накопление данных на внутренней памяти и отправку при возобновлении канала связи.

  3. Детектирование объекта записывается в локальную базу данных и включает в себя дату и время фиксации, координаты объекта, фотоснимок или фрагмент видео, тип события, метаданные.

  4. Серверная часть Решения выполняет агрегацию событий со всех ПАК и на основании этих данных создает общую базу данных состояния всех объектов и историю изменений по каждому из них. Также на Серверной части разворачивается программное обеспечение веб-приложения.

Веб-приложение предназначено для отображения информации о полученных дефектах элементов дорожного покрытия, люков, дорожных знаков и искусственного освещения, и их расположения на географической карте региона или в виде отчетов. Также оно позволяет разграничить права доступа к разному типу информации путем введения различных типов пользователей.

Что мы имеем сейчас

В ходе работы над проектом проверили гипотезы возможности решения задач выбранным методом и разработали четыре модуля детектирования объектов.

Сейчас система умеет:

  • детектировать тип, расположение и состояние дорожных знаков;

  • расположение и состояние (открытый/закрытый) люков на дорожном полотне;

  • расположение и состояние (горит/не горит) фонарей искусственного освещения;

  • расположение и тип дефектов дорожного полотна (трещины, ямы), критичность дефекта.

Как система детектирует указанные объекты
Как система детектирует указанные объекты
Как система детектирует указанные объекты
Как система детектирует указанные объекты
Как система детектирует указанные объекты
Как система детектирует указанные объекты
Как система детектирует указанные объекты
Как система детектирует указанные объекты

В дальнейшем мы планируем постепенно дообучать нейронную сеть детектированию новых типов объектов, которые могут потребоваться пользователям.

В целом, на 2022 ряд компаний уже занялись разработкой аналогичных продуктов, но у всех продукты находятся лишь на этапе зарождения – и сделать качественное сравнение продуктов по существу невозможно из-за отсутствия информации. Мы же готовимся к скорому пилотированию продукта с несколькими заказчиками, включая госструктуры, уже получив фрагменты видео для анализа и приступив к их обработке.

Краткие итоги

В начале работы над продуктом проверили гипотезу о том, что задача, которую мы себе поставили, может быть решена выбранным методом и для этого реализовали четыре модуля видеоаналитики. В ходе общения с отраслевыми экспертами, потенциальными заказчиками, и демонстрации реализованных функций, мы собрали большое количество положительных отзывов о перспективности нашей идеи. Использование такой технологии сделает процесс проще и удобнее, позволит сократить трудозатраты, оптимизировать процесс мониторинга, содержания и обслуживания объектов транспортной инфраструктуры, автоматизировать и цифровизировать ручной труд, благодаря использованию видеоаналитики на основе нейросетей.

Если статья покажется интересной, то в продолжение наши ребята, специалисты по ML, более подробно расскажут о технической стороне реализации продукта.

Комментарии (0)