Привет! Меня зовут Влад Губайдулин, я full-stack разработчик в департаменте Логистика КОРУС Консалтинг. Весной на Хабре я рассказывал о том, как для дипломного проекта создавал приложение для отслеживания объектов спортивного мероприятия. Почитать об этом можно вот здесь.

Из моего пет-проекта вырос полноценный реальный проект. Знания и навыки в области нейронных сетей, трекинговых библиотек и компьютерного зрения, которые я приобрел, были использованы для разработки системы отслеживания транспортных средств на производственных территориях. Эта система основана на применении сверточной нейронной сети — технологии, позволяющей компьютерам «видеть» и интерпретировать визуальную информацию

Наш департамент разрабатывает и внедряет системы и ПО для логистики, поэтому развитие проекта было вполне закономерным. Но оно не случилось бы без участия коллег, которые вдохновили меня на эту идею, за что им спасибо.
Сегодня расскажу, в чем суть этой системы, остановлюсь на принципах работы, инструментах и архитектуре.

Определяем цель

Я рассматриваю наше приложение как дополнение к существующим системам управления двором (YMS) и как способ более интеллектуального отслеживания транспортных средств на территории промышленных зон. 

В современных системах трекинг этапов перемещения транспортных средств (въезд на территорию/разгрузка/погрузка и так далее) в основном осуществляется с помощью вторичных инструментов: камер для чтения номеров, датчиков парковки и карточек. Меня же интересует реализация подобной функции исключительно за счет обыкновенных камер наблюдения без дополнительных «железок» — это упростит и автоматизирует процесс. 

Представьте систему видеонаблюдения, в которой отслеживание осуществляется с нескольких камер, каждая из которых имеет собственную трекинг-метку. Когда транспортное средство попадает в поле зрения камеры, она присваивает ему уникальный идентификатор. ТС перемещается и попадает в зону видимости другой камеры —  новая камера также присваивает ID. Еще есть адаптер, который сопоставляет эти идентификационные номера при выезде ТС из одного кадра и появлении его в следующем по логике кадре. На основе этой логики формируются импровизированные контрольные точки.

В качестве преимуществ такого приложения — помимо собственно автоматизации — выделю несколько функций: 

1. Анализ фактического нахождения транспортного средства на каждом этапе разгрузки. Поможет поддерживать и оптимизировать производительность  загрузочно-разгрузочных пунктов.

2. Мгновенная реакция в случае, если транспортное средство оказалось в запретной зоне.

3. Учет срока пребывания ТС вне парковочного места или дока разгрузки — если машина долго стоит неподвижно, система уведомит о возможной поломке. 

4. Идентификация свободного парковочного места или дока разгрузки — следующее транспортное средство можно вызвать на место автоматически..

5. Расчет скорости движения транспортного средства: при превышении допустимой скорости можно провести беседу с водителем при выезде.

Подобных готовых решений на рынке я пока не нашел ни у российских, ни у зарубежных поставщиков — встречаются лишь исследовательские работы по этой теме. Но если я что-то упустил и у вас есть информация о подобных разработках, пожалуйста, делитесь в комментариях.

Раскладываем инструменты

Тут мы делаем DataScience, поэтому, разумеется, Python — наш лучший друг.

Для хранения данных используем SQLite, простая и легкая база данных.

Чтобы не заморачиваться с запросами к базе, а сразу работать с нужными объектами, возьмем SQLAlchemy.

Теперь перейдем к более интересной части — отслеживанию объектов в видео. Здесь на помощь приходят две мощные библиотеки: ByteTrack и YOLOv8.

ByteTrack — это инструмент, который помогает следить за несколькими объектами в видео. Делает это легко и эффективно, даже если объекты частично скрыты или находятся далеко от камеры.

YOLOv8  — это одна из самых современных моделей для обнаружения объектов, известна своей скоростью и точностью, что делает её идеальной для задач, выполняемых в режиме реального времени, таких как видеонаблюдение или автономное вождение. 

И, конечно, библиотека OpenCV — это отличный инструмент для работы с изображениями и видео. Она позволяет делать практически всё: от простого чтения и записи видео до сложных операций, таких как распознавание лиц или фильтрация изображений.

С ее помощью вы можете изменять размер, поворачивать, улучшать качество изображения, определять контуры объектов.  И все это даже иногда работает.

Конвейер обработки видеоизображения представлен в листинге 1. В нем можно найти пример подключения YOLO и ByteTrack, а также отрисовку с помощью OpenCV.

Листинг 1

async def main(self, is_show_frames):
   device = 'cuda' if torch.cuda.is_available() else 'cpu'
   print(f'Using device: {device}')
   model = YOLO('yolov8l.pt').to(device)
 
   cap = cv2.VideoCapture(self.VIDEO_PATH)
 
   ret, frame = cap.read()
 
   byte_tracker = BYTETracker(BYTETrackerArgs.BYTETrackerArgs())
 
   while ret:
       results = model(frame)[0]
       detections = Detection.Detection.from_results(
           pred=results.boxes.data.cpu().numpy(),
           names=model.names)
 
       car_detections = filter_detections_by_class(detections=detections, class_name="car")
       truck_detections = filter_detections_by_class(detections=detections, class_name="truck")
       detections = car_detections + truck_detections
 
       tracks = byte_tracker.update(
           output_results=detections2boxes(detections=detections),
           img_info=frame.shape,
           img_size=frame.shape
       )
 
       tracked_detections = match_detections_with_tracks(detections=detections, tracks=tracks)
 
       for detection in tracked_detections:
           tracked_objects_aud_id = await Recording().record_tracks_async(detection, self.CAMERA, self.AREA_EXIT)
 
           if is_show_frames:
               cv2.rectangle(frame,
                             (int(detection.rect.x), int(detection.rect.y)),
                             (int(detection.rect.x + detection.rect.width), int(detection.rect.y + detection.rect.height)),
                             (255, 255, 255), 2)
 
               cv2.putText(frame,
                           f'{detection.class_name}_id#{tracked_objects_aud_id}',
                           (int(detection.rect.x), int(detection.rect.y) - 10),
                           cv2.FONT_HERSHEY_SIMPLEX, 0.6, (255, 0, 255), 2)
 
       if is_show_frames:
           if self.IS_PARKING_EXIST:
               parking_color = self.COLOR.get_current_parking_color(tracked_detections, self.AREA_PARKING_PLACE)
 
               # add bounding box for parking
               cv2.rectangle(frame,
                             self.AREA_PARKING_PLACE[0],
                             self.AREA_PARKING_PLACE[1],
                             parking_color, 2)
               cv2.putText(frame,
                           f'parking_place',
                           self.TEXT_PARKING_PLACE,
                           cv2.FONT_HERSHEY_SIMPLEX, 0.6, parking_color, 2)
 
           # add bounding box for exit
           cv2.rectangle(frame,
                         self.AREA_EXIT[0],
                         self.AREA_EXIT[1],
                         (0, 0, 150), 2)
           cv2.putText(frame,
                       f'exit_place',
                       self.TEXT_EXIT,
                       cv2.FONT_HERSHEY_SIMPLEX, 0.6, (0, 0, 128), 2)
 
           cv2.namedWindow('frame')
           cv2.imshow('frame', frame)
 
       k = cv2.waitKey(33)
       if k == 27:
           break
 
       ret, frame = cap.read()
 
   cap.release()
   cv2.destroyAllWindows()

Определяем архитектуру

Архитектура нашего приложения состоит из двух ключевых компонентов: клиентской и серверной части. Клиентская часть занимается отправкой видеофреймов на удалённый сервер, для чего использует брокер сообщений для передачи данных в виде байтов. Серверная часть берет на себя обработку этих фреймов, извлекает необходимую информацию и сохраняет ее в базу данных. После этого агрегированные данные могут быть отображены в пользовательском интерфейсе.

На производственной площадке установлены IP-камеры, которые контролируют парковочные зоны и зоны загрузки. Каждая из камер передаёт фреймы на сервер для последующей обработки. На сервере применяется алгоритм, использующий нейронные сети для выделения и анализа интересующих объектов.

• Новый объект: Если система обнаруживает объект с новым идентификатором (ID), алгоритм пытается сопоставить его с транспортным средством, которое имеет схожее предыдущее местоположение и последнюю запись в пределах допустимого временного интервала.

• Старый объект: Если объект уже имеет существующий ID, система просто обновляет его местоположение.

Для переиндексации объектов используется таблица exit_zones, содержащая информацию о присутствии объектов в ассоциативных границах камер. Эта таблица включает ID последнего транспортного средства в границе, ID камеры с общей границей и статус наличия транспортного средства в данной зоне.

Например, если объект покидает зону видимости Камеры 1 и попадает в зону видимости Камеры 2, данные с Камеры 2 обрабатываются для определения, является ли этот объект новым для неё. Если да, система проверяет, отслеживался ли он другими камерами. В случае положительного результата происходит переиндексация. Если нет — объекту присваивается новый индекс. Для старых объектов просто обновляется информация о местоположении.

Все данные передаются на интерфейс и доступны для просмотра в хранилище. К базе данных можно подключать другие системы через API или брокер сообщений.

 Функциональные возможности системы

Функционально система делится на две части: 

1. Ведение журнала о перемещении объектов на видео; 

2. Комплексное отслеживание объектов на территории по нескольким камерам с учетом перехода объектов из области видимости одной камеры в другую.

Первая часть на данный момент реализована целиком. Спроектирована UML диаграмма классов, которая легла в основу схемы базы данных. Для минимальной работы системы необходимо три класса: 

• камеры (cameras); 

• отслеживаемые объекты (tracked_objects_aud); 

• ассоциативные границы (exit_zones). Класс ассоциативных границ необходим для переиндексации объектов при переходе с одной камеры на другую. 

Вторая часть — собственно отслеживание объектов — реализована частично. Уже готов алгоритм, который отвечает за переиндексацию отслеживаемых объектов при переходе объекта с одной камеры на другую. Он вызывается на каждом обрабатываемом кадре для любого обнаруженного объекта после записи нового транспортного средства или актуализации данных старого в базе данных.

Осталось доработать момент с расчетом идентичности двух обнаруженных объектов и принятием решения об индексации. То есть, сейчас алгоритм довольно‑таки глуп: при пересечении границ камер он любой машине присвоит старый индекс, а суть конечной идеи, чтобы он точно мог определить, что в зону видимости заехало новое транспортное средство или, что мы продолжаем наблюдать за старым.

Сейчас думаю о том, чтобы сделать собственную нейросеть, которая будет сверять по свертке два объекта и выдавать % соотношения их идентичности. Пока все на уровне эксперимента.  

Такая система может быть запущена на любом производстве. Достаточно только вручную настроить ассоциативные зоны-границы камер — остальное она определит сама. Ахиллесова пята решения — производительность, так как для нормальной работы системы из коробки нужны мощные ресурсы: цп, видеокарта, оперативка. В качестве компромисса можно рассмотреть ограничения: обрабатывать каждый n-ый кадр, вместо того, чтобы обрабатывать каждый. При таком подходе нужно будет рассчитать, сколько кадров можно пропустить.

Псевдокод

Метод, ответственный за переиндексацию отслеживаемых объектов при переходе объекта с одной камеры на другую, вызывается на каждом обрабатываемом кадре для любого обнаруженного объекта после записи нового транспортного средства или актуализации данных старого в базе данных. Алгоритм переиндексации представлен псевдокодом А1.

Алгоритм А1

Procedure actualize_exit_zones_data
  Ввод exit_area_rect – координаты выделяющей рамки ассоциативной границы
Ввод transport_rect – координаты выделяющей рамки транспортного средства
Ввод camera_id – идентификационный номер камеры, с которой пришёл кадр
If exit_area_rect и transport_rect пересекаются then
            Получение из БД текущее состояние модели ассоциативной границы из класса exit_zone
            If значение tracked_objects_aud_id НЕ равно текущему транспортному средству then
                    Присвоение tracked_objects_aud_id значение id текущего транспортного средства
                   Присвоение флагу is_empty значение 0
            End
   End
  Else if значение tracked_objects_aud_id для ассоциативной границы из класса exit_zone равен текущему транспортному средству then
             Присвоение флагу is_empty значение 1
             Получение пар id объектов и id ассоциативной границ, которые связаны, при условии, что связанная граница также имеет флаг is_empty равный 1
             If такая пара ассоциативных границ существует then
                    Перезапись координат и камеры в более старой модели для tracked_objects_aud на актуальные, новый id удаляем из таблицы
                   Присвоение парам ассоциативной границ last_tracked_objects_aud NULL и флагу is_empty 1.
            End
   End
End actualize_exit_zones_data

Разрабатываем

Разработка шла по таким этапам: 

• Перенос имеющихся методов из пет-проекта. 

• Проектирование ER-модели приложения.

• Реализация алгоритма переиндексации. 

• Реализация и внедрение нейронной с расчётом идентичности двух обнаруженных объектов и принятием решения об индексации (в процессе).   

На этапе реализации механизма переиндексации столкнулся со сложностями. Во-первых, не был плотно знаком с ORM SQLAlchemy, из-за чего при разработке допускал ошибки. Во-вторых, изначально не придумал «триггеры», которые должны инициализировать переиндексацию. Сейчас они есть и занесены в отдельную таблицу, которая фиксирует входы и выходы из границ камер. Когда описывал принципы работы системы, рассказывал про нее.

Определяем дальнейшие шаги

Из планов: 

• реализовать и внедрить нейросеть для расчета идентичности двух обнаруженных объектов и принятием решения об индексации (когда удастся это сделать, обязательно поделюсь результатами);  

• реализация API приложения и разделения монолитного приложения на клиент и сервер.

Подчеркну мой личный итог: из пет-проекта, разработанного для защиты дипломной работы, вырос (почти) полноценный, применимый в реальном бизнесе инструмент. Надеюсь, что быстро справлюсь со всеми перечисленными сложностями и доработаю его. Будет здорово, если мой пример подтолкнет кого-то из читателей к развитию их пет-проектов или к созданию таковых.  

Буду рад вашим комментариям и вопросам. Если у кого-то есть идеи и соображения, как можно улучшить или оптимизировать работу системы и решить задачу по расчету идентичности — делитесь в комментариях.