Привет, Хабр! Меня зовут Анастасия Белозерова. Я возглавляю команду, которая занимается исследованиями в области транспорта в VisionLabs. Сейчас в нашей команде четыре человека, и мы ведем продукт для транспортной видеоаналитики. В этой статье расскажу, где применяется транспортная видеоаналитика и как технологии из этой отрасли влияют на нашу жизнь. Это обзорная статья без попыток закопаться в алгоритмы, но надеюсь, что вам будет интересно.

Если заинтересуетесь деталями, пишите в комментарии — отвечу подробнее. Давайте начнем!

Разберем несколько популярных направлений, где используются сервисы транспортной видеоаналитики:

• фиксация нарушений правил дорожного движения;

• помощь правоохранительным органам (розыск);

• интеллектуальная транспортная система;

• контроль доступа на закрытые территории (КПП);

• взимание оплаты (толлинг).

Давайте пройдемся по каждому из них.

Фиксация нарушений правил дорожного движения

Это именно то, что делает движение на дороге безопасным. Необходимая вещь, хотя получать штраф, конечно, всегда неприятно (мне тоже). Как тут все устроено?

Посмотрите на схему работы измерительного комплекса с видеофиксацией «Кордон-М»:

Раньше системы фото- и видеофиксации работали только с радарами, фиксирующими превышение скорости. С радаром синхронизировалась камера, которая по сигналу от радара о превышении фотографировала автомобиль-нарушитель. Для этого автомобиля система распознавала номер, а потом водителю приходил отчет со штрафом и фотографией с момента нарушения. Но бывали ошибки, и немало — например, в документе могла быть вообще не ваша машина. Такое происходило, если номер был распознан неверно.

Поэтому более современные комплексы фото- и видеофиксации не только детектируют превышения по скорости и распознают номер, но и определяют атрибуты авто — например, модель, отношение к экстренному и общественному транспорту. Эти сведения используют, чтобы обнаружить нарушение правил (например, движение по полосе для общественного транспорта) и передать полученные результаты в ЦАФАП или ЦОДД для сверки с базами ПТС.

Может возникнуть ситуация, когда атрибуты не совпадают с заявленными. Например, модель вашей машины по ПТС — Volkswagen Tiguan, а сеть распознала, что с таким номером превышала машина модели Lada Granta. Тогда информацию дополнительно проверяет человек. И только после его подтверждения водителю полетит штраф — или не полетит, если данные не подтвердятся.

Розыскные мероприятия

Если вашу машину угнали (чего никому не пожелаю), ее можно попытаться найти по видеопотокам с камер, установленных в городе.

Обсудим, как можно искать машину в зависимости от ситуации:

Номер на машине остался, его зафиксировала какая-то из камер. Тогда машину можно найти с помощью распознавания ГРЗ (государственного регистрационного знака). То есть по ГРЗ мы можем найти ее на видах с нескольких камер и, соответственно, отследить.

Номер сняли или заменили. Тут уже сложнее, можно пойти двумя путями:

• Для поиска и сужения числа машин-кандидатов придется использовать другие атрибуты транспортного средства: модель, цвет, тип и так далее. Тогда в системе мы можем задать фильтры на значения атрибутов и посмотреть все подходящие события появления ТС в поле видимости камер. Конечно, таких событий может быть очень много, а еще сети могут ошибаться и в сложных условиях распознавать атрибут неверно.

• А еще можно искать похожие ТС по дескриптору автомобиля в видеопотоках со всех камер, без уточнения атрибутов.

Дескриптор — это вектор чисел, получаемый с помощью нейронной сети. Нейронная сеть зашифровывает в нем важные внешние признаки объекта, который видит. Это работает по тому же принципу, как поиск похожих людей по лицам: мы сравниваем два вектора признаков от двух машин. Чем больше похожи эти векторы, тем больше похожи машины. Это позволяет нам сузить круг поиска, при этом не рискуя потерять какие-то машины из-за неправильного распознавания атрибутов.

Интеллектуальная транспортная система (ИТС)

Такие системы обычно устанавливают на платных и новых дорогах, чтобы анализировать дорожную ситуацию.

Так выглядит визуализация для подобной системы (пример из интернета, не наш софт):

Мы видим разделение на попутные и встречные потоки. Выделены зоны, где система ничего не ищет, потому что объекты там уже слишком малы или эти участки нам в принципе неинтересны. Здесь на визуализации в детекторе ТС уже заложена классификация на простейшие типы, которая позволяет различать грузовики и легковые автомобили.

У нас в продукте подобная классификация проходит отдельно от детекции. Сначала детектор находит все транспортные средства в кадре. А дальше для каждого из них запускаются сети классификации, которые распознают атрибуты.

Атрибуты могут быть самые разные: бренд, модель, тип, цвет, принадлежность к спецтехнике, общественному или экстренному транспорту. Например, сеть для типов ТС у нас умеет определять 14 различных типов: велосипеды, мотоциклы, легковые автомобили, пикапы, грузовики до 3,5 тонн, грузовики до 12 тонн, тягачи, автопоезда, прицепы легковых/грузовых ТС и так далее. Вместе они покрывают все типы транспортных средств, которые положены по ГОСТу в России.

Зачем все это? Если мы знаем, какой транспорт и в каком количестве проезжает по дороге, мы можем предсказать, когда ее нужно будет ремонтировать. Например, тяжелые тягачи с прицепами и автопоезда наносят намного больше урона дорожному покрытию, чем легковые автомобили или мотоциклы. Чем больше грузовиков, тем быстрее понадобится ремонт полотна. Поток автотранспорта можно агрегировать за определенный период времени и оценить ожидаемые повреждения дороги, которые произойдут. И после построения прогностической модели осмысленно подходить к ремонтным работам.

Еще подобные системы (ИТС) устанавливаются на скоростных трассах, где предотвращать дорожные происшествия особенно важно. Например, с помощью ИТС можно быстро определить, что на дороге ДТП или пожар. Оператор получит об этом сообщение и направит аварийную бригаду на место. Например, у нас в продукте распознавание огня и дыма выглядит так:

Мы делим изображения на сетку и с помощью нейросети отдельно анализируем каждый из секторов. Красным подсвечиваются те секторы, где сеть обнаружила огонь, а желтым — где обнаружила темный или светлый дым.

Кроме того, при помощи ИТС можно определить, что на проезжей части есть стоящее ТС, человек или животное. Тогда на «умном» билборде за несколько километров до возможного столкновения выводится сообщение для водителей, что впереди на дороге препятствие и скорость лучше снизить.

Контроль доступа (КПП)

Как-то у нас был большой проект в Рублево-Архангельском — новом smart-городе, для стройки и дальнейшей жизни которого требовалось оборудовать «умные» КПП. Что они из себя представляют?

Эта система совмещает верификацию человека и транспортного средства, на котором он приезжает. То есть в базу заранее вносятся данные о том, кто приедет, на чем, с каким номером и атрибутами. Это дает возможность, во-первых, верифицировать посетителей, а во-вторых, отделять легковые автомобили от грузовых. Это важно, потому что на них нужны разные документы, согласования и различные размеры проезда — все это нужно обеспечить. В результате система не только проверяла, что человек и ТС соответствуют заявленным и имеют право проезда, но и указывала в зависимости от типа транспорта направление для дальнейшего движения (по определенным полосам).

Еще к кейсу с КПП я бы отнесла «умные» шлагбаумы с допусками на территории жилых комплексов, в торговые центры или любые другие парковки. Лично мне очень нравится, что как только я подъезжаю к нужной локации, у автомобиля считывается номер, и шлагбаум автоматически поднимается.

В России в некоторых торговых центрах и на платных парковках реализовано такое решение: при въезде ваш номер распознается и привязывается к пропуску, который вы получаете тут же в автомате. А вот после оплаты проезда при выезде совершать акробатические трюки с пропуском уже не приходится: если номер на выезде успешно распознается, бумажный пропуск не нужен и шлагбаум откроется автоматически. Конечно, хотелось бы избавиться от бумажек в этой системе окончательно.

Такие безбумажковые решения тоже существуют — например, для сетей паркингов в Гонконге. Там нужно один раз зарегистрироваться в системе, указать данные о вашем ТС, привязать карту, и тогда все паркинги сети будут вас узнавать. В России похожий сервис реализовали наши партнеры на базе нашего же продукта. Система распознает номера и атрибуты ТС, которые заезжают на территорию, а оплатить парковку можно на сайте или на выезде картой. Красота же.

При этом бывают кейсы, которые намного хуже бумажного пропуска. У многих придомовых территорий в нашей стране системы распознавания вообще нет. Вам нужно звонить диспетчеру (со своего мобильного или выходить из машины и звонить через домофон) и ждать, пока он вам откроет. В 2024 году это ужасно долго для такой рутинной задачи.

Задача доступа на территорию встречается в самых разных сферах. Например, сейчас у нас проходит пилотный проект с больницами Москвы: LUNA Cars используется, чтобы ускорить пропуск машин скорой медицинской помощи на территорию и автоматизировать допуск обычных машин, для которых был заказан пропуск. Чтобы отличать машины скорой помощи от всех остальных, у нас есть специальная сеть для атрибутов, которая распознает все экстренные службы РФ (конечно же по ГОСТу :)).

Бесшовное взимание платы (толлинг)

Вы уже знаете, что это такое, если ездили, например, по ЦКАД. С системами безбарьерного (или бесшовного) толлинга вам не нужно проезжать через шлагбаум и останавливаться, чтобы оплатить проезд.

В случае с бесшовными системами все происходит автоматически. Оплата списывается двумя способами.

1. При помощи датчиков. Они регистрируют транспондер, установленный у вас в машине (вы его, конечно, заранее купили и в машину положили). Например, такое реализовал «Автодор» на ЦКАДе.

2. При помощи видеоаналитики, если транспондера у вас нет. Система видеоаналитики на трассе распознает номер вашего ТС и его тип, и за номером закрепляется долг согласно тарифной сетке. Дальше в течение нескольких дней вы можете этот долг погасить. А если не погасите, придет штраф.

Могут быть и другие варианты оплаты, но в любом случае это происходит бесшовно. Вам не нужно заезжать в физический пункт оплаты и ждать, пока откроется шлагбаум. А значит, транспортный поток не замедляется. Меня лично раздражает (думаю, и водителей машин за мной тоже), когда заезжаешь в пункт оплаты, а транспондер не срабатывает, шлагбаум не открывается, и тебе нужно ползти назад и пытаться проехать через другой КПП. А если нет пункта оплаты и шлагбаума, подобные проблемы в принципе невозможны.

На этой иллюстрации — рамка с камерами, которые анализируют поток: проверяют номер, тип транспортного средства и в соответствии с этим определяют тариф. Стоимость на таких дорогах часто еще связана с количеством осей у машины. Чем больше колес, тем дороже проезд, поэтому системы видеоаналитики считают и число осей у транспортного средства.

На сегодня все. В следующем посте расскажу про пайплайн распознавания транспортных средств — он используется для всех кейсов, которые я сегодня перечислила. А пока задавайте вопросы. Постараюсь подробно на них ответить!