Сразу скажу – если вы решили строить систему распознавания лиц, камеры с большим разрешением не решат всех ваших проблем. Увы, в большинстве случаев результат станет только хуже, а затраты на проект возрастут.

Привет, я Михаил, продакт-менеджер в компании ТРИДИВИ, руковожу проектами по распознаванию лиц на видео для задач класса «‎Безопасный город»‎.

Хочу рассказать о внутренних и внешних факторах, которые существенно влияют на эффективность распознавания лиц, а также поделиться практическими рекомендациями, как уменьшить их негативное влияние с помощью правильной архитектуры информационных систем, подбора подходящего оборудования и мест его монтажа.

Подход к исследованию

В 2023 году в процессе подготовки к двум проектам класса «‎Безопасный город» мы решили провести ряд специализированных испытаний в различных условиях уличной эксплуатации, чтобы выявить прямые и косвенные факторы, влияющие на результативность проектируемых систем.

Испытания длились в период с ноября 2023 по июль 2024, охватили 4 сезона года и 3 города (Москва, Санкт-Петербург и Челябинск) в разных широтах и часовых поясах.

В общей сложности из ~5 500 лиц прохожих было произведено 1 056 попыток идентификации участников по тестовой базе в 528 000 лиц.

Была сформирована методика и программа испытаний, подобраны различные типы камер и привлечены несколько групп участников для проверки корректности идентификации при влиянии таких условий, как:

• Разрешение и угол обзора камер;

• Высота размещения камер: от 2 до 4 м — для оценки влияния превышения требований по углам наклона головы;

• Места монтажа камер: стойки пешеходных светофоров, троллейбусные и трамвайные опоры — для оценки влияния вибраций и тряски;

• Ухудшенные погодные условия: снег, дождь, туман, смог;

• Ухудшенные условия освещения (менее 50 люкс): сумерки, искусственное городское освещение;

• Встречная засветка от светофоров и рекламных конструкций;

• Ориентация камер по сторонам света (в северных районах в утренние и дневные часы солнце может давать встречную засветку на камерах, ориентированных на юг, а в южных — на восток).

В ходе исследования также провели анализ влияния архитектуры системы с учетом пропускной способности городской сети:

• ЦОД — трансляция потоков с камер в центр обработки данных;

• Edge — обработка потоков с камер непосредственно на местах установки камер с последующей отправкой в ЦОД результатов идентификаций и «обедненных» потоков видео.

Проанализировав результаты, я выделил 2 группы факторов, оказывающих наибольшее влияние на результативность идентификации в системах распознавания лиц.

• 8 внешних — влияние на уровне окружения и эксплуатационных проблем.

• 6 внутренних — влияние на уровне системы.

В этой статье я рассмотрю, как вы можете управлять внешними факторами.

1. Вибрации (ветер, дрожь от транспорта)

Степень влияния — низкая (3 потери на 1056 попытках).

Наибольшие вибрации и тряску мы получали на трамвайных опорах в момент проезда транспорта, однако они оказывали слабое влияние на общий результат. Система успевает обрабатывать 25 кадров в секунду, поэтому сильных размытий изображения от тряски не возникает. Наша общая рекомендация заключается в том, чтобы смещение изображения было не больше 1% от размера кадра.

2. Погодные условия (снег, дождь, туман)

Степень влияния — низкая (7 потерь на 1056 попытках).

В светлое время суток или при достаточном освещении (>200 люкс) снег и дождь создают помехи на изображениях сопоставимые с естественными шумами матриц камер.

Ухудшается ситуация при недостаточном освещении, когда осадки и взвесь в воздухе начинают усиливать влияние встречных засветок.

3. Расстояние от камеры до объекта

Степень влияния — значимая (9 потерь на 1056 попытках).

Иногда приходится использовать длиннофокусные камеры, чтобы обеспечивать идентификацию лиц на расстоянии. Это может быть необходимо, чтобы «дотянуться» до подходящей зоны идентификации (например, где люди пребывают в покое и стоят в ожидании разрешающего сигнала светофора), или, чтобы нивелировать избыточный угол наклона камеры из-за необходимости поднятия ее выше 2,5 метров.

При увеличении расстояния до места идентификации начинает сильно возрастать влияние двух предыдущих факторов (осадки, взвесь в воздухе, тряска и вибрации).

4. Плотность потока людей

Степень влияния — высокая (26 потерь на 1056 попытках).

В плотной толпе больше перекрытий и заслонений, а следовательно выше шанс пропуска удачных кадров с изображением лица, когда:

• Человек смотрит в направлении камеры;

• Лицо в фокусе, и изображение не размыто из-за активного движения;

• На лице нет избыточных шумов, артефактов и помех: снежинок, дождя, волос, дыма сигарет и т.д.

5. Скорость движения людей в кадре

Степень влияния — высокая (28 потерь на 1056 попытках).

Выбирайте такие участки, где скорость движения людей ≤ 5 км/ч. Это значит, что люди движущиеся бегом, на самокате/велосипеде и т.д., могут быть упущены. Если между двумя соседними кадрами лицо сместилось на расстояние больше собственного размера, то это может дать избыточные смазы изображения и потерю трека.

6. Встречная засветка (от солнца, фонарей, рекламы)

Степень влияния — критическая (37 потерь на 1056 попытках).

Встречная засветка в утренние часы, блики на мокром асфальте или блеск наледи может длиться не долго и показаться незначительной проблемой на фоне общей продолжительности работы камеры в течение суток или в течение года, но мы потеряли довольно много идентификаций в ходе испытаний именно из-за этой причины.

Туман в темное время суток также может ухудшить влияние встречной засветки от светофоров, рекламных конструкций и проезжающих автомобилей, что делает изображения лиц непригодными для идентификации.

7. Ракурс съемки (углы поворота и наклона головы)

Степень влияния — критическая.

Люди смотрят под ноги и в телефоны. При размещении камеры слишком высоко резко снижается шанс получить фронтальное изображение лица, оптимальное для идентификации.

При избыточном смещении камеры в сторону от основного движения потока усиливается риск размытий.

8. Освещенность лиц менее 200 люкс

Степень влияния — критическая (98 потерь на 1056 попытках).

Ночные испытания без применения дополнительного освещения в зонах идентификации (помимо имеющегося стандартного городского освещения, обеспечивающего <50 люкс освещенности) показали трехкратную просадку результативности.

Как управлять внешними факторами?

1. Рекомендуемые производители специализированных линеек камер (с возможностью применения длиннофокусных объективов): AXIS, IDIS, Hikvision

2. При монтаже проверять наличие встречной засветки в зависимости от стороны света в утренние и вечерние часы, а также от рекламных конструкций, светофоров и фонарей.

3. Камеры настраивать под ночные условия эксплуатации. Без специального освещения большую часть суток (зимой с 18:00 до 09:00, летом с 22:00 до 07:00) может теряться до 60% идентификаций.

4. Не применять обзорные камеры для идентификации. Избегать попадания «пятна идентификации»‎ на проходную зону. Лучше заменить объектив на длиннофокусный и обеспечить захват лиц в зоне, где люди пребывают в покое и без превышения допустимых углов.

5. Качество основной массы получаемых изображений лиц с камер должно стремиться к качеству, сопоставимому с NIST Mugshot или Wild (35 пикселей между глаз, равномерное освещение, не более 20° угол поворота/наклона от фронтального положения). Проверить это можно с помощью автоматизированных сервисов, которые предоставляют вендоры систем распознавания лиц из списка NIST FATE Quality.

   Практика показывает, что если база сформирована из лиц с качеством NIST Visa/Border, а с видеокамер приходят изображения лиц с качеством NIST Mugshot/Wild, то система будет работать эффективно и идентификации будут надежными. Иначе повышается вероятность ложных идентификаций или пропусков.

   

Заключение

Мое исследование показало, что на этапе настройки и размещения камер специалисты часто работают «вслепую»! Хотя существуют доступные методические материалы и даже инструменты, автоматизирующие оценку эффективности настройки камер, они применяются не так широко.

В следующей статье я расскажу, как управлять 6 внутренними факторами, оказывающими влияние на системы распознавания лиц по видео. Надеюсь, что материалы моего исследования помогут интеграторам и эксплуатантам систем распознавания лиц.