Этот алгоритм насколько крут, что уже в этом году в Московском Метро планируют ввести систему прохода по лицу — FacePay. При этом нам обещают, что система будет работать даже если человек в медицинской маске.
Как вы понимаете, жизнь уже не будет прежней. Поэтому давайте разберемся:
- Как работают алгоритмы распознавания лиц?
- Страшны ли эти алгоритмы на самом деле и где их применяют во благо?
- А также поговорим какого будущего нам ждать.
Причины
Технологии машинного зрения и распознавания лиц развивались очень активно с середины прошлого века. Но только сейчас стали по-настоящему хорошо работать. Причин тому три штуки:
- Появились действительно мощные компьютеры, способные справиться с задачей. За это спасибо закону Мура.
- Появились базы данных с нашими с вами фотографиями. За что спасибо социальным сетям.
- Ну и конечно, произошел прорыв в области нейросетей.
Все эти события позволили создать практически идеальные алгоритмы распознавания лиц. Так давайте же разберемся, как они работают.
Этап 1. Обнаружение
В первую очередь, для того, чтобы лицо распознать, надо его сначала обнаружить. Задача на самом деле не тривиальная. Для этого мы бы могли использовать натренированные нейросети, но это слишком долго, дорого и ресурсоемко. Поэтому для обнаружения лица используется очень простой метод Виолы — Джонса, разработанный еще в 2001 году.
Как эта штука работает?
Этот алгоритм просто сканирует изображение при помощи вот таких прямоугольников, они называются примитивами Хаара:
И еще вот таких прямоугольников:
Задача этих объектов — находить более светлые и темные области на изображении, характерных конкретно для человеческих лиц.
Например, если усреднить значения яркости область глаз будет темнее щек или лба, а переносица будет светлее бровей.
В общем таких характерных признаков много и естественно не только у человеческих лиц могут быть подобные паттерны. Поэтому алгоритм работает в несколько этапов:
Сначала находится первый признак, система понимает: «В этой области может быть лицо». Тогда она начинает там же искать второй признак, а потом третий. И если в одной области найдено 3 признака, уже можно уверенно сказать — да, это лицо! После чего система получает область изображения, в котором есть только лицо.
Этап 2. Антропометрические точки
Получив область для анализа, дальше в дело вступает главный секрет каждой системы распознавания — биометрический алгоритм.
Он расставляет на лице антропометрические точки, по которым впоследствии и будут вычисляться индивидуальные характеристики человека: разрез глаз, форма носа, подбородка, расстояние между ними и прочее. Таких признаков может быть много, вплоть до нескольких тысяч. Но в целом, таких точек должно быть как минимум 68.
Этап 3. Исправление искажений
А дальше начинается настоящая магия. В идеале нам нужно лицо, которое смотрит анфас, то есть прямо в камеру. Но такая удача бывает редко, особенно если речь идет о распознавании человека в толпе.
Поэтому система производит дополнительное преобразование изображения: устранятся поворот и наклон головы. А также проводится 3D-реконструкция лица из 2D-изображения. Таким образом, даже если человек на изображении смотрел вбок, мы всё равно можем получить четкий фронтальный снимок, что существенно повышает качество распознавания.
Этап 4. Вектор лица
Ну а дальше происходит самое главное. В бой вступает нейросеть, которая присваивает каждому лицу вектор признаков. Что это такое?
По сути, это просто какое-то число, которое складывается из суммы характеристик лица: расстояний между опорными точками, текстуры определенных областей на лице и прочее. Таких характеристик может быть множество. Основное правило: они должны описывать лицо независимо от посторонних факторов: макияжа, прически, возрастных изменений.
Этап 5. Идентификация
Ну а дальше остаётся сравнить полученный вектор с базой других векторов. И готово. Система вас идентифицировала.
Где и как используется?
Помимо очевидных кейсов применения, помимо обнаружения правонарушителей в общественных пространствах и оплаты билетов в метро. Где и как могут применяться эти технологии?
Во-первых, системы могут быть настроены не на идентификацию а на анализ поведения или настроения. В такси можно можно быстро вычислять неадекватных водителей или пассажиров. В магазинах, можно находить грустных покупателей и повышать уровень сервиса. Ритейлеры одежды или продуктовые магазины используют камеры для анализа поведения покупателя, чтобы проанализировать настроение покупателя на кассе. Или например в школах, можно искать скучающих детей и корректировать программу обучения. Так, кстати уже делают в Китае. Вот такой мир будущего, и мы уже в нём живём не зная этого.
Что будет в будущем?
Чего же нам ждать в будущем? Распознавание лиц для разблокировки iPhone, входа в Windows или во время конференций — это прекрасная, удобная технология, упрощающая жизнь и мы уже ей пользуемся. Но вот повсеместные камеры наблюдения в городах рисуют в воображении самые мрачные картины в духе Джорджа Оруэлла.
Отсюда возникает вопрос — можно ли защитить себя от систем видеонаблюдения? Конечно, с развитием технологий развиваются и средства обхода этих технологий.
Люди придумывают макияж и украшения, которые сбивают с толку алгоритм обнаружения лиц, тот самый из 2001 года, создают инфракрасные очки, засвечивающие сенсоры камер, а также делают всякую криповую одежду и маски.
Но по большому счету такой лук скорее больше привлечет внимания, а алгоритмы подстроятся под обманки. Поэтому единственный способ защиты — это закон. Бизнес активно не внедряет системы распознавания лиц только потому, что это несет большие юридические издержки. В ЕС активно разрабатывается новый закон, который уже прозвали GDPR 2: он будет строго регулировать системы распознавания лиц и прочие системы искусственного интеллекта, вызывающие законные опасения.
В России с этим пока что не так хорошо. Тем не менее отечественные компании, которые присутствуют на международном рынке также будут вынуждены соблюдать новые правила игры, как произошло с первым GDPR.
То есть, как вы поняли, есть светлая сторона технологии, которая упрощает нам жизнь и темная, что приближает нас к миру большого брата.
Комментарии (29)
lab412
13.09.2021 16:55+3вот самое интересное всегда умалчивается... алгоритм вас "сравнивает" с какой то базой... а база откуда? с чем идёт сравнение? соцсети? так там и половины населения нет. паспортный стол? так там фото 18ти летних подростков которые до 45 менять паспорт не будут... так откуда база для сравнения? или речь всё таки о том, чтобы найти 10 человек на которых загружены фото в базу? и сколько надо фото чтобы натренировать сеть? хватит одной фотки преступника с камеры наблюдения подъезда чтобы найти его потом в толпе в метро? этап 5 самый интересный и про него ни слова не сказано. ведь это главный вопрос на самом деле - с кем тебя сравнивать будут. макияж не нужен тому чьих фото нет в базе...
uhf
13.09.2021 20:43+3Современный алгоритм, использующийся в камерах видеонаблюдения в Москве способен обрабатывать 1 миллиард изображений менее чем за полсекунды с точностью близкой к 100%.
Можно пояснить эту фразу? «1 миллиард изображений за полсекунды» — имеется в виду, за полсекунды может быть выполнен поиск соответствия с базой данных для 1 миллиарда разных изображений с камер, или за полсекунды одно фото с камеры сравнивается с базой размером в 1 миллиард изображений?
И объясните, пожалуйста, как считались приведенные FMR (False Match Rate) и FNMR (False Non Match Rate), на какой выборке? Ведь чем больше база лиц, тем выше будет ошибка, я правильно понимаю?
Timnet
13.09.2021 20:51На данном этапе развития, только мозг человека способен на это.
CrashLogger
15.09.2021 09:39Нет такого человека, который помнит миллиард лиц и способен за полсекунды вспомнить нужного.
psycha0s
13.09.2021 22:16Как я это понимаю - база содержит векторы признаков лиц, по сути массивы чисел. За пол секунды осуществляется нахождение позиции лица в кадре, формирование вектора признаков, а дальше тупо бинарный поиск в базе векторов, который для миллиарда записей потребует всего около 30 сравнений.
Nepherhotep
14.09.2021 05:11Там исходный и искомый вектора никогда в точности не совпадают, поэтому там не бинарный поиск, а approximate neighborhood index. Колличество сравнений будет зависеть от настроек точности, хотя и сильно меньше миллиарда.
Kwent
14.09.2021 00:41Полсекунды - получение фич одной мордашки и поиск ее в миллиардной базе
Про FMR и FNMR можно посмотреть, например, тут https://pages.nist.gov/frvt/html/frvt11.html, если коротко - порядки базы миллионы людей, фиксируется FNMR (обычно 10-6 - 10-5) и получают в фиксированной точке FMR.
"Чем больше база, тем больше ошибка" - в общем случае нет, если сравнивать каждый с каждым, то количество негативных пар с ростом базы растет очень быстро, а большинство людей все-таки сильно отличаются. То есть зависит сильно от базы скорее, чем от размера. База из двух очень похожих людей сильно страшнее в плане метрик чем база из мужчины, женщины, старика и ребенка
dom3d
13.09.2021 20:59+1Мне кажется, что большинство крайне негативно относится к системам разпознавания лиц и тому факту, что за ними следят в интернете.
Что плохого в том, что реклама персонализирована.
Меня это мало волнует.
Кто нибудь объяснит мне, чем плохо вести открытый образ жизни?
tempick
13.09.2021 21:08чую волну минусов на ваш комментарий) И на свой тоже, кстати. Ибо поддерживаю вашу точку зрения
dom3d
13.09.2021 21:55-2-Лично меня например пугает не само слежение, а потенциальные возможности которые оно предоставляет для нечистоплотных владельцев подобных систем.
Дайте, пожалуйста, один пример потенциальных возможностей.
Кроме рекламного спама.
romxx
14.09.2021 02:33+3Камеры в Москве смогут следить за передвижением преступников - новости Право.ру
«Коммерсант» выяснил, что мэрия Москвы объявил тендер на модернизацию системы распознавания лиц, которую использует МВД. Согласно технической документации, с помощью нейросети полицейские смогут не только находить преступников, но также вычислять их маршруты передвижений и предполагаемых сообщников.
Алгоритм решил что вы - сообщник, раз шли рядом с преступником. Извольте повесточку.Мэрия Москвы доработает систему распознавания лиц специально для МВД | Forbes.ru
Согласно технической документации тендера, полицейские, в частности, с помощью доступа к системе распознавания лиц смогут искать не только подозреваемых, но и их сообщников. Нейросеть будет отслеживать передвижение преступника, а затем фиксировать, кто часто появлялся рядом с ним и в какое время. У полиции появится возможность отследить людей, которые возвращаются на те места преступлений, «где личности преступников не установлены».
Как-то подозрительно часто вы появлялись на месте, где по данным полиции было совершено преступление. Ведь известно, что преступников тянет на место совершенного преступления.
Не виноваты? У нас алгоритмы, они не ошибаются. Суд все выяснит. Вот посидитие в СИЗО, подумаете, полгода, год, и сознаетесь, облегчите душу, а МВД улучшите статистику раскрываемости.К вечеру 27 апреля ОВД-Инфо известно о 115 задержаниях в 23 городах России.
Задержанным вменяют участие в несогласованной акции, ссылаясь на данные камер видеонаблюдения.
Kwent
14.09.2021 00:44Ваш комментарий очень хорошо подходит к мобильной связи, каждый ведь носит с собой средство слежения, может, ну их тогда? Представьте будущее через 30 условных лет, там развито распознавание лиц? В моем очень даже, и я не очень хочу тормозить неизбежный прогресс
anonymous
00.00.0000 00:00krote
14.09.2021 01:14+4Ничего плохого ровно до того момента когда у кого то не возникнет интерес сделать такому непуганому человеку плохо.
Как маленький пример - бывший закинул интимные видео в сеть, двачеры по лицу нашли ее профили, сдампили список ее друзей, родственников, коллег. Начали шантажировать ее, распространять всем ее знакомым и т.д. Вот тебе открытый образ жизни. И есть ведь случаи самоубийства.
Glays
14.09.2021 16:45+3Да сейчас уже не приятно, когда звонят с предложением похоронных услуг, ещё до официального сообщения о смерти. А так гигантский пласт информации и об обычной жизни будет формализован и сможет быть обогащён и использован.
Если конкретно про легальное использование: Не забывайте, что там где персонализирована реклама, может быть персонализирована и цена.
Например если знать, что человек в данный конкретный момент кроме как на такси до дома не может добраться, можно назначить ему персональную цену. Он же любую заплатит.
А есть ещё не легальные варианты.
SmallDonkey
Какой нафиг миллиард, я больше 5 секунд иногда стою в метро перед этим проклятым фейспей
Kwent
Вот они, проблемы нашего времени :)
welga
Имеется в виду насколько законна эта БД. И может ли человек удалить личные данные(в данном случае свое фото) с этой БД. И как с защитой персональных данных?
lab412
во первых на паспортном контроле паспорта заграничные а в них фото не может быть старше 10ти лет так как паспорта на больший срок не выдаются. плюс человек с заграном не будет сидеть 10 лет чтобы потом поехать куда то за неделю до окончания срока. а это значит что он в течении всего этого времени бывал на границе где его не только человек проверял, а еще фоткали камеры и вносили текущие фото в базу данных.
так же я не уверен что проверка идёт на границе по распознаванию лиц. там сидит человек который глядя в твой паспорт и в твою личность стоящую напротив просит снять маску и решает уже верить или нет в то что этот паспорт твой. проверка же паспорта проводится на предмет валидности. короче это проверка бумажки - типо как с деньгами. запрос - валидный ли паспорт в некую базу данных и проверка скажем "водяных знаков", ну или что там в паспорте для валидации используется.
скажем я прилетел в лонгдон. никогда там не был. и в британии тоже. и в европе тоже не бывал. откуда у них в системе распознавания лиц моё лицо чтобы проверить? вы хотиле сказать что власти РФ отдали всем странам данные по всем гражданам РФ? не смешите меня! проверка может быть лишь если ты где то там засветился У НИХ. ну либо если они спиздят все фото с соцсетей. в противном случае за пределами страны не может быть данных о личности человека. не фоточки из соцсети а соответствия этой данной фоточки и паспортных данных.
так что не надо мне про паспортный контроль...
ps. я не говорю про преступных элементов которые попадают в базы интерпола и прочего. вот их то точно всем разошлют, но не все 130 миллионов граждан РФ
Mox
По крайней мере на Шенгенскую визу надо сдавать отпечатки пальцев и фото (по моему они даже сами делают фото, не помню)
При этом точно у Шенгенских стран единая визовая БД