В последние годы возрос интерес к моделям машинного обучения, в том числе для распознавания зрительных образов и лиц. Хотя технология далека от совершенства, она уже позволяет вычислять преступников, находить профили в социальных сетях, отслеживать изменения и многое другое. Simen Thys и Wiebe Van Ranst доказали, что, внеся лишь незначительные изменения во входную информацию свёрточной нейронной сети, можно подменить конечный результат. В этой статье мы рассмотрим визуальные патчи для проведения атак на распознавание.
Первые атаки на системы распознавания представляли собой небольшие изменения пикселей входного изображения для обмана классификатора и выведения неправильного класса.
Цель состояла в том, чтобы создать патч, способный успешно скрыть человека от детектора. В результате получалась схема атаки, которую можно было использовать, например, для обхода систем наблюдения. Злоумышленники могут незаметно красться, держа перед собой небольшую картонную табличку с «патчем», направленную к камере наблюдения.
Развитие cвёрточных нейронных сетей (СНС) привело к огромным успехам в области компьютерного зрения. Управляемый данными сквозной конвейер, в котором СНС обучаются на изображениях, показал наилучшие результаты в широком спектре задач компьютерного зрения. Из-за глубины этих архитектур нейронные сети способны изучать самые базовые фильтры в нижней части сети (где поступают данные) для достижения абстрактных высокоуровневых функций наверху. Для этого типичная СНС содержит миллионы изученных параметров. И хотя такой подход приводит к очень точным моделям, интерпретируемость резко снижается.
В исследованиях для обмана систем наблюдения использовались самые разные изображения, включая абстрактный «шум» и размытие.
Для создания патча использовалось исходное изображение, которое претерпевало следующие преобразования:
- поворот на 20 градусов;
- наложение шума;
- размытие;
- модификация яркости;
- модификация контраста.
Исследователи провели множество Inria-тестов для выявления наилучшего «сокрытия» человека.
Для достижения нужного эффекта изображение 40х40 сантиметров (которое в докладе экспертов обозначено словом patch) должно располагаться посередине detection box камеры и находиться в ее поле зрения постоянно. Конечно, этот способ не поможет человеку скрыть лицо, однако алгоритм обнаружения людей в принципе не сумеет обнаружить в кадре человека, а значит, последующее распознавание черт лица также не будет запущено.
В качестве демонстрации исследователи опубликовали видеодемонстрацию возможностей визуальных патчей:
Код проекта на GitHub.
Исследование.
trak
Можно я тут глупость напишу?
Где-то уже обсуждали, есть специальные вещи, с паттернами, которые путают камеры с распознаванием лиц, в частности в подземке разных городов. Пришли к выводу, что такие паттерны 100% привлекают внимание собственно охраны, которая смотрит в мониторы, типа они видят, что идет персонаж, которого камера не распознала.
loony_dev
Спорный момент. Человек идет в толпе, увидеть что вокруг его лица нет прямоугольника очень трудно.
submagic
Можно ещё детям шарики воздушные раздаривать, определяемые-распознаваемые как лица. Возможно — не просто лица, а, гм, вполне характерные.
andy_p
> вполне характерные
Сказочные?
submagic
nfw
Зачем полиция ищет Пелевина?
Хотя с другой стороны, многие его и считают сказочным персонажем.
submagic
Доигрался со всякими паттернами? Кстати, вполне в его духе.
vikarti
За раскрытие (в Зенитных кодексах Аль-Эфесби) новейших разработок ГРУ и ЦРУ сразу -:)
dplsoft
скорее тут мысль про то, что такой «защитный макиях», сам по себе «слишком выделяющийся в толпе». черно белые резкие грани на лице человека — мгновенно привлекают к себе внимание человека-охранника. Другое дело — что когда/если таких персонажей в метро будет больше чем единичные случаи — то толпа лиц превратится в чернобелую мешанину.
имхо, если хочешь скрыться от распознавалки — лучше/разумнее сделать деформирующий грим, который будет выглядеть как новое лицо — не известное ни для камеры ни для человеков. и не привлекающее внимание человеков ))
submagic
Думаю,
эта музыка будет вечнойэта война продолжится. Потому как напрашивается очень простой рекламно-маркетинговый ход: выпускать ОДЕЖДУ с такими паттернами, всё более продвинутые версии. Куртка «тебя не распознают, v.2.05, ДЖУНГЛИ». Футболка «тебя не распознают, v.3.15, ФРАКТАЛ». Целый бизнес на такой моде можно построить — а мода уже на подходе, естественно. Дарю идею, пользуйтесь.Shished
Накупил шмота, идешь через дорогу, и тут тебя Тесла сбивает.
submagic
Выживешь — вкрутишь Тесле иск на много-много миллионов. Нет — ну, значит, это сделают родственники. Ты не обязан одеваться так, чтобы тебя всякие там автопилоты распознавали.
anton19286
Сильно смущают люди в темах про Теслу, настаивающие, что отсутствие лидара — это преимущество.
dplsoft
ну как же… тесла рано или поздно перейдет на активное сканирование местности (если уже не перешли?), или как минимум на восстановление 3D-ространства вокруг по стереопаре камер или даже (что имхо, разумнее) по трем камерам.
sergeyns
Только охрана 99% смотрит не в мониторы, а в мобильники. Как вариант еще одну камеру, которая будет смотреть на охрану ))
AlexElkin
охрана скачает и напечатает «патчи»
Kocmohabt314
Помню, когда работал дежурным, начальник охраны попросил что-то починить и показывал через такую камеру как охранники на постах спят :)
red_andr
Я правильно понимаю, что было бы достаточно даже не картонки с патчем, а майки с подобным принтом?
old_bear
Кем именно изучены эти миллионы параметров?
shalm
А для машин наклейки ещё не изобрели? )
CrazyRoot
В теории достаточно иметь праворульную машину и возить на левом сидении плюшевого медведя :)
Aingis
Была байка про праворульку, что мол где-то в Европе (Германия что-ли) лица сидящих на пассажирских сидениях замазываются для сохранения тайны личной жизни (чью-то любовницу так застукали). Так вот, водитель праворульки посадил «куклу», и его лицо замазалось (руль-то справа). Так отмазался от штрафа, мол не доказать, что это он.
dplsoft
размазывание лиц?.. хм… а ездить же в масках или бонданах еще не запрещено?
jawaharlalnehru
За всю Европу говорить не буду, но вот в Баварии присылают обрезанную фотку, где только водитель и немного места вокруг него. И если в ответ написать, что это не я за рулём, то прям на дом придут полицейские с оригинальной полноразмерной фоткой и сравнят. Так что думаю, эта байка — не больше, чем байка.
submagic
Вообще идея интересная. Все пытались как-то номера маскировать и т.д. Но ведь можно посмотреть на задачу шире — пускай объект вообще не воспринимается системой, как автомобиль. Тогда, по логике вещей, она и номер распознавать не будет.
MaxDamage
Если есть номер, то на первый взгляд его распознавать должно быть намного проще, чем машину. Тогда разве что вокруг номера вешать паттерн мешающий его распознаванию. А радары вообще обычно распознаванием изображений не занимаются.
submagic
Ну можно много всяких «номеров» везде расставить, да хоть под лобовым стеклом и на капоте даже. Потом, опять же, есть диапазон камеры. Если он с диапазоном глаз существенно расходится — можно сделать так, что для человека номер будет одним, для камеры — другим (что, кстати, насколько я понимаю, вполне законно).
Bluewolf
При солнечном свете камера видит примерно так же, как человек, сложно что-то сделать. Ночью в ИК есть варианты.
submagic
Можно попробовать поиграться с яркостью, спектром и даже поляризацией. Крайний вариант, близкий к фантастике — выстрел по объективу камеры каплей поляризующего лака. Ну а дальше отражательная поляризация на номере.
Kocmohabt314
Тогда уж можно её каким-нибудь лазером ослепить. Вот еще интересно было бы попробовать вокруг номера разместить кучу ярких светодиодов на разные диапазоны и посмотреть не ослепит ли это камеру.
submagic
Ну, есть теоретически возможные методы (вообще) — тот же лазер или банальный огнестрел. На Украине камеры отстреливали просто из мощной пневматики. Но всё это противозаконно и не хотелось бы подобное глубоко обсуждать.
А вот вибрирующий номер — вроде бы, остаётся в правовых рамках. Людям же он виден нормально (опять же, в теории). Не уверен, что подобное можно сказать про подсветку сверх-яркими светодиодами.
Bluewolf
Никто из по крайней мере российских производителей камер не распознает машину отдельно. Распознается номер, потому что он формализован и хорошо читаем машинно, если есть радар и он дает координаты, они транслируются в единую СК и сопоставляются. Иногда есть всякие оптимизации, в духе «распознаем только движение», «распознаем в том прямоугольнике, что дает радар» и так далее. Большинство распознавалок хорошо переносит и пестрый фон, и много номеров или подобных им надписей. Собственно, саму область номера все, кого я знаю, ищут вообще без нейронок. Нейронки только для отдельных символов обычно.
submagic
Вибрирующий номер? Изначально смазанный, дрожание (для человеческого глаза) делает его, наоборот, чётким. Всё по закону. А камера видит смазь.
Prophead
Совсем не так. Для распознания ГРЗ система ищет в кадре признак номерной рамки и распознает его, предоставляя фотографию нарушителя.
Если вы возымеет номер и повесите его на шею и будете очень быстро бежать мимо комплекса ФВФ, то получите свою фотку с нарушением. Это если упрощенно.
Loved
Если Вы про комплексы ФВФ то номер распознают на фото, фото делают в точку где система увидела машину исходя из показаний радара. Чисто теоерически лось бегущий по дороге тоже будет сфотографирован, но в обработку не попадёт так как не будет номера на фото
red75prim
Это всё ненадолго. Добавят в сети обучение отношениям часть/целое и распознавание паттернов движения, и придётся маскироваться так, что даже люди не узнают.
Kate1313
slavae
Видимо, когда-то родится стандартизованный фейс, который будут носить все в толпе )
lotse8
длинные волосы, борода и темные очки на половину лица — решение вопроса
Kocmohabt314
Не знаю почему, но мне кажется, что это Децл (Кирилл Толмацкий), хотя яндекс и гугл картинки просто пишут что человек с бородой.