Иногда пользователи пытаются пройти биометрическую верификацию не совсем честно. Иногда — совсем нечестно. Кто-то показывает фото на экране другого телефона, кто-то — печатает лицо на бумаге и машет им в камеру.
Всё это — спуфинг, и он давно вышел из лабораторий и научных статей в суровую продакшен-практику. А задача при этом, казалось бы, простая: по одному кадру понять, есть ли перед камерой живой человек. Ни видео, ни поведенческой биометрии, ни инфракрасных сенсоров. Просто JPEG. Просто ад.

Хорошая новость: у нас в команде есть Александр. Он знает о спуфинге всё. И о методах борьбы с ним — тоже. Именно он вместе с командой собирал решение для промышленного предприятия, где от надёжности антиспуфинга зависит не просто результат верификации, а физический доступ на объект.

Контроль доступа на КПП, где счёт идёт на секунды, — это совсем другой мир. Там нет времени просить пользователя моргнуть или покрутить головой. Поэтому фокус — только на 2D-снимке. Один кадр с фронталки — и всё, больше ничего от человека не требуется.

Если бы это был онлайн-сценарий — сделали бы иначе. Добавили бы поведенческую биометрию, реакции на команды, maybe даже дипфейк-детекцию. Но на проходной такое не взлетает. Нужно просто и быстро: встал, сфоткался, прошёл.

Зачем вообще такая система?

Во-первых, потому что пользователи не любят заморачиваться. Им хочется: камера включилась — и всё работает. Во-вторых — потому что и те, кто пытается обмануть систему, тоже не любят напрягаться. На производстве не редкость, когда один человек оформлен, а приходит другой. Или когда нужно «протащить» чужой пропуск — зачем изобретать дипфейк, если можно просто показать фотку с экрана?

Вот мы и решили: пусть система сама определяет, настоящий человек перед камерой или нет. Причём — без магии, без второстепенных сенсоров, без фонового анализа. Просто кастомный датасет, ансамбль CNN и несколько честных инженерных костылей.
Спойлер: получилось. Но не сразу.

Сложности на старте

Первая проблема: нет нормальных открытых датасетов. Те, что есть, либо слишком маленькие, либо давно потеряли свою актуальность и не подходят по качеству для современных реалий. Обучив на них модель, в продакшене получаем кучу ложных срабатываний и дыр в безопасности.

Вторая проблема: хочется, чтобы модель не переобучалась на конкретные ситуации, пиксельные артефакты или ракурсы, а реально понимала: «это живой человек» или «это обман».

Третья проблема: нам нужен один кадр. Без таймлайна, без видеоаналитики. Только изображение.

Четвёртая проблема: большинство готовых моделей хорошо себя чувствуют, когда видят рамки дисплея или другой контекст вокруг лица. Но как только фейк приближен — лицо занимает весь кадр, края не видны — они начинают выдавать ошибки. 

Пятая проблема: все приличные датасеты, где действительно есть качественные спуф-атаки, либо приватные, либо недоступны из-за NDA. Более того, большая часть корпоративных датасетов имеет привязку к своим устройствам и сценариям (свои камеры, свои условия съёмки), и переиспользовать такие данные для генерализации — почти бесполезно. Так что пришлось собирать свой, с нуля, руками и с болью.

Как мы собирали датасет: немного магии и много ручного труда

1. Положительный класс: реальные лица

Сначала собрали порядка 40 000 изображений с нашей собственной верификационной системы (естественно, с соблюдением всех норм хранения и приватности). Оттуда взяли лица живых пользователей, прошедших проверку.

• Извлекали только центральную часть лица, без лишнего контекста.

• Это и стало основой «положительного» класса.

2. Отрицательный класс: фейковые лица

Интернет — плохой источник. Открытые наборы данных с фейками либо низкого качества, либо не соответствуют реалиям.

Легче найти фото НЛО с хорошим разрешением, чем реалистичную подделку лица на телефоне.

Поэтому решили генерировать свои подделки вручную:

• Взяли несколько телефонов и мониторов с разной плотностью пикселей и цветопередачей.

• Слепили из имеющихся реальных лиц видео..

• Прогнали видео на всех устройствах.

• Сверху установили две внешние камеры, снимали экраны под разными углами, с разным освещением: день, вечер, настольная лампа.

• Нарезали кадры — это и стали наши «подделки».

Таким образом, собрали большой и качественный отрицательный класс.

Предобработка: чистим, режем, балансируем

Прежде чем скармливать всё это в модель:

• Прогнали через детектор лиц .

• Вырезали только лица — никаких краёв телефонов, обоев и света из окна, мы учим модель на определение самых сложных ситуаций, где края экрана явно не видно.

• Провели балансировку классов, чтобы избежать переобучения на «норму».

Всё максимально близко к боевым условиям.

Архитектура модели: ансамбль трёх нейросетей

Чтобы модель не была узконаправленной и не училась на артефактах (например, рамке iPhone 11 Pro Max), мы пошли по пути ансамбля нейросетей. У каждой — своё «зрение»:

• Сеть 1: смотрит только на лицо, без фона. Это именно наша сеть – нами созданная и обученная.

• Сеть 2: берет лицо + небольшой контекст. Уже можно догадаться, подделка это или нет.

• Сеть 3: максимально широкая область вокруг лица, если доступна.

Каждая сеть предсказывает независимо. Далее используется агрегация оценок: простое голосование, или сложная логика с весами — зависит от эксперимента.

Технологии под капотом

• Pytorch — обучение модели

• Albumentations  — библиотека с разнообразным аугментациями для обучения

• ONNX — фреймворк для быстрого инференса моделей на CPU

• Flask — бэкенд на python
  

Что в итоге

• Модель внедрена в продакшен и обрабатывает реальные запросы.

• Ложные срабатывания практически отсутствуют (жалобы были, но редкие и обоснованные).

• Фейки в упор не проходят, даже если показать фото лица без видимых рамок или экран под углом.

• Целевая метрика достигнута, а результат — устойчив к новым атакам.

Что дальше?

Мы уже думаем над использованием ИК и стереокамер. Но даже сейчас один кадр — это уже защита, если её правильно обучить.

Вывод

Нет видео? Нет проблем. Просто обучите три CNN-сетки, соберите датасет вручную, десятки часов попейна — и вы готовы к бою со спуфингом. А если серьёзно — один кадр может многое, если вы правильно выбрали признаки и хорошо его подготовили.

Готовы ответить на любые вопросы в комментариях — как собирали датасет, какие модели тестировали, что не взлетело и почему нельзя просто найти готовую сеть и радоваться жизни.

Подписывайтесь на мой тг-канал: больше об ИИ в бизнесе и жизни компании там –https://t.me/roslyakovgo