Google ранее представила функцию профессионального студийного освещения на основе ИИ под названием «Портретное освещение». Она доступна не только на новом флагмане Pixel 5, но и на более старых устройствах. Теперь компания раскрыла процесс обучения этой камеры на миллионах снимков.

Для «тренировки» алгоритма потребовалось 64 камеры, которые были расставлены вокруг объектов съемки. Также в процессе задействовали 331 программируемых LED-панели и 70 человек с различным цветом кожи. Это позволило сделать миллионы снимков, которые стали базой для обучения алгоритма.



В итоге функция добавляет имитированный источник направленного света к портретам. В Pixel 4, Pixel 4a, Pixel 4a (5G) и Pixel 5 портретный свет автоматически применяется после захвата изображения в режиме по умолчанию и к ночным фотографиям, которые включают людей.

На фотографиях портретный свет обеспечивает более яркое освещение, дополняющее уже примененный эффект малой глубины резкости, в результате чего создается эффект студийного качества. При этом пользователи Pixel, которые снимают в портретном режиме, могут вручную изменить положение и яркость применяемого освещения в соответствии со своими предпочтениями.

Новые модели машинного обучения, каждая из которых обучается с использованием набора данных фотографий, снятых в системе Light Stage, позволили реализовать две новые алгоритмические возможности:

1. Автоматическое размещение направленного света: для заданного портрета алгоритм помещает синтетический направленный свет в сцену в соответствии с тем, как фотограф разместил бы источник света вне камеры в реальном мире.

2. Синтетическое повторное освещение после захвата: для заданного направления освещения и портрета синтетический свет добавляется таким образом, чтобы он выглядел реалистично и естественно.



Новая модель машинного обучения способна оценивать профиль всенаправленного освещения с широким динамическим диапазоном для сцены на основе входного портрета. Она определяет направление, относительную интенсивность и цвет всех источников света в сцене с учетом лица как светового зонда, а также оценивает позу головы объекта с помощью MediaPipe Face Mesh.

В студийной портретной съемке основной источник света вне камеры, или ключевой свет, размещается примерно на 30° над линией глаз и между 30° и 60° от оси камеры, если смотреть на сцену сверху.

Для обучения второй модели потребовались миллионы пар портретов как с дополнительным освещением, так и без него. Для каждого сфотографированного человека были созданы синтетические портреты в различных условиях освещения.

Вместо того, чтобы пытаться напрямую предсказать выходное повторное изображение, модель повторного освещения обучили выводить частное изображение с низким разрешением, то есть попиксельный множитель, который при повышении дискретизации может быть применен к исходному входному изображению для получения желаемого выходного снимка с дополнительным источником света. Этот метод поддерживает только низкочастотные изменения освещения, не влияя на высокочастотные детали изображения.

Чтобы смоделировать оптическое поведение источников света, отражающихся от относительно матовых поверхностей, модель обучили оценивать нормали поверхности по входной фотографии, а затем применили закон Ламберта для вычисления «карты видимости света» для желаемого направления освещения. Эту карту видимости света представили в качестве входных данных, чтобы обеспечить обучение модели с использованием аналитических данных на основе физики.

Те, кто использует управление двойной экспозицией, могут применять портретный свет после захвата для дополнительной гибкости редактирования изображения.

См. также: «Google отключит фотофильтры по умолчанию в смартфонах. Есть версия, что «улучшатели» приводят к самоубийствам у девочек»