Команда исследователей из Китайской академии наук и Городского университета Гонконга представила алгоритм DeepFace, который может создавать реалистичные человеческие портреты из простых набросков.

Современные методы машинного обучения позволяют генерировать реалистичные человеческие лица из эскизов, но для использования этих алгоритмов, как правило, необходимо, чтобы эскиз был нарисован максимально подробно. Алгоритм достигает наиболее реалистичных результатов только тогда, когда сам рисунок тоже реалистичен. Такие алгоритмы рассматривают исходные изображения как своего рода карту и заполняют пустые пространства между штрихами.

Новый алгоритм китайских исследователей рассматривает входные эскизы скорее как приблизительную основу для синтеза изображения. Этот метод позволяет генерировать реалистичные лица даже из грубых, схематичных набросков.

Система состоит из трех основных модулей — CE (Component Embedding), FM (Feature Mapping) и IS (Image Synthesis). Модуль CE отдельно изучает пять объектов исходного эскиза — левый глаз, правый глаз, нос, рот и остальная часть. Модули FM и IS вместе образуют другую подсеть и с её помощью преобразуют каждый отдельный компонент в реалистичное изображение.

Исследователи также создали интерфейс, который позволяет накладывать на изображение тень. Как пишет Synced, изображения, которые получаются при помощи нового алгоритма, визуально приятны и похожи на настоящие фото. Исследователи утверждают, что их инструмент прост в использовании даже для тех, кто не является художником. Статья, посвящённая системе, опубликована на arXiv, а исходный код авторы планируют опубликовать в ближайшее время.

В конце мая исследователи из Facebook AI Research и Тель-Авивского университета представили алгоритм, который позволяет добавлять людей на фотографии. Методика использует искусственный интеллект, который оценивает позу других людей на заданном изображении, а затем добавляет на фото ещё одного человека. В ходе экспериментов авторы обучили алгоритм на более чем 20 тыс. изображений. При проверке реалистичности алгоритма люди определяли лицо, созданное искусственным интеллектом, в среднем 43% раз.