Когда-нибудь в будущем мы сможем надеть очки — и ходить по городу, который рендерится в реальном времени в том стиле, какой нам нравится. Солнечный свет или лёгкая дымка, вечерний закат, что угодно. Независимо от того, насколько унылая архитектура — в очках она будет прекрасной. Такие возможности рендеринга с перенесением стилей открывает потрясающая программа Deep Photo Style Transfer, которая опубликована в открытом доступе, также как и научная работа, лежащая в её основе (arXiv:1703.07511).

Перенос стиля с одного изображения на другое — старая проблема, которую относительно успешно пытались решить разработчики в прошлом. Правильно подобрав образец для переноса стиля, можно красиво трансформировать свою фотографию — как будто она сделана в другое время суток, под иным освещением, в другую погоду или специальным образом художественно обработана. До настоящего времени техники переноса стилей с помощью нейросетей были относительно ограниченными — или они могли работать только с определёнными сценами, или страдала правдоподобность переноса стилей. Авторы новой программы Deep Photo Style Transfer постарались решить все эти проблемы.

Нейросеть Deep Photo Style Transfer построена в соответствии с техникой переноса стилей Neural Style, описанной в работе Гэтиса, но значительно переработана и улучшена. Главное улучшение заключается в фотореалистичности. У Гэтиса даже если исходное изображение и образец являются фотографиями, конечное изображение всё равно напоминает рисунок, где чёткие линии и границы становятся размытыми, а текстуры накладываются на соседние объекты. Выглядит красиво, но не очень реально.

Только цветовое пространство

Результат работы Deep Photo Style Transfer строго фотореалистичен. «Эффекты живописи» устранили за счёт запрета на пространственные искажения. Здесь перенос стилей ограничен только цветовым пространстве. Другими словами, формы объектов остаются точно такими же, как в оригинале. Именно по этой причине в будущем станут возможными «очки», о которых говорилось в начале статьи. Все объекты в окружающей реальности сохранят свои очертания, просто будут выглядеть в другом стиле.

Поставленной задачи авторы добились, использовав специфичный слой нейросети в духе матрицы Кирхгофа (Laplacian matrix) — представления графа в виде матрицы. Как показала проверка на фотографиях с различными сюжетами, такой подход успешно подавляет искажения, в то же время оказывая минимальное влияние на достоверность фотографий.

Наиболее наглядно описанный принцип проявляются в двух специально подобранных примерах.



Как видим, границы объектов чётко сохраняются. Преобразование происходит только в цветовом пространстве. В первом случае стиль огня переносится на флакон с духами, а во втором случае меняется текстура яблок в соответствии с шаблоном.

Семантическая сегментация

Второе достижение авторов программы — решение проблемы с переносом стиля между неподходящими объектами на исходной фотографии и образце стиля. Это сделано за счёт семантической сегментации. Поэтому стили домов переносятся только между домами, и стиль неба влияет только на небо. Во многих случаях семантическая сегментация очень эффективно работает, если только на образце стиля есть те же семантические объекты, что на исходном изображении.

Два вышеупомянутых подхода обеспечили исключительно реалистичное преобразование фотографий.

Оригинал


Образец стиля


Итоговое изображение


Вот ещё несколько примеров.

Оригинал


Образец стиля


Итоговое изображение

---

Оригинал


Образец стиля


Итоговое изображение

---

Оригинал


Образец стиля


Итоговое изображение

---

Оригинал


Образец стиля


Итоговое изображение

---

Оригинал


Образец стиля


Итоговое изображение

---

Оригинал


Образец стиля


Итоговое изображение

---

Оригинал


Образец стиля


Итоговое изображение

---

Оригинал


Образец стиля


Итоговое изображение

---

Оригинал


Образец стиля


Итоговое изображение

---

Оригинал


Образец стиля


Итоговое изображение

---

Оригинал


Образец стиля


Итоговое изображение

Качество работы такого алгоритма можно определить только по результатам опроса пользователей, которые оценивают фотореализм и достоверность передачи стиля. Такой опрос бы проведён. Он показал, что по уровню фотореализма Deep Photo Style Transfer значительно превосходит представленные ранее разработки Neural Style и CNNMRF, но уступает системе передаче цвета Пити. По достоверности передачи стиля Deep Photo Style Transfer намного лучше других методов.



Авторы научной работы намерены продолжить исследования, чтобы преодолеть существующие ограничения сегментации изображений. Они также считают перспективным направление обработки фотографий в реальном времени с помощью предварительно обученной нейросети.