![](https://habrastorage.org/files/75a/1ed/c88/75a1edc88a934298995e6c29118080fd.jpg)
Компания Google недавно показала, как нейросеть может самостоятельно создавать произведения искусства. Попросту говоря, рисовать картины, утрируя существующие изображения.
Новый эксперимент, проведённый в университете Тюбингена (Германия) демонстрирует альтернативный алгоритм для нейросети: она правдоподобно подделывает художественный стиль Винсента Ван Гога, Пабло Пикассо, Эдварда Мунка и любых других художников. На вход для обработки подходят любые изображения.
Пример работы алгоритма показан иллюстрациях вверху, где нейросеть обработала в разных стилях фотографию улицы в немецком городке.
Сгенерированные картины действительно красивы и, без сомнения, имеют высокую художественную ценность. Впрочем, это не означает, что оригиналы произведений великих мастеров прошлого упадут в цене. Скорее наоборот, ценность подлинников только возрастёт.
Нейронная сеть имеет 19 вложенных слоёв, а обработка исходного изображения происходит в несколько стадий. На каждой стадии в иерархии количество фильтров увеличивается, но при этом размер картинки становится меньше за счёт реализации механизма своеобразного даунсэмплинга.
![](https://habrastorage.org/files/27e/6d8/0bb/27e6d80bb8cc47a696cb67a73e251cc0.png)
Стилизация под конкретного автора происходит на этапах d, e.
Авторы научной работы считают главным достижением то, что удалось успешно отделить репрезентации контента и стиля в нейросети. Таким образом, ими можно управлять независимо друг от друга. Например, взять контент с одного изображения, а стиль — с другого. Именно это показано на самой первой иллюстрации, где одна фотография преобразуется в картины, выполненные в разном стиле.
Слои со стилем применяются или ко всему изображению, или фрагментарно. Вот как выглядит фотография города, если к ней применить стиль знаменитой картины «Композиция VII» Василия Кандинского.
Оригинал
![](https://habrastorage.org/files/300/56b/5c8/30056b5c87b845fc9d9be981353dd669.jpg)
Результат работы нейросети
![](https://habrastorage.org/files/68b/889/15b/68b88915b757494c839a43fdf0cb4305.png)
Комментарии (11)
Athari
30.08.2015 21:50+9Инструмент в онлайн они не выложили? Поиграться же хочется. Это ж наркота посильне Deep Dream!
bear11
30.08.2015 22:18+3Интересно, сможет ли он смоделировать стиль Шишкина? Перова? Кустодиева? Тех картин, где практически нет искажений?
Athari
30.08.2015 22:37+2Явно же уклон во всякие импрессионизмы-абстракцонизмы. И нет признаков, что алгоритм дружит с обработкой фоток людей. Для имитации всяких Шишкных достаточно взять любую фотку с природой и наложить по вкусу любой фотошоповский фильтр, имитирующий краски. С Перовым сложнее: взять сюжетную фотку, поиграться с яркостью-контрастом, выделить нужное. А вот Кустодиев хорошо с этим алгоритмом должен пойти.
NSko
31.08.2015 09:41Стиль Кандинского у них воссоздать таки не удалось, что забавно, учитывая то, насколько он сам формализовал принципы своего творчества.
fareloz
31.08.2015 10:52Не могу понять как они обучили сеть. Есть статьи раскрывающие механизм построения и обучения?
tmg
31.08.2015 11:32+1вот все что удалось найти
A Neural Algorithm of Artistic Style
а вот от этогоже? автораPrediction: The deepdream pop-art explosion was nothing compared to whats about to unfold. Rather exiting times. pic.twitter.com/yMd5tg3OXX
— samim (@samim) 28 августа 2015
публикация раньше про перенос стиля с лица на лицо, но уже с кодом
Style Transfer for Headshot Portraits
Style Transfer for Headshot Portraits
Danov
31.08.2015 20:06+1Сомнения берут, что им удалось обучить 19 слоев. Может они просто фильтры набрали из уже обученных сеток сложив их в последовательный конвейер?
Meklon
Ссылка на исходную публикацию на arxiv.org