Переработка кадров из фильма «Ледниковый период» в стиле «Звёздной ночи» Ван Гога
Нейронные сети обучают с помощью большого количество изображений. Каждая такая сеть состоит из ряда слоёв — от двух до 30 — с разным уровнем абстракции. Фотография или рисунок для получения конечного результата проходит через все эти слои. В июле 2015 года Google продемонстрировала, как нейросеть создаёт произведения искусства из рандомного шума.
В том же году в университете Тюбингена, Германия, провели эксперимент, который продемонстрировал способность нейросети подделывать художественный стиль великих мастеров — Ван Гога, Пикассо, Мунка и других. В качестве исходника используются любые изображения и фотографии. Результаты — на изображении ниже. Главным достижением авторы эксперимента посчитали возможность независимо управлять контентом и стилем в нейросети.
На исследование учёных из университета Тюбингена ссылаются Алексей Досовицкий, Мануэль Рудер и Томас Брокс из университета Фрайбурга, Германия. Учёные улучшили возможности нейросети для того, чтобы изменять не отдельные изображения, а видеоряд. В случае покадрового изменения объекты в каждом кадре могут быть переработаны различно, и результат будет сложно совместить. Учёные справились с этой проблемой, научив нейросеть распознавать объекты, следить за тем, чтобы их отображение не менялось слишком сильно в видео, и использовать каждый раз при их появлении один и тот же стиль.
Комментарии (32)
DROS
14.05.2016 14:06+2Вот если бы оно на голые модели таким образом текстуры само накладывало — вот это была бы польза, а так…
leshabirukov
15.05.2016 14:22+1… или например дорисовывало промежуточные кадры для мультипликации, раскрашивало чёрно-белые комиксы (с учётом освещения сцены), и делало прочую чёрную работу за художников.
Murmurianez
15.05.2016 20:20Да вполне реально. Во всяком случае откровенной фантастикой уже не выглядит.
vc9ufi
16.05.2016 09:14SmoothVideo Project добавляет кадры. Так же телевизоры сейчас поднимают фпс до 60.
leshabirukov
16.05.2016 10:17Нейросеть сделает лучше. В алгоритмическом решении всех контекстов, симметрий и ситуаций не учесть. Пример: дорисовать частично закрытое лицо, или правильно наложить тень.
Mulin
14.05.2016 14:59+1Низки поклон от видиоинженеров будет тогда, когда нейросеть научат вырезать сложные объекты из фона без использования сложных масок, хромакея и тому подобных ухищрений.
artF
14.05.2016 16:17+1Ранее на хабре уже говорили о программе, которая убирает людей с фотографии (которая делается по видео), причем неоднократно данная технология описывалась. Чем не сложные объекты? Мне кажется скопировать стиль куда сложнее, чем убрать лишние объекты, по этому поклон инженерам Google и всем тем кто вообще подобные штуки реализовывает.
Mulin
15.05.2016 16:08Я вам про Фому, вы мне про Ярему. Какое отношение удаление объектов с фото имеет к видеокомпозингу? Я как видиоинженер с многолетним стажем утверждаю, что есть в композинге фундаментальная задача — вырезание объектов из фона. Точнее максимальная автоматизация процесса. Для видеоинженера важность достижения определяется не сложностью специфической задачи, а необходимостью ее применения. Не спорю — возможно есть сферы, где требуется убирать людей с фото, но я же речь вел о композинге (видиоинжиниринге, если хотите). Что, в данном случае сложнее, я бы поспорил. В упомянутой выше фундаментальной задаче, есть, опять же, фундаментальные проблемы. Во-первых, это вырезание из фона людей, имеющих пышную шевелюру (не забыли — речь идет о видеоряде), и во-вторых — работа с полупрозрачными объектами, например элементы одежды из тонкой ткани.
BelBES
14.05.2016 15:46+2Пробовал поиграться с этой штукой. Из-за долгого вычисления оптического потока, а потом оптимизации каждого кадра по отдельности, работает очень долго, и на тестовом видео результаты получились так себе:
Вот этот крошечный фрагмент видео просчитывался ~10 часов на gtx980ti.
Tertium
14.05.2016 21:31+1сейчас уже к сожалению не помню, у кого, есть замечательный рассказ про моды разных художников, ставишь такой мод себе в голову и все вокруг видишь «глазами» Шагала или, например, Кандинского. там еще ГГ с женщиной познакомился и вместе с ней окунался в восприятие художников, потом ей надоело, произошел рассинхрон и ГГ ее уже не смог или не захотел найти. такой вобщем-то эмоционально-романтический рассказ. если через лет 10 такие алгоритмы усовершенствуют и упростят до уровня фильтра в инстаграм, будет близко к тому рассказу, только не в голову, а в какой-нибудь гуглоглаз
ILITARIY
недавно под нбомом и без нейросетей у меня все перекрашивалось, причем поэффектнее.
atomlib
У вас тоже есть нейросети, только ествественные, не искусственные.
CyberAndrew
Сейчас прибежит Роскомнадзор и
забанит вас поIPквартирезабанит гиктаймс за упоминание наркотиков.