Некоторые актеры и актрисы известны тем, что они практически не проявляют эмоций на экране. Каким образом с подобной мимикой можно оставаться востребованным и популярным актером не совсем ясно, но, быть может, эти представители мира кино просто что-то знают о будущем кинематографа, и особенно не переживают.
Дело в том, что компания Disney представила новую технологию, позволяющую усиливать или даже менять эмоции актера на уже отснятом видео. Делается это при помощи программного обеспечения, которое получило название Face Director. Это ПО умеет менять положение некоторых фреймов для достижения необходимого результата.
Программа анализирует лицо актера и аудио-материал для создания нового выражения лица человека. Это может быть удивление, или радость, или разочарование. Человек же может вообще просто улыбаться в кадр, особенно не стараясь как-то выражать свои эмоции. Интересно, что это ПО работает с обычным видео, отснятым при помощи 2D камеры.
По мнению вице-президента Disney Research Маркуса Гросса (Markus Gross), новая технология поможет бюджетным фильмам. Дело в том, что многие режиссеры добиваются нужной сцены, повторяя один и тот же дубль несколько десятков, а то и сотен раз. Это можно делать, если бюджет фильма достаточно крупный, ведь повторение сцены требует и временных и денежных затрат. А что делать создателям фильмов с ограниченным бюджетом? В этом случае можно не мучить актера, а попытаться исправить не слишком удачный кадр самостоятельно.
Ниже размещено видео с демонстрацией работы программы. Все это — один и тот же кадр, с использованием программы и без нее. Заметить, что происходит при работе ПО довольно сложно, выглядит все достаточно натурально. Возможно, теперь актеру теперь будет достаточно просто открывать рот, не выражая никаких эмоций, а программа все сделает сама. Будущее уже здесь, с этим не поспоришь.
А еще американские программисты научились создавать контролируемые трёхмерные модели лиц на основе фотографий. Специалисты из Вашингтонского университета научились моделировать различные выражения лица одного и того же человека на основе большого количества его фото. И после того, как модель готова, она может воспроизводить мимику, анализируя эмоции других людей на фотографиях и видео.
Комментарии (11)
MTonly
13.12.2015 19:58+1быть может, эти представители мира кино просто что-то знают о будущем кинематографа
В будущем актёров, вероятно, вообще не будет, вместо них будет фотореалистичная трёхмерная графика, а актёры будут использоваться лишь для захвата некоторых движений (motion capture), и то — только на первых порах.
rPman
13.12.2015 22:03+1Полагаю уже сейчас фильмы 'в одной комнате', когда все действие происходит в статичном пространстве помещения и основа сценария — болтовня, можно генерировать чуть ли не по тексту книг :)
esc
13.12.2015 22:58+1Уже сейчас? Вы хоть голос с эмоциями сгенерить попробуйте;)
rPman
14.12.2015 01:19Синтезаторы речи, даже те что доступны бесплатно (тот же google который идет с android offline) позволяют синтезировать текст, в т.ч. с некоторой эмоциональной окраской (управление конечно на низком уровне тут задержка, тут тембр поменять), в какой то демошке русского голоса видел даже готовую реализацию (xml в тексте) правда как и все русскоговорящие синтезаторы не на лучшем уровне.
esc
14.12.2015 01:22+1На полном серьезе готовы сравнивать эти синтезаторы с игрой актеров? То, что они чуть лучше microsoft sam, не означает, что у человека хотя бы нет дискомфорта при из прослушивании, не говоря уже об эмоциональной игре.
До того, что вы говорите (генерация фильма по тексту книги) сейчас бесконечно далеко. И пока нет предпосылок, что эту задачу в принципе получится решить (чтобы предпосылки появились, надо чтобы ИИ научился понимать смысл текста и суть человеческих эмоций).rPman
14.12.2015 01:41Я не хотел чтобы обсуждение двигалось в направлении 'полностью автоматической генерации', а только с позиции — возможности генерировать дешевле, чем нанять актеров, поэтому и написал 'чуть ли не'.
Уже сейчас тело и голову в эпизодах спокойно заменяют компьютерной графикой и motion caption какого-нибудь noname актера. Чем хуже будет являться подмена голоса точно так же или близко по смыслу? Когда на основе одного голоса программно подменяем подкручиваем необходимые параметры? Там оператор ручками подкрутил параметры синтеза, тут надиктовал пару предложений сам,…esc
14.12.2015 01:43+1Полагаю уже сейчас фильмы 'в одной комнате', когда все действие происходит в статичном пространстве помещения и основа сценария — болтовня, можно генерировать чуть ли не по тексту книг :)
Немного отличается от того, что вы утверждаете сейчас.
beliakov
13.12.2015 23:09+6Пусть даже не пробуют провернуть этот трюк с Чаком. Чак настолько крутой актер, что способен испытывать все эмоции одновременно.
zim32
14.12.2015 01:09+5Заголовок не соответствует видео. Как я понял программа лишь позволяет подкорректировать часть неудачной реплики персонажа используя его удачный дубль, делая это незаметно для смотрящего.
Quiensabe
Программа не может «усиливать или менять эмоции актера». Она просто позволяет синхронизировать два видео с разными эмоциями, а потом при помощи морфинга получить «что-то среднее». Добавить какие-то эмоции в видео нельзя, программа вообще «не знает», что такое эмоции и как они выражаются.
По сути все это давно было, видеоморфинг применяется много лет. Только раньше подгонять его нужно было вручную, а тут все делается автоматом (вероятно). При этом время подгоняется по аудиодорожке, что конечно удобно, но при сильно различных эмоциях появляются артефакты (заметны в видео). А трекинг точек лица видимо автоматизирован, это конечно удобно.
Если выпустят программу для людей — будет удобный рабочий инструмент, позволяющий сильно ускорить некоторые процессы. Так что ребята молодцы конечно. Но революцией тут не пахнет, увы.
ramntry
угу, с произвольной кривой долей двух видеопотоков.