Если много смотреть телевизор, то создаётся впечатление, будто люди там ненастоящие, а какие-то выдуманные виртуальные персонажи, говорящие головы, будто ими управляют как марионетками. Инновационная разработка учёных из США и Германии делает возможным именно такое дистанционное управление лицами на экранах.
Программа Face2Face накладывает мимику управляющего «актёра» на любое другое лицо. Это можно делать в прямом эфире и вставлять в видеотрансляцию. Лицо на телеэкране под управлением актёра способно отвечать на вопросы, хмурить брови и т.д.
Подделка видео всегда считалась относительно трудоёмкой задачей, по сравнению с подделкой фотографий. Если на фото можно в «Фотошопе» довольно быстро стереть человека или удалить часы с руки, то проделать такую операцию на видео гораздо сложнее, а в прямом эфире — вообще невозможно.
Но похоже, скоро мы вступим в новую эру информационных технологий, когда появятся не только отдельные попытки манипуляции массовым сознанием, но и полноценные клоны, виртуальные люди, которые живут только в телевизоре. Они будут выступать в прямом эфире, отвечать на вопросы, принимать участие ток-шоу или встречаться с избирателями. Но это только на экране, а управление персонажем будет происходить в дистанционном режиме. Такие перспективы открываются, если посмотреть на то, как работает программа Face2Face. В видеоролике лицами президентов разных стран управляют специалисты через стандартную веб-камеру.
Авторы научной работы (препринт) — исследователи из Стэнфордского университета, института Макса Планка и университета Эрлангена-Нюрнберга.
Комментарии (46)
geher
20.03.2016 20:59+5Прогресс серьезный, но пока присутствует некоторая неестественность в мимике на результирующей картинке. Как будто парализовало некоторые лицевые мышцы.
alexkunin
20.03.2016 21:10+2Проблемка с зубами: если на исходнике рот закрыт, а у модулятора открыт, то целевое изображение подглюкивает. Например в районе 4:10-4:15 это видно: зубы то появляются (какие-то искусственные, кстати), то пропадают.
На том же кусочке видно, что у "Target Actor" искусственно закрыт рот — там пиксели режутся. Интересно, они этой же программой просто наложили бесстрастное лицо, или какую-то дополнительную ручную обработку проводили? Вроде бы в прямом эфире тоже работает, зачем же тогда рот закрывать?
Ну, и движения тела (головы) отделяются от мимики. Становится похоже на Бишопа из Чужих.geher
20.03.2016 21:15> Проблемка с зубами
Да, это тоже портит впечатление, забавно выглядит, как будто зубы во рту свободно болтаются.
> Ну, и движения тела (головы) отделяются от мимики.
Это следующий этап. Пусть пока мимику доведут до совершенства.
И зубы заодно.qwertyhp
21.03.2016 00:16Несоответствие исходника и модулятора может компенсироваться, например, докомпиляцией образа (исходника) путем использования видеоматериала из базы данных. «Пробелы» в целевом изображении ("… на исходнике рот закрыт, а у модулятора открыт"...) будут просто заполняться из более раннего видео, если таковое имеется. Потребуется прогнозирование мимики на мгновения вперед, но вряд ли это будет проблемой.
Но вот похоже, что для тех, кто верит «ящику» и уделяет ему свое время, наступают веселые времена…
eugzol
21.03.2016 04:37> Но вот похоже, что для тех, кто верит «ящику» и уделяет ему свое время, наступают веселые времена…
Неужто гонорары у «говорящих голов» такие большие, что на сэкономленные с них деньги можно будет мозги пудрить заметно эффективней? :)dmytro_karimov
21.03.2016 12:54теперь можно будет сделать:
Ленин всегда живой.
видео, где Вы в чем-то признаетесь
maxwolf
21.03.2016 08:54+2Там не только «с зубами проблема», но и «с глазами». В демонстрируемой модели вместо внутренностей рта и глаз стоят простые «заглушки». А главное достижение — возможность в реальном времени захватывать анимацию лица-источника, и соответствующим образом реанимировать лицо-приёмник. Причём, все расчёты делаются по обычному «плоскому» видео (предыдущие подобные модели требовали изображение со «слоем дальности»). У ребят летом выходит статья в ACM Transactions on Graphics, препринт которой уже можно почитать, например, здесь: gvv.mpi-inf.mpg.de/files/TOG2016/PersonalizedFaceRig.pdf (если будет много желающих, могу попробовать сделать небольшой обзор-перевод...)
jaiprakash
20.03.2016 21:35+16Уже было у Пелевина
Liquidos
21.03.2016 17:47Пелевин вообще много чего «предсказал» заранее. Применяю кавычки, потому что его идеи распространены и не новы, но именно он описывает их максимально точно.
jashka
20.03.2016 21:36+1Сразу вспомнился «Бегущий человек» с Арнольдом
yktoo
21.03.2016 10:35А мне другое вспомнилось, тоже про управление президентом.
Реклама голландской страховой компании
loly_girl
20.03.2016 23:48Круто, скоро будут фильмы локализировать не только с надписями, но и сразу с артикуляцией под озвучку.
ProstoTyoma
21.03.2016 00:10+19О боже, это будет худший день в истории кино. Они перевести то нормально не могут. А если ещё и мимика, представить страшно.
Named
21.03.2016 09:59-1Так перевод часто портят именно за счет подгонки текста под мимику и разной длины английской и русской фраз. Если можно будет мимику немного расширять и изменять, свободы у переводчиков станет больше.
Pakos
21.03.2016 13:50+1И главный герой будет тупить на 30% дольше в критической ситуации, ибо монологЪ!
LLWE_FUL
21.03.2016 13:51+1Перевод обычно портят «актеры», которые не умеют играть и зачитывают текст абы-как. Ну и горе-переводчики, которые не знают не только английского, но и русского.
Feodot
21.03.2016 15:56+1Ой, ладно Вам, я тут недавно решил пересмотреть сериал в оригинальной озвучке, так один из главных персонажей оказался Стивен, а во всех русских озвучка, он был Майклом(!!!)
Named
21.03.2016 16:22Даже интересно, что за сериал такой?
Вообще сериалы обычно не дублируют, почти везде обычный многоголосый перевод, где к мимике никак не привязываются, и там качество перевода зависит, похоже, только от его низкой цены.Feodot
21.03.2016 16:32Stargate Atlantis
Хотя сейчас проверил еще пару переводов, это только в двух его переименовали
З.Ы. Многие сериалы переведены, я не говорю про что-то новое, а например про StarGate, Star Trek
pnetmon
21.03.2016 08:31Вспомнился Бастер Френдли который вел свое шоу «Бастер Френдли и его друзья» 23 часа без перерыва каждый день в течении множества лет.
Но от проблемы с границами и тенями наверное уйдут не сразу.
vkegdzoy
21.03.2016 08:583D маска создана заранее для нескольких видео? А как же iMocap (Точки-маркеры на лице), зря использует Голливуд чтоли?
pi314
21.03.2016 08:58+6«Рендер-сервер 100/400. Их «Силикон Графикс» специально для этих целей гонит – хай энд. По американским понятиям в принципе уже старье, но нам хватает. Да и вся Европа на таких пашет. Позволяет просчитывать до ста главных и четырехсот вспомогательных политиков.»
В. Пелевин, Generation П, 1999 г.
kafalk
21.03.2016 08:58-1Блин мне еще Штамингеру екзамен сдавать (( а он уже планирует планету контролировать
schroeder
момент на 1:48 многое обьясняет.