Технология из Гарри Поттера дошла до наших дней. Теперь для создания полноценного видео человека достаточно одной его картинки или фотографии. Исследователи машинного обучения из «Сколково» и центра Samsung AI из Москвы опубликовали свою работу о создании такой системы, вместе с целым рядом видео знаменитостей и предметов искусства, получивших новую жизнь.
Текст научной работы можно почитать тут. Там всё довольно интересно, с массой формул, но смысл прост: их система руководствуется «ориентирами», достопримечательностями лица, вроде носа, двух глаз, двух бровей, линии подбородка. Так она мгновенно улавливает, что человек собой представляет. И потом может переносить всё остальное (цвет, текстуру лица, усы, щетину и прочее) на любое другое видео человека. Адаптируя старое лицо к новым ситуациям.
Разумеется, это пока работает только на портретах. Модели нужен только один человек, с лицом, повернутым к нам, чтобы у него было хотя бы видно оба глаза. Тогда система может делать с ним что угодно, передавать ему любую мимику. Достаточно дать ей подходящее видео (с другим человеком с головой примерно в том же положении).
Ранее ИИ уже научился делать дипфейки, и интернет-пользователи знатно поиздевались над знаменитостями, вставляя их лица в порно и делая мемы с Николасом Кейджем. Но для этого им приходилось тренировать алгоритмы мегабайтами (а лучше – гигабайтами) данных, находить как можно больше изображений и видео с лицами знаменитостей, чтобы выдать более-менее пристойный результат. Сам создатель Deepfakes говорил, что на компиляцию одного короткого ролика у него уходит 8-12 часов. Новая система генерирует результат моментально, а на входе ей достаточно одной картинки.
С предыдущей системой мы никогда бы не смогли посмотреть на живую Мону Лизу, у нас есть только один её ракурс. Теперь, с алгоритмами, работающими по ориентирам, это становится возможным. Идеала не достичь, но уже что-то близко.
В работе московских исследователей также используется генеративно-состязательная сеть. Две модели алгоритма сражаются друг с другом. Каждая пытается обмануть оппонента, и доказать ему, что то видео, которое она создает – настоящее. Так достигается определенный уровень реализма: картинка человеческого лица не выпускается «в свет», если модель-критик не уверена в её подлинности более чем на 90%. Как говорят авторы в своей работе, в изображениях регулируются десятки миллионов параметров, но за счет такой системы, работа кипит очень быстро.
Если картинок несколько, результат улучшается. Опять же, проще всего получается работать со знаменитостями, которые уже сняты со всех возможных ракурсов. Для достижения «идеального реализма» нужны 32 снимка. В этом случае сгенерированные ИИ фото в невысоком разрешении будут неотличимы от настоящих фото человека. Нетренированные люди на этом этапе уже не способны выявить фейк – возможно, шансы остаются у экспертов или у близких родственников «подопытного» со всех этих изображений.
Если фото или картинка только одна, итог пока не всегда самый лучший. Увидеть артефакты на видео, когда голова находится в движении, можно без особых проблем. Сами исследователи говорят, что их самое слабое место – взгляд. Модель, основанная на ориентирах лица, пока не всегда понимает, как и куда человек должен смотреть.
prostofilya
и зачем? новые фильтры для очередной соцсети?
BlazerLuna
Как минимум вижу очевидное применение в кино, чтобы «оживлять» умерших актёров. Или омолодить постаревших. Учитывая, что для алгоритма нужно мало данных — результаты впечатляют.
Keyten
Довольно скоро можно будет создавать мультфильмы, анимируя каждого персонажа из одного-единственного рисунка.
IGHOR
А еще позже, рендер фильма по тексту книги.
General_Failure
А потом игры будут прогаться по сценарию :)
pdima
Ну а сценарий генерировать уже научились Better Language Models
and Their Implications
Keyten
Я уже давно и много мечтаю об этом. Но тут есть проблема: вы откроете фильм, а там персонаж выглядит совсем не так, как вы представляли. И вообще у него усы (ну а что, автор же не говорил, что усов нет, а сети показалось, что они тут логичны).
Так что рисовать персонажей руками и анимировать затем их — гораздо лучше.
IGHOR
Зато можно будет генерировать N вариантов фильма по тому же сюжету.
И будет рейтинг не только фильмов, а его вариантов.
Проголосуете за вариант без усов :)
masai
Намекаете на штаны Арагона?
А если серьёзно, то такое и с обычными фильмами, снятыми людьми, сплошь и рядом бывает.
ladomirr
Я бы, например, с радостью «оживил» своих родственников, от которых только фотографии остались и которых я даже не видел вживую.
prostofilya
А смысл? Это же случайная мимика, а не достоверная.
ladomirr
лучше, чем ничего)
Umpiro
Ну, в данном случае, я вижу Мону Лизу, анимированную с маннеризмом кудере. Выглядит как химера. Вы точно хотите такого для ваших родственников? В отношении уже умерших, это по-моему уже какая-то форма некрофилии.
BOM
Кудере? Господи, зачем это здесь?
Spaceoddity
По аватарке не понятно? )) И да, пришлось гуглить!
BOM
Мне тоже пришлось загуглить. Крайне-крайне специфическая информация, чтобы предполагать, что она достаточно очевидна, для референции в комментарии.
KodyWiremane
Нужна статья на Хабре, чтоб можно было просто дать одну ссылку на любой случай)
Keyten
Со временем качество будет становиться всё лучше и лучше.
rPman
Речь даже не о качестве, а об отсутствии информации, которую невозможно восстановить, только подменить другой.
Вы увидите человека в маске указанной фото, с мимикой и движениями другого человека а не того что на фото.
Keyten
А, так-то да, не спорю. Но, весьма вероятно, в будущем можно будет вбухивать туда сразу много разных кадров или куски видео. С умершим 100 лет назад предком, от которого одно фото, положим, так не получится, но большинство остальных реквестов вполне.
dimm_ddr
Umpiro
ua30
Кто в курсе, по одному изображению, при условии что мы знаем что на изображении представлено лицо, нельзя составить его трехмерную модель? Я почти уверен что можно. Недостающие полигоны генерируем на основе полученных. И все выйдет в сто раз реалистичней, и полностью управляемо.
Но с усопшими, по крайней мере со своими родными, я бы так точно делать не стал. Жутко как то.
rawzes
В прошлом году на конференции Яндекса Николай Чинаев из VisionLabs делал доклад по этой теме
kopch
В этом году на YAC, риггинг и мокап тела по видео представили
inferrna
Скоро у каждой второй бабки в смартфоне будет анимированный давно почивший дедка. Советы будет ей давать, «ну ты старая, таво, не тужи», успокаивать.
«Кладбище домашних животных» ещё вспомнилось.
Yuuri
«Чёрное зеркало», первая серия второго сезона.
oracle_and_delphi
Как зачем?!
В исторических фильмах должны быть достоверные лица исторических лиц!
А не левые рожи актёров!
Kate1313
Картины в музеях? Дикторы нарисованные для всяких обучающих программ или даже новостей? Анимация, мультики? Просто по приколу?)
ClearAirTurbulence
для прона, конечно же!
загружаешь фото из соцсети, и вуаля.
осталось ещё только с телами разобраться, и довести до совершенства.
ClearAirTurbulence
для прона, конечно же!
загружаешь фото из соцсети, и вуаля.
осталось ещё только с телами разобраться, и довести до совершенства.
perfect_genius
Вы о чём? Тут вон Хабр не может простую технологию проверки на дубликат реализовать, а вы как далеко замахнулись.
Deymos
Человек, похожий на прокурора будет вытворять куда более жуткие вещи. И либо это можно быть фейком, либо преступник будет прикрываться тем, что есть технологии, которые могут реалистично что-то нарисовать и он невиновен.
rPman
Рынок давно ждет относительно надежные камеры с цифровой подписью, технически это реально сделать (чтобы взлом был относительно дорогим удовольствием) но потребует как минимум новых стандартов для этого
Squoworode
А ещё он сможет нарисовать своё лицо поверх себя, чтобы все признаки фейка были, а сделал всё равно сам
dotfinal
Порно.
Если не ошибаюсь, как раз порноиндустрия начала первыми в эту сторону копать. Скоро можно будет взять девушку, похожую на Монро, снять видео и заменить ее на Монро.
Еще немного продвинется, чтоб результат был более качественный — и это уже можно использовать.
Дальше — больше. Допустим, можно такую идею придумать — каталог заготовленных видео и каталог заготовленных селебрити. И сам выбирай, кто и как будет сегодня тебя развлекать.
Ну а когда сеть реально сможет обучаться по нескольким фото, и результат будет не совсем вырвиглазным — то будет тебе каталог видео и возможность загружать любых девушек. Думаю, школьники не поскупятся, чтоб увидеть старшеклассниц in action.
И, кстати, с точки зрения бизнеса очень удобно — обучение и рендер на удаленном сервере, никакого пиратства.
DS28
Увидел КДПВ — 4 разных человека, а вот Мона Лиза уже неплохо…
Sanovskiy
Только страшная.
Bookvarenko
Симпатичная евреечка.
dim2r
похожа на похудевшего Путина
kinall
Следующий шаг — прикрутить тот ИИ, который делает upscale. И добро пожаловать в Зловещую Долину)
foxyrus
Алгоритм «натягивания» фото на живого актера выглядит намного круче.
JTG
BackDoorMan
"Из одного кадра", простите. "С одного", это звучит как "с Ростова"
Sanovskiy
ИМХО это отсылка к «Я угадаю эту мелодию с восьми нот»
Т.е. он делает видео не из этого фото, а на основе всего лишь одного фото.
КМК предлог «с» тут вполне применим с учетом смысла
Legomegger
Вот как в Хогвартсе оно работало…
Sanovskiy
vikarti
Не так. Там еще и беседовать с портретами можно было по тем вопросам что знал оригинал. До этого пока еще далеко.
maxwolf
Гораздо ближе, чем многие думают (яркий пример годовой давности).
dimm_ddr
Да ну, это как раз совсем не сложно — нужно только загрузить информацию которой фото может делиться. Разве что лицевая мимика скорее всего пока что будет отставать, но это скорее инженерный сейчас вопрос. Игровым персонажам же научились делать лица которые выглядят правдоподобно, да еще и губы правильно шевелятся при разговоре. Берем такого персонажа с правильными фразами, обучаем на нем описанную сеть — и готово. Ничего непреодолимого уже и не осталось в общем-то. А если еще и изначально брать не персонажа, а специально подготовленную болванку с ключевыми точками, то вообще никаких проблем не должно быть.
extempl
С портретами — да. А вот с живыми газетными снимками, насколько я помню, нет.
r0ck3r
не только оригинал: во второй, кажется, части, когда разгромили спальню гриффиндора, у дамы с портрета спрашивали что случилось
dimm_ddr
Портреты в той вселенной сильно отличались от живых фотографий, там фактически своя разумная сущность сидела, которая, например, вполне могла из портрета уйти к соседу пообщаться. Я кстати не помню чтобы там именно с фотографиями разговаривали, мне кажется это опять же про портреты было.
Loki3000
С Моной Лизой можно любую дичь втирать — никто не проверит. А вот как выглядела Мерлин Монро все прекрасно представляют. Так что совершенно очевидно что результат работы сети даже близко не похож на то, что должно быть.
vav180480
я так понял там изображение как шкурку накладывают на захваченый скелет видео другого человека, т.е. если строение черепа человека на изображении не совпадает со строением черепа человека на видео то получится как получится, т.е. человека на которого натягивают шкурку с изображения нежно еще и специально подбирать, хотя можно трансформировать скелет изображения под скелелет на видео
masai
Нет, там не «натягивают» изображение на скелет, а сразу генерируют портрет. Просто объяснение в статье написано как для домохозяек. Лучше оригинальную статью от авторов посмотрите.
roscomtheend
Несчастную приклеили волосами к стенке так, что временами при разговоре кожа с черепа натягивается. Впрочем, в документальном фильме "Люди в чёрном" была объяснена причина столь непохожей на землян мимике.
А М.Л. на первом "фото" выглядит страдающей — "Ну сколько можно меня использовать для демонстрации ваших ужасных алгоритмов".
Bookvarenko
Сначала вот это пожалуйста
Sanovskiy
Бильбо одозначно с Леонова рисовали.
xi-tauw
Там в принципе интересная ситуация. Художник (Михаил Беломлинский) действительно рисовал Бильбо с Леонова, но сделал это, как сейчас говорят, без разрешения правообладателя (самого Леонова). Причем это случилось как раз в момент, когда вся эта тема массово обсуждалась в печати, и даже сам Никулин писал о том, что его образ используют в куклах, пародиях.
Все благополучно разрешилось по факту — Беломлинский и Леонов встретились на каком-то мероприятии, где художник показал книгу с иллюстрациями. Леонову они очень понравились и вопрос можно было считать исчерпанным.
В начале видео Леонов сам рассказывает об этой ситуации.
vav180480
Можно еще вспомнить про то что первый игровой фильм по Толкину был сделан в СССР:)
oisee
Телеспектакль это всё-же не игровой фильм =)
vav180480
Если объясните в чем принципиальная разница — соглашусь:)
pehat
Да уж, чего один Гэндальф в блестках стоит.
vav180480
А у Джексона Арагорн в штанах
noanswer
с эстетической точки зрения ожившие картинки выглядят чудовищно… с технической это очень круто
ну и вообще надо оживлять не шедевры живописи а фотографии реальных людей и сравнивать реальную мимику и то что нейросети нарисовали.
boulder
В СССР тоже существовал проект по
реанимации Карла Маркса!vav180480
Ленина Гайдай побоялся оживлять, то что вечно живо оживиться не может.
LevOrdabesov
Чуть ли не в двухтысячных имел дистриб шароварной проги, которая не то что лица – вообще любое изображение анимировала на мимику. Единственно что нужно было ткнуть вручную мышью «тут глаза, тут рот».
Результат был сравнимый.
Astus
Подозреваю, речь о «Reallusion CrazyTalk». Живы до сих пор и неплохо развились.
LevOrdabesov
Оно, спасибо.
Интересно, какие там у них были нейросети в двухтысячных.
masai
В начале двухтысячных — скорее всего, никакие.
masai
Это совершенно разные задачи. Я посмотрел видео про эту программу. Насколько я понял, это просто натягивание фото на 3D-модель как текстуры.
Здесь же совершенно другое. Вы ничего не натягиваете. Показываете фото, а сеть его трансформирует в соответствии с ключевыми точками лица. Вы не задаёте 3D-модель, вы не выполняете привязку точек, это полностью end-to-end решение в виде одной модели. Более того, модель дорисовывает части изображения, которые не были видны. Например, зубы на анимации с Моной Лизой.
Решение, представленное в статье — это не первое решение такого рода, но оно опирается на последние исследования, что позволило добиться высокого качества результата.
LevOrdabesov
Нет, задача ровно та же: анимировать изображение таким образом, чтобы движение было похоже на человеческую мимику.
Раньше для этого нужен был оператор (минимально), теперь задача выполняется полностью автоматически.
Но для меня, честно говоря, вопрос, зачем нужна полная автоматизация этой задачи. Ну, кроме «потому что могли» и очередной снапчат. Было бы здорово, например, анимировать выставки – детям могло бы быть интереснее; но оператор понадобится всё равно. И как-то больше видится массовая генерация фейков, и это печально.
Ну и качество, ИМХО, таки сравнимое. Прорыва нет.
masai
Если глобально смотреть как на задачу анимации, то да. Но у этих задач разные входные данных, я об этом. Раньше кроме фото требовалась модель, привязка и не было возможности дорисовывать то, что не видно. Сейчас хватает только фото.
Astus
del
5334710
картины какие страшные стали вдруг
Alexklmn
Так, если ИИ берет ракурсы знаменитостей в сети, потом их анимирует и выкладывает в сеть, потом берет ролики из сети, анимирует и выкладывает, а затем… что же будет через n лет?!
vav180480
Меня, как «знаменитость», это ну ооочень волнует.
Stirliz85
Монализа местами на Укупника стала похожа
redpax