«Это был действительно сложный проект, — вспоминает о The Matrix Awakens: An Unreal Engine5 Experience Пит Суманасени, старший технический художник Epic. — В одном кадре с настоящим Киану Ривзом (прямо рядом с ним!) находился цифровой Киану Ривз! Сложнее всего для нас было избавиться от искусственности цифровых персонажей — ведь нам приходилось выводить на один кадр как цифрового, так и реального персонажа».

В лонгриде делимся подробностями, комментариями от участников и пасхалками этого увлекательного проекта, пока у нас начинается курс по Machine Learning и Deep Learning.

В 1999 году Ким Либрери отвечал за реализацию спецэффектов bullet time («застывшее время») на съёмках первого фильма «Матрица» в 1999 году. Сегодня он — технический директор Epic Games. 

Ким и его команда только что вернулись в «Матрицу». Новое технодемо An Unreal Engine 5 Experience демонстрирует знаменательную связь между уникальными возможностями технологии UE5 и новым фильмом «Матрица. Воскрешение». 

Новое технодемо можно бесплатно загрузить на игровые приставки PlayStation5 и Xbox Series X/S. Оно представляет собой оригинальное концептуальное произведение, являющееся частью вселенной WarnerBros. The Matrix Awakens.

Режиссёром и сценаристом этого остроумного и талантливого образца кинематографии выступила Лана Вачовски. В нём представлены потрясающие цифровые версии Киану Ривза и Кэрри-Энн Мосс. Оба актёра согласились пройти сканирование и снова выступить в качестве исполнителей ролей Нео и Тринити, причём как в своём настоящем облике, так и в облике 1999 года.

Прим. редактора: Experience не является частью фильма, это техническая демонстрация возможностей UE5, поэтому не беспокойтесь насчёт спойлеров, их не будет!

Недавно мы встретились с командой разработчиков Experience, на которой Лана Лан, старший художник по персонажам, сказала: 

«Наш проект — это сгусток технологических достижений UE5. В нём использовались усовершенствованные художественные методы и техника, а также новые технологии сканирования персонажей». 

Целью команды Epic было испытать в действии новую технологию и убедиться, что её могут использовать дизайнеры компьютерных игр. Я полагаю, что многие наши разработки будут реализованы в будущих инструментах. Уже в следующем году мы намереваемся реализовать многие наши идеи в качестве образцов контента».

Размер загружаемого пакета для игровой консоли составляет около 28 Гб. Пакет изначально предназначен для демонстрации того, каких результатов можно достичь на стандартной игровой консоли в режиме реального времени. Немного позже некоторые части пакета, например город, можно будет скачать с главного сайта Epic и исследовать их на обычном компьютере.

Над проектом также работали Джеймс МакТайг, Ким Барретт, Джон Гаэта, Джером Платто, Георгий Боршуков и Майкл Ф. Гэй в сотрудничестве с командами Epic Games и партнёрами — SideFX, Evil Eye Pictures, The Coalition, WetaFX (команда, ранее известная как Weta Digital) — и другими.

Вачовски, Либрери и Гаэта подружились ещё во время съёмок трилогии.

«Когда я сообщила им, что снимаю ещё одну "Матрицу", они предложили мне прийти и потренироваться с новыми технологиями в лабораториях Epic, — рассказывает Вачовски. — И, чёрт возьми, вот это была тренировка так тренировка!»

Рендеринг всего видео осуществляется в реальном времени, за исключением двух сцен, рендеринг которых был выполнен заранее. Первая сцена — это когда персонажи Нео и Тринити дублируют друг друга на экране, а вторая — широкая панорама города. Необходимость в этом возникла по причине огромного количества данных. Их было настолько много, что они просто не успевали бы подгружаться для рендеринга в реальном времени. За исключением этих сцен, все другие сцены могут развиваться на стандартной консоли в реальном масштабе времени.

Цифровые актёры

В демонстрационном ролике Киану Ривз и Кэрри-Энн Мосс изображены в виде невероятно реалистичных цифровых персонажей. Ради этого команда 3Lateral Epic выполнила в своей студии в Нови-Саде (Сербия) высокоточное 3D-сканирование лиц актёров и применила технологии захвата движения с применением пакета графики и анимации MAXON CINEMA 4D. Из Германии Ривз и Мосс отправились в Сербию, где в течение целого дня команда 3Lateral сканировала их лица и создавала трёхмерную графику и анимацию.

«Это был действительно сложный проект, — вспоминает Пит Суманасени, старший технический художник Epic. — В одном кадре с настоящим Киану Ривзом (прямо рядом с ним!) находился цифровой Киану Ривз! Сложнее всего для нас было избавиться от эффекта "зловещей долины" (при котором компьютерное изображение, выглядящее или действующее примерно как человек, но не точно так, как настоящий, вызывает неприязнь и отвращение у людей-наблюдателей) — ведь нам приходилось выводить на один кадр как цифрового, так и реального персонажа».

Судя по восхищённой реакции в Twitter за неделю до выхода тизера фильма (людям часто не удавалось понять, кого они видят перед собой — цифрового Киану или настоящего), команде Epic это удалось.

Даже сейчас, после нескольких просмотров видео, зрителям не всегда удается понять, где кто.

«Вот, например, вы видите повзрослевшего Киану. Это мы (Epic) снимали его сами, — объясняет Пит. — Но после сцены с Морфеусом все съёмки — это уже компьютерная графика. Все сцены прошли коррекцию цвета, чтобы цветовое решение было одинаковым во всём демо».

Там в одном месте можно видеть изображения в зеркале. Это реальные кадры из фильма, которые были вставлены в UE5. Первая сцена с Морфеусом — это также «живая» съёмка, но затем, когда появляется молодой Томас Андерсон (Нео), идёт компьютерная графика. В реальном времени была воссоздана даже начальная сцена со спящим на столе Андерсоном, и она выглядит точь-в-точь как сцена из оригинального фильма.

Команда Epic использовала множество как существующих, так и созданных за это время технологий. Так, 3Lateral задействовали множество различных решений и сценариев сканирования. Использовался мобильный 4D-сканер с семью стереопарами камер, и этот контент оказался особенно ценным.

Также был задействован более классический массив кросс-поляризованного сканирования и риги HMC II, изготовленные командой Epic Cubic Motion. В частности, это был алгоритм расчёта движений на основе позы персонажа, запускаемый автономно при съёмке диалогов с участием ИО. Но простого сканирования лиц недостаточно. CG-материалы, риги и все фоновые персонажи были созданы с применением современных «метачеловеческих» технологий. Главная особенность здесь — у персонажей должны быть характерные костюмы и причёски.

Например, у ИО довольно сложная причёска, не характерная для метачеловека. Поэтому причёски пришлось создавать во внешней программе и импортировать в UE5. Адам, работавший над оригинальным проектом MeetMike, объясняет, как с течением времени менялись способы передачи причёсок персонажей в UE:

«При создании Цифрового Майка мы использовали Xgen, а затем импортировали в Engine мелкие геометрические полоски. С тех пор в рабочие процессы и систему были внесены значительные усовершенствования. Теперь импортируются не геометрические полоски, а сплайны, и причёска создаётся уже на их основе».

После импорта причёски всё поведение волос генерируется в режиме реального времени в Engine.

Все диалоги актёры озвучивали собственными голосами, которые мы записали в Сербии. Все реплики актёров команда 3Lateral фиксировала в массиве захвата 4D. Помимо наговаривания текста актёрам пришлось выполнить соответствующий диапазон движений (ROM). В некоторые движения приходилось вносить изменения, и для таких движений процесс машинного обучения определял лицевые движения для управления ригом 3Lateral.

«При этом не было ни одного перемещения вблизи камеры, которое мы бы не захватили и не обработали с помощью новой технологии захвата 4D», — поясняет Марко Бркович, ведущий технический аниматор студии 3Lateral.

На проработку внешнего вида сцен и главных героев потратили уйму времени, и во всех случаях все они базируются на стандартных метачеловеческих моделях, разработанных 3Lateral.

«В их основе по-прежнему лежит та же метачеловеческая структура, что и структура всех остальных персонажей. Система с одинаковой тщательностью поддерживает все уровни детализации (LOD) и все элементы управления движением лица всех персонажей».

Возьмём, к примеру, глаза персонажа. Все глаза в технодемо — это глаза метачеловека, в базовую модель которых внесены соответствующие изменения для более точного моделирования выпуклости роговицы и её перехода в склеру. Базовая модель — это модель глаз Криса Эванса из Epic Games.

«Мы погрузились в бездонную пропасть офтальмологических статей, пытаясь разобраться во всех тонкостях — изучали, какие бывают оси у глазного яблока и тому подобное», — рассказывает Лана Лан.

Команда изготовила модели глаз, а затем сравнила их со снимками глаз Криса. Затем в модели были внесены коррективы, чтобы точно передать рисунок  глаз Киану и Кэрри-Энн.

Когда Киану пришёл в 3Lateral для сканирования, он уже завершил съёмки в основном фильме и был чисто выбрит.

«Омоложение 57-летнего актёра стало для нас довольно сложной задачей, так как у нас не было его идеального эталона 1999 года. Всё, что у нас было, — это гипсовый слепок, черты лица на котором было далеко не идеальными. У нас не было идеальной нейтральной позы, зато были данные Universal Capture из 1999 года», — рассказывает Адам.

В оригинальных фильмах «Матрица» съёмка главных актёров производилась HD-камерами, установленными по бокам сцены (9:16). Но, учитывая светочувствительные характеристики камер Sony F900s, во время многокамерной съёмки применялось очень сильное освещение.

«На Киану попадал очень яркий свет, ему было жарко, он щурился. В уличных же сценах на нём были солнцезащитные очки».

Теперь что касается гардероба. У команды в распоряжении был настоящий костюм Тринити, в который облачили модель. Затем модель в костюме отсканировали, и все её параметры ввели в систему. За всё, что касалось цифрового одеяния персонажей, отвечал Адам Скутт.

«У нас была масса архивов Warner Bros. Кроме того, мы могли воспользоваться кадрами из оригинального фильма с Кэрри-Энн Мосс. Мы ввели эти данные в Marvelous Designer и изготовили её костюм».

MetaHuman Creator

Одним из двух персонажей, созданных для виртуального мира в новой программе MetaHuman Creator, был персонаж по имени ИО.

«Для создания Matrix Experience команде были выделены соответствующие вычислительные и графические мощности. Например, если CG-персонажи ведут разговор на белом фоне (то есть  задний план фактически отсутствует), я мог это использовать, освещая разные области заднего плана большим или меньшим количеством света, исходящего из разных источников, — вспоминает Пит. — Если персонажи садились в машину, фон становился сложнее, поэтому приходилось использовать меньше света. В самом начале проекта мы получали на выходе видео с частотой всего 15 кадров в секунду, но по мере оптимизации решения частота кадров неуклонно увеличивалась. Уже запустив проект, мы поняли, что не уложимся в бюджетные рамки — ведь мы использовали множество 4K-текстур, массу геометрических алгоритмов, а также Lumen — весьма дорогостоящую технологию, реализующую новую технику прорисовки изображения теней при солнечном свете.

По сути, мы вышли за пределы всего, что только можно. Однако конечный результат оказался обнадёживающим. Нам удалось создать то, что на игровых консолях PS5 или XBox Series X/S можно вполне использовать для игр — ведь у игровых приставок ещё остаётся значительный запас вычислительной мощности, и у гейм-дизайнеров будет достаточно ресурсов для создания нормальной игровой механики. Команда не хотела создавать демо, основу которого нельзя было бы использовать при создании трипл-эй-игр (AAA-игр)».

Построение мира

Если технодемо Valley of the Ancient даёт только некое представление о том, на что способна новая технология UE5, то The Matrix Awakens: An Unreal Engine5 Experience идёт гораздо дальше, так как представляет собой интерактивную демоигру в режиме реального времени, которую любой пользователь может загрузить и сразу запустить в игровом режиме. Технодемо состоит из внутриигрового видео и первой демонстрационной части шутера, а в конце пользователю даётся возможность исследовать весь город.

Многие сцены действия в технодемо созданы на основе кадров, сделанных членами команды во время поездок или прогулок по городу. Для создания кинематографического контента команда смоделировала целую вселенную, подобно тому, как кинематографисты, снимающие обычное игровое кино, изучают город, чтобы найти лучшие планы для съёмок.

В технодемо также демонстрируются ранее представленные новые функции UE5 — Nanite и Lumen. После интерактивной погони пользователи могут исследовать закоулки живущего своей жизнью плотно застроенного города, используя виртуализированную систему микрополигональной геометрии UE5, способную отображать в этом виртуальном мире огромное число зданий (семь тысяч), состоящих из многих тысяч модульных частей, 45 073 припаркованных автомобилей (38 146 из которых можно управлять), более 260 км дорог, 512 км тротуаров, 1 248 перекрёстков, 27 848 фонарных столбов и 12 422 канализационных люка.

По площади этот виртуальный мир даже больше, чем центральный район реального Лос-Анджелеса. Кроме того, во время поездки или прогулки по городу вам могут попасться навстречу до 35 000 металюдей, занятых своими повседневными делами.

«Естественно, чем ближе объект к вам, тем в большей степени он приобретает черты метачеловека, на дальних же расстояниях объекты отображаются как анимированные статические многоугольники, созданные на основе моделей металюдей», — объясняет Лана Лан.

Детализация зданий поражает воображение — ведь они были созданы из миллиардов треугольников в программном пакете Nanite, а не из обычных карт. Все детали на зданиях расположены на своих местах, пользователь может приблизиться к любому из зданий и убедиться, что все детали тщательно прорисованы.

«Мы смоделировали всё, что позволяла геометрия, это нельзя назвать обычной картой. Это модели высокого разрешения, — рассказывает Лана. — Общее количество полигонов составило 7 миллиардов. Здания могут состоять из 1 000 цифровых объектов, а каждый такой цифровой объект может строиться из миллионов полигонов, так что для создания одних только зданий города мы задействовали несколько миллиардов полигонов».

По разным местам города разбросаны пасхальные яйца — начиная от табличек с номерными знаками и заканчивая различными магазинами, на вывесках которых можно заметить имена основных разработчиков. Например, у Ланы есть ювелирный магазин. Есть магазин и у Пита, но, правда, он сам не уверен, чем торгует! Весь город простирается на 4,138 км в ширину и 4,968 км в длину. Заблудиться в нём проще простого.

Освещение

Полностью динамическая система глобального освещения Lumen в Unreal Engine 5 использует трассировку лучей в реальном времени для создания реалистичного освещения и отражений во всех интерактивных частях демонстрации. Для создания красивых, реалистичных и мягких теней персонажей в качестве кинематографического приёма используется метод трассировки лучей в реальном времени. Весь виртуальный мир освещается только солнечными лучами, небом и излучающими материалами на сетках. Для десятков тысяч уличных фонарей и фар параметры источников света заданы не были. В ночном режиме почти всё освещение исходит от миллионов окон зданий, излучающих слабый свет.

Проект можно назвать грандиозным. Работа над ним началась более года назад, в проекте участвовало от 60 до 100 художников, многие из которых работали удалённо. The Matrix Awakens: An Unreal Engine 5 Experience не является игрой в привычном понимании этого слова, эта разработка в будущем не будет реализована как игра, однако данная техническая демонстрация представляет собой видение того, как может выглядеть будущее интерактивного контента, и устанавливает планку для самых продвинутых визуальных эффектов, которые можно реализовать на игровых приставках.

«Киану, Кэрри и я получили огромное удовольствие от создания этой демонстрации. Команда, создающая экспериментальные проекты Epic, — особенная, потому что любит экспериментировать и строить грандиозные планы. Каким бы ни было будущее кинематографа, Epic сыграет не последнюю роль в его эволюции».

Действие этого технодемо происходит в огромном городе, живущем насыщенной и весьма непростой жизнью. Весь поразительно реалистичный город площадью в шестнадцать квадратных километров населён поразительно реалистичными жителями, транспорт в городе также невероятно реалистичен.

Продолжить изучение машинного обучения, которое сегодня помогает людям в кинематографе и разработке игр, вы сможете на наших курсах:

• Курс «Machine Learning и Deep Learning» (6 месяцев)

• Профессия Data Scientist (24 месяца)

Узнайте подробности акции.