После создания трейлеров для Fantastic Contraption и Job Simulator в смешанной реальности я захотел немного глубже погрузиться в виртуальную кинематографию, сняв весь трейлер в VR, а не смешивая живую запись с виртуальной реальностью.

Идею съёмки игровых аватаров вместо самих игроков на зелёном фоне мы в меньшем объёме реализовали в трейлере Fantastic Contraption в смешанной реальности. Я хотел развить эту идею и проверить, сможем ли мы записать таким образом весь трейлер, используя разные фокусные расстояния и перемещения камеры, как это делается в традиционной съёмке.

Трейлеры в смешанной реальности выглядят замечательно, но для создания качественных видео в смешанной реальности нужно затратить невероятно много времени и денег. К тому же и с технической, и с творческой точки зрения они очень сложны логистически. Съёмка аватара с видом от третьего лица, похожая на обычную съёмку актёров, имеет множество преимуществ и во многих случаях может быть гораздо лучшим решением для демонстрации игры/проекта виртуальной реальности.

Почему съёмка VR от первого лица (обычно) неудачна

Существуют причины того, что фильмы не снимают от первого лица. Видя запись актёров, играющих свои роли перед нашими глазами, наш мозг эмоционально реагирует. Мы не реагируем столь же эмоционально, когда смотрим на мир глазами другого человека. Когда мы не видим тела актёров и того, как они вписываются в окружение, теряются многие нюансы. Виртуальная реальность в этом ничем не отличается, но, к сожалению, обычно для демонстрации или рекламы VR-игр используется как раз съёмка от первого лица. Такие записи по многим техническим и творческим причинам становятся эмоционально «плоскими».

Обычно запись от первого лица является стандартной для текущего поколения оборудования и программного обеспечения VR, поэтому многие используют её из-за простоты создания. Кроме того, бoльшую часть необработанных видеозаписей от первого лица в VR сложно смотреть. Мозг и глаза игрока естественным образом нейтрализуют сотни микродвижений головы, поэтому они кажутся плавными. Но посмотрите, большинство записей VR от первого лица на Youtube представляет собой хаотичное дрожание. Голова человека движется больше, чем он осознаёт, поэтому 2D-записи выглядят расфокусированными и их тяжело смотреть.

Если использовать записи от первого лица совершенно необходимо, то создайте отдельную камеру для шлема, получающую его выходные данные и сглаживающую их для удобства просмотра. Мы использовали такую камеру для трейлера Job Simulator и получилось очень хорошо.

В идеале необходимо добиться того, чтобы игрок в виртуальном окружении производил наиболее сильное визуальное воздействие и зритель эмоционально привязывался к нему. Достичь этого можно, создав трейлер в смешанной реальности или сняв игровой аватар, в зависимости от потребностей и бюджета проекта.

Запись VR в перспективе от третьего лица позволяет создавать динамические и интересные кадры, ухватывающие суть ощущений от игрового процесса. Отличным примером можно считать Space Pirate Trainer. То, как игра выглядит от первого лица, не означает, что она так ощущается в процессе. Посмотрите на примеры ниже. Запись от третьего лица выглядит живой, кинематографичной, динамичной и эмоционально привязывает к себе. Запись от первого лица выглядит громоздкой, запутывающей и визуально неинтересной. Съёмка игрока в виде от третьего лица в смешанной реальности или запись игрового аватара решает множество таких коммуникативных проблем.

Камера от третьего лица

Эта запись более живая, кинематографичная и динамичная. Действие снимается в кинематографическом стиле, камера наблюдает за реакцией игрока на летящий дроид. Она может предугадать перемещение к крупному дроиду, создавая интересный и убедительный кадр.

Камера от первого лица

Сложно понять, что происходит в этом ролике. Оружие и щит перекрывают бoльшую часть кадра. Он некинематографичный, безжизненный, его неинтересно смотреть.

Вот пример из трейлера Fantastic Contraption для Oculus Touch. Какой ролик выглядит более динамичным и убедительным? Какой ролик лучше передаёт то, что происходит в игре?

Камера от третьего лица

Этот ролик ощущается динамичным и его интересно смотреть. Камера начинает с общего плана, затем приближается, точно совпадая по времени со взятием у Неко колеса. Это показывает, что кошка используется в игре в качестве ящика с инструментами. Затем камера движется дальше и фокусируется на создаваемом игроком изобретении, следуя за движениями его рук.

Камера от первого лица

Этот ролик выглядит плоским, скучным, а самое главное, вызывает тошноту из-за угла наклона головы игрока. Поворот головы в шлеме совершенно естественен для игрока, но в результате 2D-запись получается дискомфортной. Неко теряется в зелёной траве и непонятно, откуда игрок берёт предметы.

Вот ещё один пример из Space Pirate Trainer. Геймплей этой игры заключается в перемещении по окружению, отстреливании летящих со всех углов в игрока пуль и в уворачивании от них. В виде от первого лица практически невозможно передать, как она играется, потому что отсутствует контекст того, как игрок двигается по окружению.

Камера от третьего лица

Этот ролик чётко передаёт внутриигровые события. Рой дроидов обстреливает игрока, а он уворачивается от них в замедленной съёмке.

Камера от первого лица

Очень сложно сказать, что игрок физически делает при выстреле. Он уворачивается от пуль, шагая вправо по игровому пространству, но визуально это не слишком очевидно. Похоже на то, что дроиды стреляют влево и промахиваются по игроку.

Зачем снимать игровой аватар вместо съёмки в смешанной реальности

Трейлеры в смешанной реальности превосходно передают то, что ощущает игрок в VR. Но для создания профессионально выглядящего трейлера в смешанной реальности требуется много денег, времени и ресурсов. Однако технология смешанной реальности Owlchemy Labs поможет снизить сложность, как только ею овладеет больше пользователей.

Съёмка игрового аватара имеет множество преимуществ:

Она более эффективна по стоимости: всё, что вам потребуется — это проводной/беспроводной третий контроллер Vive, гиростабилизатор (или даже дешёвый стедикам, как использованный мной, см. изображение) и время разработчиков на создание игрового аватара с соответствующим стилем, а также дополнительное время на запись трейлера в VR. Вы избавитесь от всех ненужных затрат на покупку/аренду/создание/освещение сцены с зелёным фоном, а также на команду, необходимую для выполнения такой объёмной съёмки и постобработки.



Для создания трейлера Space Pirate Trainer мне достаточно было попросить кого-нибудь поиграть в игру и заснять его.

У вас больше времени на эксперименты: когда вы работаете с 5-10 людьми, ожидающими ваших решений, то время — деньги. Если вы можете снять трейлер меньшей командой за большее количество дней, то появляется больше времени на эксперименты и исследование. Съёмка всех необходимых кадров для трейлеров Fantastic Contraption и Space Pirate Trainer заняла у нас по три дня на каждый.

Смена сценария на лету: при съёмке в студии у вас очень мало пространства для экспериментов. Вы находитесь под давлением времени и съёмочных планов. У нас не было такого стресса, поэтому мы могли делать перерывы, проверять отснятый материал и видеть, что при съёмке срабатывало, а что требовало смены курса.

Удивительно, насколько кажущееся правильным в шлеме во время игры выглядит ужасно при съёмке в перспективе от третьего лица. Перекрытие кадра важно, и то, где игрок находится в мире, может полностью изменить вид и понятность кадра. Даже небольшие детали, такие как угол поворота запястья, могут значительно влиять на естественность внешнего вида аватара. Некоторые движения могут испортить инверсную кинематику анимации, поэтому важно понимать, как и где нужно располагать тело. Поэтому одновременный контроль съёмок и со стороны игрока, и со стороны оператора очень помогает улучшению записи.

Активность/усталость актёра: многие люди об этом не задумываются, но играть в VR утомительно. Особенно в такие игры, как Space Pirate Trainer. Очень сложно постоянно поддерживать высокое качество работы игрока при записи игры со столькими случайными элементами. Она выматывает уже через 30-45 минут игрового процесса. Благодаря отсутствию жёстких временных рамок съёмочного процесса всем участникам можно отдыхать, делать перерывы и подходить ко всему процессу в целом более расслаблено.

Невероятно удивительно, насколько аватар с всего тремя точками передачи данных (одна на голове и две на руках) позволяет сильно передавать эмоции. Если игрок устал или эмоционально не готов к работе, это очень заметно при записи. При съёмке актёра на сцене для трейлера в смешанной реальности усталость возрастает десятикратно и требует от профессиональных актёров поддерживать высокий уровень игры несколько часов подряд.

Персонаж идеально вписывается в игровой мир: на создание костюма, похожего на игровой аватар Space Pirate Trainer, который позволяет зрителю чувствовать себя частью игрового мира, тратится невероятно много времени и средств. Если бы мы снимали наш трейлер в смешанной реальности, то игрок в обычных джинсах и футболке казался бы не на своём месте в окружении всех этих футуристических роботов. Нам бы понадобилось одеть его в костюм, но даже в этом случае не удалось бы приблизиться к тому, чего можно легко достичь в самой игре, потому что соединение живого актёра с игровым окружением никогда не выглядит так же естественно, как аватар, являющийся частью игрового мира.

Вариативность очень важна: наблюдение за игрой с одной точки зрения (игрока) быстро надоедает. Для создания трейлера или видео, которое интересно смотреть, нам нужно сделать несколько дублей с разных углов, чтобы дать зрителю понимание того, на что он смотрит и как это вписывается в мир игры. Это практически невозможно, если вы ограничены только записью от первого лица c видом из глаз игрока. Для игр с быстрым и насыщенным игровым процессом отображение с разных точек зрения — это единственный способ правильной визуальной передачи действия.

Чувство масштаба в Fantastic Contraption

Один из аспектов, который мы хотели подчеркнуть в версии Fantastic Contraption для Oculus touch — это установленный масштаб игры. При просмотре игры от первого лица довольно легко запутаться в реальных размерах игровых изобретений. Съёмка аватаров от третьего лица позволило показать зрителю, насколько он высок в контексте остального игрового мира.


Эта запись чётко показывает размеры изобретения в контексте игры. Можно увидеть, насколько оно мало по сравнению с игроком. Камера фокусирует внимание зрителя на верхней части кадра, куда направляется изобретение. Эмоции игрока при достижении изобретением цели тоже хорошо понятны.

Камера от первого лица

Пока в конце ролика в кадре не появляется контроллер, почти невозможно понять размеры истинные размеры изобретения. Оно может быть очень большим и находиться далеко от игрока. Из-за наклонов и движений головы эту запись тяжело смотреть. Кроме того, невозможно понять эмоции игрока, несмотря на то, что это та же самая запись, только от первого лица.

Одновременная съёмка версий для PSVR и Oculus

Ещё одна небольшая проблема с Fantastic Contraption заключалась в том, что мы хотели использовать этот трейлер и для новой версии PSVR, и для Oculus. Но как же нам снять два трейлера одновременно, если игровое управление этих платформ сильно отличается? Линдси Йоргенсен (Lindsay Jorgensen) придумала потрясающее решение: разделить экран на прямоугольники и выполнить рендеринг только контроллеров Oculus в прямоугольниках от первого и от третьего лица, а контроллеров PSVR — в других двух прямоугольниках.


Это сработало удивительно хорошо, и 80% записей требовало только простой замены кадров для отображения версии для PSVR. Нам пришлось удалить в версии для PSVR все отсылки к съёмкам в комнате. Поэтому единственным большим фрагментом, требовавшим полной перезаписи, стал момент постройки Пегасом первого изобретения. В других кадрах тоже вносились незначительные изменения, но в целом это решение нам отлично подошло.

Разумеется, мы сняли оба трейлера с помощью VIVE и других способов выполнить это не было. Нам требовалось отслеживание положения в комнате оператора и игрока. В настоящее время нет возможностей сделать это только с помощью Oculus или PSVR.

Риг персонажа Space Pirate

Команда из i-illusions создала игровой аватар и использовала риг (оснастку) с инверсной кинематикой для управления персонажем (в том числе ногами) по данным положения дисплея и контроллеров. Он оказался настолько удачным, что при редактировании записей некоторые части выглядели полностью похожими на захват движений (motion capture).


Сейчас самая большая проблема с ригом заключается в том, что ноги не всегда выглядят естественно. Если кто-нибудь выпустит систему отслеживания всего тела, включая точки для ног, коленей, запястий и локтей (вместе с плагином Unity/Unreal для интерпретации данных), то намного проще будет реализовать внутриигровую запись, а качество захвата движения может стать настолько же качественным, как в системе ILM iMocap, одна съёмка в которой стоит дороже моего дома. Я чувствую, что стандартизация такой системы для анимации VR-аватаров — всего лишь вопрос времени.

Но пока она не стала реальностью, мы решили проблему съёмкой аватара в основном от запястий и выше, чтобы избежать проблем с отображением модели ниже запястий. Мы демонстрируем аватаров в полный рост только на общих планах.

Управление камерой

Затем нам нужно было добавить управление камерой. Мы использовали беспроводной третий контроллер VIVE, действовавший в качестве внутриигровой камеры. Я взял эту камеру, соединил со своим дешёвым стедикамом, и мы начали съёмку. В игре есть ползунок, меняющий область видимости, поэтому мы могли снимать широкоугольным или телеобъективом, а также сглаживать управление положением и поворотом. Кроме того, мы могли отключать отображение индикаторов очков и жизней, границ пола и игровых рекламных станций, чтобы на экране не было отвлекающих элементов. Экран был разделён на два прямоугольника, один над другим, поэтому у нас был и сглаженный вид от первого лица. Но в результате мы так ни разу и не воспользовались этими записями от первого лица.

Камера дроида

Дирк также добавил возможность присоединения камеры к одному из игровых дроидов. Придав достаточное сглаживание, мы получили возможность «бесплатно» снимать панорамы всего виртуального окружения, почти не прерывая процесс.

Камера контроллера XBOX

У нас также была возможность перемещения камеры от третьего лица обычным контроллером XBOX. Это позволило нам помещать камеры туда, куда невозможно физически добраться и делать кинематографические общие планы игрока в окружении.

Эксперименты и получение хороших кадров

В этом видео показано, как мы снимали кадры «через плечо» и демонстрируется, насколько много у нас свободы в экспериментах с разными идеями. Мы хотели получить кадр в стиле шутера от первого лица, например, со сменой оружия, но у меня возникли проблемы со съёмкой моего друга Винса, потому что он махал руками и удерживать оружие в кадре при таком большой фокусном расстоянии было почти невозможно.

Поэтому Винс придумал взять стедикам в свободную руку и прижать к телу. Он взял камеру в руку, я просто сместил виртуальную камеру в нужное положение и угол, и у нас получился отличный кадр, снятый «через плечо» игрока!

Сравнение смешанной реальности и игровых аватаров

Я очень вдохновлён перспективами такой виртуальной кинематографии в VR. Эта техника не нова — Джеймс Камерон часто использовал виртуальную кинематографию при съёмке «Аватара». Потом эта техника была сильно усовершенствована при работе над «Книгой джунглей», но применённое там оборудование стоит сотни тысяч долларов и гораздо сложнее в использовании. Теперь мы можем делать практически то же самое, всего лишь купив VIVE, ещё один контроллер, и потратив немного времени разработчиков. Невероятно, что в принципе мы можем снимать виртуальные игры в реальном времени просто в подвале! Следующим этапом будет использование нескольких виртуальных камер, чтобы разные люди могли снимать одновременно.

Смешанная реальность — это тоже потрясающая техника и рабочий инструмент. Однако я считаю, что в любом проекте следует рассматривать все возможности и выбрать то, что лучше подойдёт к конкретной игре. Возьмём, например, Rec Room — вся игра имеет мультяшный стиль, поэтому живой человек внутри окружения будет выглядеть чужеродно по сравнению с игровыми аватарами. Но, например, в Google Earth такой абстракции нет. Там имеет смысл помещать в мир реального человека (даже если кадры смешанной реальности будут имитированы).

Как и в случае с трейлерами обычных игр, для каждой VR-игры требуется собственный подход и универсальных решений не существует. Подумайте, что подойдёт лучше для вашей игры/проекта и создаст наиболее интересный, захватывающий и убедительный результат.