Использовать возможности нейросетей или организовать традиционную видеосъёмку? Рассказываем, как, получив задачу создать имиджевое видео, мы объединили усилия двух команд, ИИ-инструменты и ручную работу. В итоге создали трёхминутный фильм о перфекционизме — с актёрами и трёхмерной графикой.
Две команды, три технологии, один фильм
Закономерный вопрос — почему задачу не отдали внешнему исполнителю? Во-первых, мы исходили из идеи, что, раз видео должно отражать характер компании, никто лучше сотрудников с этим не справится. Во-вторых, нужно было уложиться в рамки — сроки, бюджеты. Поэтому работу над проектом с самого начала вели инхаус две команды: группа фото- и видеопроизводства и Sminex 3D Lab.
Начали с творческого процесса поиска концепции: штурмили, обсуждали. Потом поняли, что лучшее решение лежит на поверхности — рассказывать о подходе на примере перфекционистов в разных сферах, от гастрономии до искусства. Написали и утвердили сценарий и приступили к работе. В проекте использовали три технологии:
реальные съёмки,
фотореалистичные 3D-рендеры (неотъемлемый инструмент для девелопера),
симуляции (динамичные изображения, например течение воды, которые визуализаторы создают с помощью нейросетей и ручной работы).
Для выбора 24 актёров организовали кастинг и отсмотрели 350 кандидатов, чтобы каждый точно попал в задуманный образ. Запустили традиционный съёмочный процесс: актёров снимали на хромакее (зелёный фон) без использования декораций. Съёмочная группа заранее представляла будущий кадр и подстраивалась под него. Подход позволил получить преимущества реальной съёмки: живую актёрскую игру, настоящие эмоции и ощущение присутствия — без высоких затрат на декорации.
На чём строился пайплайн
После завершения съёмок начался процесс создания визуальных эффектов, эстафету подхватила 3D-студия. Художники и визуализаторы ежедневно создают рендеры проектов, но с таким подходом многие из команды работали впервые. Основной 3D-пайплайн строился на 3ds Max + Corona Renderer. Это базовая связка, которую мы используем регулярно, она стала отправной точкой.
Симуляции — подбирали инструменты в зависимости от задачи:
Chaos Phoenix — плагин для симуляции жидкостей, дыма и огня. В нём сделан водопад.
tyFlow — система частиц для 3ds Max. Частицы — это тысячи или миллионы мелких объектов, поведение которых задаётся правилами: гравитацией, столкновениями, силами. На tyFlow сделаны шарики в детской, разлетающиеся осколки витража и мебель, которая возникает из гравия.
EmberGen — программа для объёмных эффектов вроде дыма, огня и облаков, которая показывает результат в реальном времени. В ней сделаны облака.
GrowFX — плагин для процедурного создания растений. «Процедурный» значит, что форма растения задаётся правилами роста, а не моделируется вручную.
Анимации — тоже использовали наиболее релевантные программы:
деревья анимировали в SpeedTree (стандарт индустрии для растительности),
автомобили — в MadCar, плагине для реалистичного движения машин с подвеской, поворотами колёс и инерцией.
Как совмещали съёмку с графикой и добивались реалистичности
Нужно было интегрировать трёхмерную графику в отснятый материал так, чтобы созданные на компьютере сцены и эффекты выглядели естественно и воспринимались как часть реальной съёмки. Мы использовали классический киношный и рекламный пайплайн.
Шаг 1. Матчмув — восстановление движения реальной камеры по отснятому видео. Программа анализирует, как смещаются точки в кадре, и вычисляет, где стояла камера, куда она двигалась и с какой оптикой снимала. Мы делали это в 3DEqualizer — одном из самых точных инструментов для этой задачи.
Шаг 2. Перенос камеры в 3D. Восстановленную камеру импортировали в 3ds Max. Так виртуальная камера двигается ровно как реальная и 3D-окружение «смотрит» на мир с той же точки, что и объектив на съёмке.
Шаг 3. Кеинг и композинг. Готовые рендеры совмещали со съёмкой в NukeX — профессиональной программе для композинга от Foundry.
Кеинг — удаление зелёного фона, чтобы в кадре остался только актёр и всё выглядело так, будто он всегда там был.
Композинг — сборка финального кадра из многих слоёв: съёмки, 3D-рендера, эффектов, цветокоррекции. Здесь изображение становится цельным.
Ролик в итоге собрали в Nuke Studio. Это версия Nuke с таймлайном, то есть монтажной линейкой: в ней можно видеть и собирать весь фильм целиком, а не отдельные шоты.
Отдельная история — реалистичность изображений. Городу на заднем плане нужно было выглядеть живым, но моделировать его целиком было бы неоправданно долго. Поэтому город на фоне мы собирали из нескольких слоёв: изображения послойно проецировали на 3D-примитивы с помощью 2D-проекций, то есть изображений существующих локаций. В результате глаз воспринимает получившуюся картинку как объёмную. Ещё один пример — водопад из частиц. Мы выбрали симуляцию частиц в Chaos Phoenix: она даёт более правдоподобное поведение воды и полный контроль над результатом. Можно менять объём потока, брызги и взаимодействие с окружением под задачу режиссёра.
Для трекинга использовали Boris FX Mocha. Это инструмент планарного трекинга: он отслеживает не отдельные точки, а целые плоскости. В ряде задач Mocha давал более стабильный и точный результат, чем штатные трекеры Nuke. Ротоскопингом занимались в Nuke и After Effects. Для самых сложных случаев, таких как волосы и мелкие детали силуэта, подключали Roto Brush в After Effects. Это инструмент с машинным обучением: он сам находит границы объекта и ведёт маску по кадрам, а художник только поправляет её.
Трекинг — отслеживание движения объекта или участка изображения от кадра к кадру. Он нужен, чтобы «приклеить» графику к движущемуся объекту или стабилизировать элемент.
Ротоскопинг — ручное или полуавтоматическое выделение объекта в каждом кадре. Он нужен там, где кеинг не справляется, например в местах без зелёного фона или со сложными краями.
Новый опыт и собственные разработки
Для части команды проект стал погружением в новую профессию. Раньше художники работали в основном с готовым изображением, которое целиком рождается в 3D. Новым инструментом для них стал Nuke и весь процесс композинга: кеинг, ротоскопинг, клинап и разные техники сборки изображения. По сути, художники освоили не только другую программу, но и новый подход — как интегрировать 3D в живую съёмку, чтобы граница между реальным и виртуальным была незаметна.
Клинап — «чистка» кадра, удаление лишнего, вроде маркеров трекинга, креплений, проводов, случайных объектов и бликов.
Там, где функционала готовых инструментов не хватило, мы разработали свои решения специально под проект.
Конвертер CXR → EXR. CXR — собственный формат Corona Renderer, в котором сохраняется рендер со всеми служебными слоями. Стандарт для композинга — EXR (OpenEXR). Этот формат хранит изображение с высоким динамическим диапазоном и множеством каналов — отдельно свет, отражения, глубину и так далее. Чтобы без потерь передавать рендеры из 3ds Max в Nuke, мы написали плагин-конвертер.
Light Controller. В некоторых сценах было очень много источников света, и настраивать каждый вручную долго, а при правках — почти невозможно. Скрипт Light Controller позволяет назначить контроллером любой объект сцены. Через него можно одновременно управлять интенсивностью света в диапазоне от 0 до заданного значения вместо множества ручных действий.
С чем не справились нейросети
Генеративный ИИ помог нам в отдельных сценах, но у него есть ограничения, с которыми мы столкнулись.
Растущие растения на крупном плане. Нейросеть не смогла реалистично сгенерировать процесс роста в деталях. На общем плане было бы незаметно, но на крупном плане видна каждая неестественность. Поэтому анимацию делали вручную на основе Morpher Modifier. Это инструмент 3ds Max, который плавно превращает одну форму объекта в другую: художник задаёт ключевые состояния растения, а программа рассчитывает переходы между ними.
Сложные режиссёрские задачи. Нейросети пока плохо справляются, когда нужно сохранить конкретные детали в кадре и точно управлять движением камеры. Для таких задач незаменима ювелирная ручная работа.
Проект стал вызовом не только с точки зрения технологичности. Отдельный аспект — взаимодействие двух разных команд. Нужно было работать вместе с самого начала, договариваться, принимать решения, какие сцены снимать вживую, какие собирать в 3D, где подключать нейросети. Эксперимент удался во многом благодаря нашему подходу. Мы тестируем, осваиваем новые технологии и открыто делимся своим опытом. А ещё сейчас мы участвуем в рейтинге работодателей — поддержите нас своим голосом.