S3D: No pain IS gain
Это пятая статья цикла, и речь у нас сегодня пойдет про геометрические искажения. Очень частая ситуация, когда человек покупает дешевый стереориг, радостно начинает снимать и сталкивается с тем, что у него не получается снять так, чтобы у зрителей не болела голова. Причем когда наш начинающий оператор глубже погружается в предмет — выясняется, что казалось простыми дешевыми камерами не обойтись. Почему так получается? Зачем нужны дорогие камеры? Можно ли как-то обойтись без них? Почему даже при использовании дорогих камер проблемные (в плане геометрических искажений) сцены попадают в 3D-фильмы? В каких фильмах в кинотеатрах больше всего таких сцен? Как меняется ситуация по годам? Какова ситуация для низкобюджетных и высокобюджетных фильмов? И, наконец, в каких ситуациях (в плане геометрии) можно исправить проблемно снятое
Краткий экскурс в устройство стереоригов
С точки зрения непрофессионала снимать стерео очень просто. Все, что нужно сделать, это взять две камеры, купить переходник, который позволяет закрепить на штативе рядом не одну камеру, а две и… вуаля, мы можем снимать стерео:
Подобные переходники, если покупать на всемирно известном AliExpress стоят от 100 USD, в их названии есть слово Professional (это самое главное для начинающего), дома есть телевизор, который показывает 3D. Главный расход — это на вторую такую же камеру. Счастье близко, как никогда.
Однако вскоре, как вы догадываетесь, начинается суровая реальность.
Как вы помните — я регулярно привожу в пример стереофестиваль, который собирает самые разные фильмы, начиная от очень профессиональных и заканчивая любительскими. В результате от просмотров конкурсной программы голова начинает болеть фактически у 100% зрителей, поскольку… Впрочем, по порядку.
Итак, геометрические искажения… Пусть мы снимаем самым дешевым стереоригом, где две камеры расположены рядом — он называется “side-by-side stereo rig”.
В кино по законам жанра операторского искусства нужно регулярно чередовать крупный план (например, лицо актера), средний план и общий план (вся сцена). Когда мы в реальности, находясь близко от человека, смотрим на его лицо, оно заметно искажается. Допустим, нам по сюжету надо снять диалог и надо показать крупным планом лицо второстепенного персонажа, которое видит главный герой, со всей гаммой эмоций на нем. И снять все надо в стерео. И тут выясняется, что поставить стереориг с соответствующими объективами, например, в метре от актрисы мы не можем. Наши камеры настолько большие, что могут стоять только на заметном расстоянии друг от друга. А это с небольшого расстояния сразу дает “конские” параллаксы (вы можете сами посчитать, там вполне посильная геометрия, подробнее про это было в четвертой части цикла).
В свое время, когда Альфреду Хичкоку в 1954 году в довольно удачном в плане стерео фильме “Dial M for Murder” (“В случае убийства набирайте «М»”) потребовался крупный план с телефоном, специально для съемок был сделан макет:
Как пишут журналисты “Для съёмок телефона крупным планом были построены большие макеты пальца и телефона, так как камера не могла сфокусироваться на обычном телефоне” (текст из Википедии, но журналисты обычно объясняют на том же уровне понимания предмета ;). Естественно поставить правильные объективы и снять крупным планом телефон в те годы было можно. Но вот избежать при этом неприемлемых и болезненно воспринимаемых в стерео геометрических искажений было нельзя. В итоге для получения качественных планов было проще сделать большие макеты, чем маленькие камеры и объективы. И это было сделано. С точки зрения любителей такие расходы — лишняя трата времени и сил, с точки зрения профессионала — оптимальный по затратам (на то время) способ снять комфортное стерео. Давайте разбираться почему.
Но ведь мы можем поставить телеобъективы и снять все с большего расстояния? Тогда и углы и параллаксы будут в разумных пределах! Да, можем, но тут вмешиваются минимум четыре фактора. Во-первых, когда мы смотрим близко — то, например, лицо заметно искажается:
Лицо девочки снято разными объективами с разного расстояния, при этом хорошо видно, что лицо снятое крупным планом искажается, в том числе обратите внимание на то, как видны уши
Источник картинки: http://lens-club.ru/public/files/users/image/portretc.jpg
Это искажение лица воспринимается совершенно нормально. Ведь мы рядом с человеком, а его лицо объемно, так и должно быть
Но и это не все. В-третьих, когда мы с большого расстояния будем пытаться снимать крупный план — фон также заметно исказится, за счет того, что будет неестественно увеличен. Идея искажения хорошо продемонстрирована на этом примере:
И опять это не все. В-четвертых, снимая крупный план стереоригом, камеры которого находятся по осям заметно дальше, чем глаза, начинающие операторы часто вынуждены сводить вместе оптические оси камер. То есть снимать не на параллельных, а на конвергентных осях. Пользоваться этим можно, но нужно уметь это делать грамотно (что нетривиально). Обсуждение деталей выходит за границы данной статьи, скажем только, что, снимая на конвергированных осях крупный план, мы фактически обречены на вертикальный параллакс и достаточно неприятные искажения формы объектов в изображении:
При съемках на конвергированных осях мы обречены получать вертикальный параллакс и искажения формы объектов в изображении. При этом, воспринимаемая в жизни нормально картинка (поскольку мозг умеет компенсировать подобные искажения), будет смотреться дискомфортно в кинотеатре. Эффект можно серьезно уменьшить, но для этого надо хорошо осознавать особенности геометрии снимаемой сцены и масштабы проблем, которые вы получите после съемки. Материал, снятый на параллельных осях, также нужно сводить на стадии post-production, но это делается просто, в отличие от съемки на конвертированных осях (примеры будут в конце статьи).
Источник картинки: http://really.ru/forum/26.html?p=26579
Возможно ли в принципе технически снимать крупными объективами так, будто снимаете с небольшого расстояния? Ответ: Конечно, можно. Решение — это так называемые бим-сплиттеры (“beam splitter stereo rig”), которые сегодня являются, пожалуй, самыми массовыми на съемочных площадках. Их идея крайне проста: одна камера ставится как обычно, а вторая — сверху или снизу, световые лучи для которой отражаются от полупрозрачного зеркала:
Схематичное устройство бим-сплиттера.
Простой стереориг бим-сплиттер с камерами Sony, вторая камера снизу
Источник: http://www.urbanfox.tv/production/p17-3dMasters2010.htm
Основное преимущество, которое мы получаем, используя стереориги такого типа — возможность устанавливать любое расстояние между объективами, в том числе меньшее, чем диаметр самих объективов, вплоть до нулевого:
На фото хорошо видно, что расстояние между центрами объективов не только меньше толщины камеры, но и меньше диаметра объектива. При этом оптические оси камер могут быть строго параллельны, что уменьшает степень искажений и снижает дискомфорт итогового стерео.
Источник: http://www.urbanfox.tv/production/p17-3dMasters2010.htm
С помощью такого рига мы можем снимать крупный план вплоть до макросъемки. Причем бим-сплиттеры оказались настолько удобны, что ими сегодня снимают не только крупный, но и средний и общий планы. Фактически, они стали основными рабочими лошадками на современной съемочной площадке:
Навороченный бим-сплиттер, вторая камера сверху
Источник: https://library.creativecow.net/articles/kaufman_debra/Flying-Monsters-3D/assets/DSC_0798.jpg
Другие виды бим-сплиттеров
Съемки фильма “Планета обезьян: Революция” на бим-сплиттер, вторая камера находится сверху, актеры одеты в костюмы для мокапа (MoCap — motion capture)
Источник: http://www.3alitytechnica.com/
Съемки крупного плана фильма “Легенда о Геркулесе” на бим-сплиттер, вторая камера сверху
Источник: http://www.3alitytechnica.com/
Съемки на бим-сплиттер концерта, вторая камера находится внизу
Источник: http://www.3alitytechnica.com/
Съемки фильма “Планета обезьян: Революция” на бим-сплиттер, вторая камера находится сверху, актеры одеты в костюмы для мокапа (MoCap — motion capture)
Источник: http://www.3alitytechnica.com/
Съемки крупного плана фильма “Легенда о Геркулесе” на бим-сплиттер, вторая камера сверху
Источник: http://www.3alitytechnica.com/
Съемки на бим-сплиттер концерта, вторая камера находится внизу
Источник: http://www.3alitytechnica.com/
Естественно, у любой медали две стороны, и помимо плюсов у стереоригов бим-сплиттеров есть и минусы. По факту, минусы не перевешивают основного плюса, но… минусы по пунктам:
- Настраивать поворот и наклон камеры на бим-сплиттерах сложнее, чем на side-by-side стереоригах.
- Для стереоригов обеспечить одинаковые цвета в правом и левом ракурсе — это проблема. Дело в том, что на практике отличаются объективы, отличаются матрицы камер, отличаются казалось бы одинаковые настройки, отличаются светофильтры и т.д. Более того — когда камера нагревается, у нее изменяются цвета (такова реальность). В этом плане бим-сплиттеры, например, обречены на то, что камеры нагреваются заведомо неодинаково.
- На зеркале оседает пыль (особенно, если снимают взрывы), оно вибрирует, и, наконец, зеркало поляризует свет. В итоге у одной камеры свет не поляризован, а у второй — поляризован. Это сказывается на цветах бликов и не только. Подробнее про это будет в следующей статье цикла.
И это неполный список. Например, в некоторых ситуациях (съемка в автомобиле, съемка из подводного бокса) сильно мешают габариты бим-сплиттеров и так далее, и тому подобное.
Съемки на бим-сплиттер “Transformers: Age of Extinction”, вторая камера находится внизу, что, кстати, уменьшает количество садящейся на зеркало пыли от взрывов. Сложность таких сцен в том, что зеркало от вибраций взрывов дрожит, серьезно искажая геометрию сцены. Более того — при сильных близких взрывах звуковая волна изгибает само зеркало, что приводит к нетривиальным геометрическим искажениям сцены
Источник: http://www.3alitytechnica.com/
Одним из участников конкурсной программы стереофестиваля 2014 года был фильм “БМПТ Терминатор” (Боевая Машина Поддержки Танков). Автор фильма рассказывал, что для них было большой проблемой снять крупный план выстрела на стерео. У них даже был бим-сплиттер (что все еще редкость для наших авторов). Но когда “Терминатор” стрелял, ударной звуковой волной зеркало так искривлялось, что отраженный ракурс становился совершенно непригоден для использования. Т.е. звуковая волна выстрела “Терминатора” была слишком сильна для упругого стекла зеркала стереорига. Крупные студии в таком случае применяют конвертацию, причем поскольку у авторов было стерео до выстрела, то построить из него карту диспаритета и протянуть ее на следующие кадры современные технологии позволяют, с оговоркой, что технологий нужно несколько и быстро это делается только обученными людьми. По этим причинам такие вещи доступны только для более-менее крупных студий, где есть соответствующие специалисты и софт.
Отдельная интересная тема, которую стоит хоть кратко упомянуть в связи с качеством, это вещание в стерео. Как вы уже поняли, сложность камер возросла, соответственно усложнилась их настройка. Это привело к тому, что часто контролируются лишь базовые параметры, а основное исправление проблем происходит в off-line на пост-обработке. Поскольку наиболее качественные алгоритмы исправления сегодня довольно медленны, а исправить все проблемы при съемке по факту невозможно, и часть проблем все равно остается, это действительно приводит к тому, что финальный результат получается более качественным. Но у такого подхода три серьезных минуса. Во-первых, становится невозможно использовать соответствующие камеры для вещания. Они просто не в состоянии снять стерео с качеством, достаточным для того, чтобы от него не болела голова, и отдать его в эфир (что, безусловно, сказалось на популярности стереоканалов, в первую очередь из-за сложностей с прямым эфиром качественного спортивного контента). А во-вторых, заметно возрастает время между съемкой и получением итогового материала. И, наконец, в третьих, какая-то (обычно небольшая) часть проблем при съемке оказывается настолько серьезными, что качественно исправить их на post-production нельзя. В общем, как вы понимаете, сплошные компромиссы, и в процессе постоянно приходится выбирать наименьшее из зол.
Альтернативный подход, который реально работает — снабжение камеры наборами сервоприводов, способных в реальном времени точно менять параметры положения камер и параметры настройки камер и, соответственно, исправлять видео. Не будем рекламировать конкретные компании, но на сегодня существуют решения, в которых оператор занят исключительно съемкой, а рядом с камерой постоянно работает специальный человек, который сидит за пультом контроля качества потока и управляет исправлением искажений (с помощью механики сервоприводов в камере), он же в состоянии дать знать оператору, что какие-то искажения становятся слишком велики, он не может их исправить, а качество упало. Например, какой-то сильный блик засвечивает один объектив, но не засвечивает второй, или после близкого взрыва запылилось зеркало, или в кадре появился поляризованный источник света (такое бывает, когда осветители, чтобы дать мягкий свет, по 2D-привычке делают его отраженным) и так далее.
Внимательный читатель уже догадывается, что системы, где к камере требуется специально обученный человек, весьма и весьма дороги и, как правило, такие камеры даже не покупают, а арендуют (часто в комплекте с обученными людьми). В любом случае, они пока фактически недоступны для любительской съемки. В лучшем случае авторы находят сравнительно недорогие моноблоки, у которых расстояние между объективами небольшое, и часть материала снимают на большие риги, а часть — на такие камеры.
Это увеличивает количество технических проблем при съемке и пост-обработке, но позволяет, пусть и за счет использования большего количества техники, получить более качественные крупные и общие планы. В худшем случае все снимается на “самый дешевый” стереориг за $100, о котором речь шла в самом начале, в результате можно видеть стерео, в котором, например, панорамы и общие виды восхитительно трехмерны, но крупные планы весьма дискомфортны. Теперь, надеюсь, вы лучше представляете причины дискомфортного “тридэ” в любительских и низкобюджетных фильмах.
Выводы:
- Одной из фундаментальных проблем при съемке стерео является необходимость съемки части сцен (особенно крупных планов) близко находящимися друг к другу объективами, что делает невозможным применение для таких сцен простых и дешевых стереоригов.
- Решение проблемы — использование стереоригов с полупрозрачным зеркалом (бим-сплиттеров), когда одна камера вертикальна, а вторая — горизонтальна, оказалось весьма удобно и, главное, универсально. Сегодня бим-сплиттеры являются, пожалуй, основным видом камер для съемки стерео.
- Бим-сплиттеры обладают рядом врожденных недостатков: на них сложнее регулировать геометрию, зеркало не идеально, оно пылится и дрожит, на площадке не должно быть поляризованного света как в освещении, так и в бликах.
- Все эти проблемы также успешно решаемы, но стоимость их решения такова, что в итоге они становятся недоступны для любительских и низкобюджетных фильмов.
Примеры реальных проблем
Итак, мы кратко попытались дать представление, почему технически все весьма непросто, из-за каких особенностей камер возникают серьезные проблемы и почему нельзя использовать простые камеры, в которых, как кажется, проблемы с геометрией решать намного легче.
Также напомню фундаментальную проблему. В первой части данного текста я приводил мнение профессионального стереографера: “Необходимо оказывать давление на дистрибьюторов и владельцев залов, чтобы сохранить высокую яркость, чистить очки, и регулярно измерять световой поток с экрана. Независимо от того, насколько качественно мы сделаем S3D, это качество потеряется в огромном количестве кинотеатров во всем мире.” То есть нет смысла вылизывать качество, пока по всему миру такое плохое оборудование. Также во второй части данного цикла внимательный читатель мог видеть комментарий, явно от практика “если Вы сами пробовали снимать и монтировать стерео кино или хотя бы стерео картинки, то легко заметили бы, что небольшие огрехи вроде разных углов поворота в районе 2-3 градусов, смещения центра или размытость одного из изображений легко компенсируется нашим мозгом”. То есть — нет смысла исправлять, мозг и так компенсирует. Мозг, безусловно, компенсирует не только эти, но и другие проблемы, но какой-то процент людей платит за это головной болью. Причем в третьей части объяснялось, как адаптируется к плохому стерео мозг профессионалов, что только усугубляет проблему. Понятно, что настоящие профессионалы это осознают и используют не личные ощущения, а закрытые статистические данные от сетей кинотеатров. Но тех, кто считает, что раз ему и его коллегам не больно, то и всем будет не больно — действительно очень много.
Например, вот текст вакансии “Cтереографер”, то есть человек, отвечающий за качество стерео, который на момент написания данной статьи висит на сайте одной из русских студий. Дословно “Требуются:
- Базовые знания Autodesk Maya;
- Базовые знания принципов композитинга и какого-либо из пакетов для композитинга: Fusion, Nuke,
AfterEffects, Blender, Ramenh, ...;
- Знание стереотехнологий, терминов и принципов создания стереоизображений;
- Желание развиваться и учиться по стереонаправлению;
- Желание работать в команде.
Крайне приветствуется:
- Знание основ программирования;
- Базовые знание Python.”
Вот такие они — суровые русские стереограферы. Опыт работы со стерео и вообще понимание, как устроено бинокулярное зрение — не обязательны, главное — знать термины и уметь программировать. ))) Дальше на это накладывается представление о том, что “мозг все легко компенсирует”, основанное на личном опыте и личной же адаптации к своему плохому стерео (см. третью часть)… Если помните, во второй части было сказано, что в лучших фильмах удается понизить процент людей с головной болью до 2%. Понятно, что когда решения принимаются исходя из проверки даже на 20 людях (заставили посмотреть всю студию), то велик соблазн сказать — ну только одному немного не так (ему всегда не так!), поэтому принимаем! А 1 из 20 — это уже 5% людей с головной болью. Вы будете смеяться, но реальные решения часто именно так и принимаются. И с этими людьми бесполезно спорить. Они суровые практики и они лучше знают, чем можно пренебречь. И это что-то — ваша головная боль, господа зрители. Что, в свою очередь, порождает понятную реакцию:
Отдельная проблема также в том, что по этой теме не так много книг. Особенно, если человек не может свободно читать на английском. Точнее — есть великолепные книжки специалистов еще советских времен, но они во многом ориентированы на доцифровую эпоху. На западной съемочной площадке прочно укоренен ироничный мем “We’ll fix it in post!” (“Мы исправим это на post-production”). Ироничный — поскольку далеко не все можно на “посте” исправить. Так вот — имеющиеся на русском книги великолепны, но в целом написаны исходя из невозможности или большой сложности поправить многое (что было абсолютно верно для пленки, но не так для цифры). Опять же — никто не отменял старую мудрость “знающий не говорит, говорящий не знает”. Она как-то непроизвольно вспоминается, когда читаешь то, что на западе написано про стерео. ) То есть написано-то много, но зачастую не профессионалами-практиками, у которых нет времени писать, а теми, у кого это время есть. И это тоже проблема.
Ирония судьбы заключается в том, что сегодня изрядная часть проблем может быть относительно легко и качественно исправлена offline алгоритмами, но производители программ для исправления проблем стерео жалуются на падение продаж. Более того, такой софт сегодня уже доступен на торрентах вместе с “креками”, то есть бери и используй “бесплатно”. Но даже даром это не делается. Ведь это работа. А мозг все равно “легко компенсирует” наши “небольшие огрехи”. На выходе получаем “headache included 3D” (вольный перевод — “головная боль в 3D включена в стоимость” или “3D — головная боль в подарок”), и огромный процент зрителей, которые не идут в кинотеатры на 3D, поскольку испытывали от него головную боль. С чем и остается всех причастных поздравить.
К слову — мой коллега, исследователь, писавший алгоритмы измерения и исправления качества стерео, читая черновой вариант статьи, заметил, что как-то нехорошо упрекать студии в том, что взломанное не могут с торрентов скачать. Но было решено оставить, чтобы стала понятна сложившаяся на сегодня в индустрии ситуация. Поскольку это кардинально влияет на скорость развития такого софта. В России вообще многое очень сурово. Кто сходил по ссылке на интервью, которое цитировалось в прошлой части читали, что там ребята в студии вообще первое время отсматривали результаты производства 3D фильма в анаглифе на бесплатных очках. И даже на 3D монитор, которые в то время стоили 5-10 тысяч (сравнимо с зарплатой уборщицы) разорились не сразу. О чем мы говорим… Понятно, что на западе ситуация получше, но в стерео развит массовый аутсорс в Индию и, отчасти, Китай. В общем картина маслом… Впрочем, вернемся к контенту.
Рассмотрим, какие геометрические искажения в итоге попадают в фильмы.
Поворот одного ракурса относительно другого
Поворот ракурсов — весьма неприятная проблема прежде всего потому, что с детства наши глаза очень хорошо “юстируются” и обработка поворота ракурсов не является привычной.
Поворот на 1,6° из фильма “Dark Country”
Поворот на 1,1° из фильма “Shark Night”. Вообще интересное наблюдение заключается в том, что визуальное качество фильмов ужасов в среднем заметно ниже, чем у фильмов в жанре фантастики, например. Связано это как с тем, что у фантастических фильмов выше бюджет, так и с тем, что они обычно заметно ярче, чем “ужастики”.
До кучи еще один ужас — вращение примерно на 1° из фильма “Silent Hill 2”. Нам сложно не рекомендовать вам ходить на фильмы ужасов, но данные примеры самых сильных поворотов сцены из 105 фильмов довольно красноречивы.
И еще пример поворота примерно на 1° в гонконгском фильме “Секс и Дзен”.
Как видно, поворот на один градус хорошо виден на полном кадре даже при ощутимом уменьшении. На большом экране подобный поворот приводит к очень заметному вертикальному параллаксу, который “убивает стереоэффект”. Если помните, выше шла речь, что “2-3 градуса” — это “небольшие огрехи”. К счастью, мы фактически можем гарантировать, что при просмотре блокбастеров вы такого не увидите.
И, напоследок, из интересного:
Поворот на 0,6° в фильме “Bait”. Если посмотрите на ухо героя, то даже на уменьшенной картинке хорошо видны геометрические искажения. Как вы думаете, что это было? Ответ ниже.
У нас собраны десятки тысяч примеров геометрических искажений из сотни фильмов. Во всех приведенных случаях можно было значительно снизить дискомфорт визуального восприятия этих сцен, повернув один из ракурсов на нужный угол. С большой вероятностью во всех приведенных фильмах контроль и исправление проблем на этапе post-production либо отсутствовали, либо проводились кустарно на глаз.
Что при этом внушает оптимизм, так это наблюдаемый тренд по этому параметру, который мы традиционно измерили на сотне фильмов — фактически были измерены ВСЕ фильмы, вышедшие на Blu-ray 3D, у которых был указан бюджет на IMDB.com. Это практически все фильмы, кроме документальных и совсем низкобюджетных. На “цветных” графиках ниже — чем выше точка, тем лучше значение метрики. Цвета построены по процентилям, для того, чтобы лучше были видно тренды и появилась возможность сравнивать ситуацию: что было хорошо в 90-х некорректно сравнивать с 2013-м, равно как фильмы с низким бюджетом, некорректно напрямую сравнивать с дорогими блокбастерами. При этом по границе желтой зоны можно четко судить о трендах, которые реально радуют:
Среднее значение поворота между ракурсами по годам. Хорошо видно, что фактически идеальна ситуация у конвертации, за что ее и любят использовать в блокбастерах. Качество съемки постепенно неуклонно растет, и то, что было средними показателями в 2010 уже к 2014 становится худшими показателями.
На этом графике те же значения метрики приведены не по годам, а по бюджету, и хорошо видно, что конвертация — это бюджеты от 500K USD за минуту, а низкое качество в плане вращения — это съемка в основном ниже 750K USD. Также видно, что есть заметное количество низкобюджетных фильмов, которые при бюджете в разы ниже блокбастеров по качеству по этому параметру превосходят “Аватар”.
Выводы:
- Многие фильмы ужасов ужасны в том числе в плане технического качества стерео.
- Использование правильной техники, хорошо организованного post-production с грамотными людьми позволяет сегодня снимать низкобюджетные фильмы с лучшими, чем у «Аватара», значениями среднего поворота между ракурсами
- В итоге у самых худших фильмов конца 2013 — начала 2014 средние значения поворота между ракурсами на уровне средних фильмов 2010 года и лучших фильмов доцифровой эпохи.
Неодинаковый масштаб ракурсов
Съемочная техника не идеальна. При изменении фокусного расстояния возникают люфты, сложно сделать его изменение строго одновременным во времени. Это, а также ошибки на post-production, приводят к следующим проблемам:
Разница по масштабу в 6,8%, фильм “Space Station”. Обратите внимание, что кадр на самом деле плоский.
Разница по масштабу в 6,2%, фильм “Кошки против собак 2”. Любопытно, что этот и предыдущий примеры — это конвертация. То есть ошибка возникла на этапе post-production, и не было контроля качества этого параметра. И обратите внимание, что кадр опять плоский.
Разница по масштабу в 4,6% в фильме “Путешествие 2: Таинственный остров”. Кадр не плоский, но почти плоский.
Разница по масштабу в 4,2% в фильме “Пиранья”. Кадр опять почти плоский, если вы идете на фильм ужасов, не говорите, что вас не предупреждали.
Интересно, что если кто-то думает, что таких ошибок не бывает в компьютерной графике — то вот пример в 3,6% из фильма “Pacific Rim”. Правда, в отличие от предыдущих примеров, в кадре таки присутствует вращение сцены, а значит, есть не только боль, но и 3D-эффект.
Примеры выше были найдены с помощью отдельно написанной метрики, и как обычно, интересно посмотреть ее результаты по годам на сотне фильмов:
Те же фильмы, но в зависимости от бюджета за минуту фильма:
Выводы:
- От найденных примеров создается ощущение, что, изменяя масштаб, в студии пытались “замаскировать” плоскую сцену. Это, очевидно, увеличивало процент людей с головной болью, но не создавало 3D-эффект.
- В конце 2009 года “Аватар” был среди лучших фильмов по аккуратности масштабов ракурсов, однако позднее было снято много фильмов, ощутимо более аккуратных.
- Видно, что низкобюджетные аккуратные по разнице масштабов фильмы также существуют.
- На последнем графике два фильма демонстрируют, что при желании можно испортить даже относительно дорогую конвертацию ).
Сдвиг и перспективные искажения
Помимо перечисленных выше относительно сложных преобразований, встречаются и простые, например, вертикальный сдвиг:
Вертикальный сдвиг в 1,5%, фильм “Кошки против собак 2”. Да, это конвертация. Да, это хороший вопрос, как они это сделали, скорее всего, у кого-то дрогнула рука на мышке. А инструментального контроля, естественно, не было.
Подобные ошибки возникают исключительно потому, что они очень редки для конвертации, из-за чего в некоторых фильмах вообще отсутствовал контроль вертикального сдвига в финале post-production. В итоге в фильмы попадают “сцены-рекордсмены”, в которых вертикальный сдвиг намного больше, чем в снимавшихся фильмах.
Сдвиг в 1,4% в фильме “Bait”. Фильм относительно низкобюджетный. Кроме того, даже с таким уменьшением на руках и куртке хорошо видна разница ракурсов по резкости.
И опять “Пиранья”, сдвиг — 1,2%. Обратите внимание, что оптические оси камер вообще не лежат в одной плоскости. Это ужастик. Вас неоднократно предупреждали, будет не только страшно, но и больно.
“Step Up 3D” со сдвигом в 1%. Обратите внимание на разницу цвета бликов — это привет от поляризованного света и бим-сплиттера.
К сожалению, у нас очень много таких примеров.
Для сдвига характерно, что он довольно просто исправляется, и наличие подобных проблем — это однозначно устаревший техпроцесс при производстве фильма. К счастью, приведенные примеры — относительно старые. “Кошки против собак-2” — 2010 (пик плохого стерео), “Bait” — сентябрь 2012, “Пиранья” — май 2012, “Step Up 3D” — 2010.
В целом по годам расклад приблизительно такой же — постепенное довольно стабильное улучшение, а ужасные старые значения постепенно остаются в прошлом, становясь неприличными даже для низкобюджетных фильмов:
Выводы:
- Хорошо видно, что если в конце 2010 Аватар был лучшим (!) фильмом по величине вертикального сдвига на тот момент среди протестированной съемки, то к 2014 году это значение стало весьма средним. И это радует.
- К 2014 лучше Аватара по этому параметру было уже 6 фильмов, при этом два из них имеют очень небольшой бюджет.
Исправление проблем
В тексте выше периодически встречаются фразы “сложно исправить” или “довольно просто исправить”. Рассмотрим, как исправление выглядит на практике и что исправляется просто, а что нет.
Сразу заметим, что все примеры ниже получены автоматически с живого стерео со всеми его проблемами, единственное, что сделано дополнительно — где-то обрезаны края или, чтобы было лучше видно стереоэффект — подкорректирован zero level (изображение сдвинуто к экрану).
Поворот на 0,6°в фильме “Bait”: было.
Тот же фрагмент: стало. С точки зрения воспринимаемой глубины сцена однозначно дискомфортна, поскольку “невозможна”. Кстати, жанр фильма “Ужасы, триллер, фантастика”...
Безусловно, полностью пропал ужасный поворот, но в итоге, стало видно, что голова почти плоская, а задний план подозрительно увеличен. Судя по всему, сцена снималась на side-by-side стереориг с большого расстояния с конвергенцией осей. А теперь концентрируемся и внимательно смотрим на голову и плечо, и видим, что плечо молодого человека на переднем плане вращается в ту же сторону, что и фон, т.е. развернутое к нам плечо находится дальше от нас, чем голова (!) — это конфликт нашего знания о форме тела человека с бинокулярным восприятием данной сцены (бедные зрители!). При этом второй человек сзади хотя и находится явно заметно дальше (видно по фокусу), по видимой глубине на одном уровне с молодым человеком, а его плечо опять вывернуто наизнанку, т.е. дальше от нас в сторону фона! Это также невозможно, но мы это видим. В данном случае будет конфликт с восприятием глубины по резкости (и, скорее всего, движению объектов сцены) и бинокулярно воспринимаемой глубины. Представляете ощущения вашего мозга при просмотре? С точки зрения мозга — это вдвойне-втройне “невозможная” дискомфортная сцена (конфликт формы, расфокуса и движения в кадре с видимой глубиной). Это немало, даже если убрать “невозможное” вращение. И таких “невозможных” сцен в фильме, как вы догадываетесь, хватает. Надеемся, что становится окончательно понятно, зачем нужны камеры/объективы/системы с малым расстоянием между оптическими осями, в том числе бим-сплиттеры, о которых речь шла в начале этой части. Становится понятно, зачем Хичкок делал большой телефон. И понятно, почему начинающие операторы без таких камер снимают стереофильмы, от которых сразу начинает болеть голова.
И еще пример, хорошо иллюстрирующий проблемы низкобюджетных фильмов, когда нет правильных камер для крупного и среднего плана:
Исходный поворот на 1° в фильме “Секс и Дзен”.
Тот же фрагмент после исправления. Хорошо видны нелинейные искажения объектов сцены, которые невозможно исправить поворотом и которые вообще сложно исправить. Мы видим, что люди стоят вертикально, однако, с точки зрения воспринимаемой глубины их туловища заметно и “невозможно” наклонены. Этот средний план также явно снимался на side-by-side стереориг с конвергенцией осей камер.
Если на съемочной площадке нет камер для корректной съемки крупного и среднего плана, в фильме с очень большой вероятностью будут сцены, невозможные с точки зрения видимой глубины при просмотре. Если у вас начинает болеть голова от таких фильмов — знайте, что авторы
Исправление плоских сцен для масштабирования не приводим, алгоритм делает их фактически одинаковыми. Посмотрим примеры, где была реальная съемка:
Разница по масштабу в 4,6% в фильме “Путешествие 2: Таинственный остров”.
Так было.
Тот же фрагмент “стало”, и тоже проявился 3D эффект почти плоской сцены.
Разница по масштабу в 4,2% в фильме “Пиранья”, было.
Тот же фрагмент “стало”. На кадре опять проявился слабый-слабый 3D эффект, которого раньше было фактически не видно из-за разницы по масштабу.
И пример исправления на компьютерной графике, а точнее — на конвертации:
3,6% на фильме “Pacific Rim”.
Тот же фрагмент “стало”. Здесь, оказывается, скрывалось весьма приличное стерео! Видно, что даже часть брызг корректно находятся на переднем плане (что не всегда бывает в конвертации).
При желании можно показать сотни и тысячи таких примеров (у нас все генерируется автоматически или полуавтоматически), все примеры для 100 фильмов аккуратно хранятся
Внимательный читатель может заметить, что исправление сдвигов не показано. Да, мы их не показываем. Это не спортивно. Они отлично исправляются в любом, даже самом простом редакторе. И то, что они попадают в фильмы — следствие спешки или просто отсутствие инструментального контроля качества.
Выводы:
- Для геометрических искажений возможно эффективное автоматическое или полуавтоматическое исправление, позволяющее кардинально понизить дискомфорт от сцены.
- Съемку на конвергентных осях часто очень сложно (читай — очень дорого) исправить. В худшем случае проще отконвертировать сцену — результат получится более качественным и менее дискомфортным.
Вместо заключения
Читатель может удивиться, почему же все не исправляется? Раскрою небольшой профессиональный секрет. Модная и очень неплохо проработанная сегодня тема в post-production — это трекинг (или feature point tracking, если кому-то интересно копнуть глубже). И в трекинге студии достигли больших успехов. Он постоянно нужен и чтобы вклеивать спецэффекты в живое видео с движущейся камерой, и чтобы убирать лишнее из кадра. Для трекинга написано много программ и плагинов. И они даже позволяют не только делать трекинг в одном кадре, но и сопоставлять точки на стереопаре (что сразу становится слабым местом, особенно если ракурсы различаются по резкости).
Причем для видео, на которых отлаживаются исследователи, все работает. А дальше начинается кино (во всех смыслах). И в кино фон обычно несколько размыт. Да, его в стерео лучше делать резким, так комфортнее. Но существует еще и 2D версия, и она также должна быть
Если уж раскрывать секреты профессии… Тем, кто до этого места дочитал — можно. ) На западе очень дешевые кредиты и великолепный вторичный рынок кинооборудования (б/у). В итоге можно относительно дешево и регулярно проводить обновление проекторов и т.п. Опять же — частая ситуация, когда новые очки в целлофане просто дарят, и их можно не сдавать. В итоге, нет всего того ужаса, который сразу вспоминается, когда речь заходит про наши кинозалы. Интересное следствие из этого — картинка на экране реально четче, и люди привыкают именно к такой качественной картинке (во многие наши залы, в которых используются дешевые китайские проекторы, которые никто не удосужился навести на резкость, “избалованные” американцы просто не смогли бы ходить). Опять же — на порядок лучше, чем у нас, развита обратная связь. У них достаточно минимального падения резкости картинки, чтобы люди это заметили и моментально всем раструбили через соцсети, специальные сайты и т.п. В итоге, у них продюсеры весьма чувствительны даже к минимальной потере четкости деталей. Масштабирование и поворот картинки заведомо приводят к снижению резкости. При использовании грамотных инструментов и подходов потери можно минимизировать, но… В итоге, когда обсуждается финальная версия сцены, рассматриваются исправления и решается “Исправляем или оставляем?” — нередко выбирается оставить проблему. Ведь падение резкости на хорошем оборудовании видно сразу, а “мозг все равно легко компенсирует”. В этом плане интересен “Аватар”. Если разглядывать его под микроскопом на пиксельном уровне, то там по горизонтальным резким границам видно, что картинка поворачивалась и видны следы достаточно “бескомпромиссного” исправления всего и вся, даже если это приводило к замыливанию изображения.
Еще одним “большим секретом” 3D является то, что усталость от отдельных артефактов стерео накапливается. Любители подхода “мозг легко исправит” ссылаются на исследования, в которых определяются крайние границы допустимости отдельных артефактов. Однако если не полениться и заглянуть в первоисточник, то можно легко заметить, что эти исследования хотя и проводились на большом количестве людей, но длились обычно 5-15 минут. И то, что люди
Ну и в качестве окончательных выводов. Некоторые студии любят говорить — “Заплатите нам как Камерон, и мы вам сделаем качество, как у Аватара”. Приведенные выше результаты объективных замеров по трем характеристикам показывают, что продолжать так говорить по крайней мере для геометрических искажений — это значит прилюдно расписываться в полном непрофессионализме. Во-первых, если в 2009 году “Аватар” действительно заметно выделялся в лучшую сторону по качеству, то уже в 2014 году его результаты стали весьма средними, то есть были отработаны технологии и программы, позволяющие получить лучшее качество намного дешевле и проще. И хотя так умеют работать пока не все, но очевидно, критерии приемлемого качества ощутимо подросли. Можно заведомо предсказать, что к 2017 году, когда запланирован выход “Аватара-2”, Джеймс Камерон опять постарается задать новый уровень качества для индустрии. В результате те, кто может выдавать на гора максимум только качество “Аватара”, да еще только по его цене, покинут этот рынок. Или научатся делать ещё лучше и дешевле. ) Соответственно, у студий уже сейчас “болит голова”, о том, как этого достичь, а у зрителей при просмотре голова будет болеть реже! Качество 3D вырастет,
Всем поменьше головной боли вообще и от 3D в частности! )
Благодарности
Хотелось бы сердечно поблагодарить:
- моих коллег Алексея Шалпегина, Александра Воронова и Александра Бокова, а также других членов видеогруппы, благодаря которым представленные выше алгоритмы были созданы,
- вице-президента по технологиям и Senior Scientist компании RealD Джона Карафина за веру в наши силы и воодушевляющую поддержку,
- компании Intel, Cisco, Verizon и YUVsoft за серьезную поддержку проекта и то, что им не безразлично качество стереофильмов,
- Лабораторию Компьютерной Графики ВМК МГУ им М.В.Ломоносова за вычислительные мощности и не только,
- Алексея Шалпегина, Артема Казакова, Станислава Долганова, Максима Смирнова, Виталия Людвиченко, Владислава Тюльбашева, Алексея Федорова, а особенно Александра Воронова за большое количество дельных замечаний и правок,
- и наконец, всех организаторов Международного московского стереофестиваля и лично Олега Николаевича Раева, за то, что они делают для того, чтобы выросло качество стереофильмов в России.
Смотрите также:
Комментарии (30)
adic3x
27.04.2015 14:59Проходя мимо просто спрошу: а в 3d анимации, к примеру в мультиках таких проблем нет?
3Dvideo Автор
27.04.2015 15:21Если кратко — есть. Хотя бы, как ошибки, от которых никто не застрахован.
Даже в «Аватаре» есть сцена на Пандоре, где оптические оси виртуальных камер не лежат в одной плоскости. Да, это рендеринг, да, у кого-то дрогнула мышка, а это не заметили. Бывает. Но, конечно, на порядок-другой реже, чем при съемке.
hmpd
27.04.2015 15:20-1Блин, ребята, проблема не в фильмах, а в технологии, с помощью которой человек воспринимает 3D-эффект.
Смотрел фильм Tekken еще пару лет назад — в полном 3D без очков на нинтендовской 3DS: ничего не болит, голова не кружится, кровь носом не идет. Не говоря уж о сотнях часов проведенных в играх (Monster Hunter, например).
На хендхелде сотни игр, миллионы пользователей. И насколько знаю из общения с другими геймерами, с 3D плохо только у тех, кто уже имеет нарушение зрения (близорукость, дальнозорскость, астигматизм и т. д.)
Название статьи категорично — «Почему от 3D болит голова». «Почему голова МОЖЕТ болеть у НЕКОТОРЫХ пользователей» ближе к правде. А текущим названием вы отпугиваете людей от клевой технологии и классных ощущений. В общем, 3D бояться не надо — это отличная вещь.3Dvideo Автор
27.04.2015 15:31+2Вы совершенно правы, что если смотреть качественный контент на качественном оборудовании — проблемы КРАЙНЕ редки.
Рендеринг игр (если не брать ошибок) — достаточно качественный контент. Качество оборудования — тоже растет. И все, что нужно — это разбираться в предмете.
А то люди покупают активные очки (да еще дешевые), играют в те же игры до полной рези в глазах (а даже индусы по работе больше 6 часов даже в дорогих активных очках не выдерживают) — а потом ругают всех и вся. )
Подробнее про оборудование было в первой части статьи. Вы почитайте там комментарии. ) Большинство людей рассуждает не как вы, а пробует что-то достаточно дешевое и некачественно, обжигается и начинает на любое 3D ругаться. )
Dreddik
27.04.2015 16:53+1У меня нет проблем со зрением, но от 3D впечатление о фильме, просмотренном в кинотеатре, сильно портится.
Во-первых, никаких тебе сочных цветов.
Во-вторых, фигня перед глазами на носу 2-2,5 часа.
В-третьих, реально болит голова.
Классные ощущения? Не думаю.hmpd
27.04.2015 16:54Да-да, я так и написал — зависит от технологии. В кинотеатрах 3D мне тоже не нравится.
3Dvideo Автор
27.04.2015 17:08+1Таких как у вас отзывов — очень много.
Именно поэтому, хотя мы с коллегами специалисты в обработке видео, первой статьей цикла была статья про проблемы оборудования.
Пересказывать ее не буду — там все подробно.
А кратко — знайте, что НА ВАС ЖЕСТОКО ЭКОНОМЯТ. В большинство залов в России оборудования ставится исходя из минимизации его цены. Поскольку даже в Москве и Питере, где есть выбор, народ предпочитает ходить по самым дешевым билетам. И людей не смущает появление мерцания, десятикратное падение яркости, мутные б/у очки, бликующий потолок зала, стробящие в очках надписи «Выход» справа и слева от экрана и далее по списку.
До тех пор, пока люди не будут оставлять честные отзывы на страницах кинотеатра в Афише или Кинопоиске, а будут массово ходить исходя из цены билета — у владельцев залов не будет никакого стимула использовать что-либо кроме самого дешевого китайского оборудования.
Свежие новости — за 2014 год количество 3D залов в России выросло с 3048 до 3753 (на 705 залов) — рост больше 20%. За один год — это очень неплохо. И это была бы неплохая новость, если бы не тот факт, что количество систем из разряда «Другие производители» (среди которых очень много Китая) не увеличилось бы на 301 (из 705 — т.е. 42%). Если учесть, что за прошлые годы было установлено всего 837 таких залов, очевидно, что владельцы залов в 2014 взяли курс на еще большую экономию. И это при том, что раньше залы довольно значительно отличались от залов в США и Европе в худшую сторону.
И быстро эта ситуация не поменяется. Установленное дешевое оборудование должно окупиться. А значит те, кто будет туда ходить — будут страдать.
Берегите себя! Если есть выбор — не ходите в залы, где установлено дешевое оборудование!
disinvis
30.04.2015 13:27Но как узнать заранее?
К тому же, если в том же кинотеатре на премьере (с проверкой прокатчика) новые лампы стоят, а потом они меняются на тусклые.3Dvideo Автор
30.04.2015 14:28Разница яркости между разными залами может быть больше 10 раз. А разница между дорогими и дешевыми лампами — 1,5-2 раза. Т.е. кардинально картина не меняется, нельзя быстро сменить проектор, экран, задрапировать потолок, поставить 2 проектора, поставить проектор ближе к экрану и т.д. По опыту — если в кинотеатре отстой (например,
тупопроектор не наведен на резкость) — проблема может сохранятся неделями, пока ее заметят и исправят. И почти никогда об этом никто нигде не пишет. В этом смысле наша аудитория, конечно, не китайская (там вообще звиздец творится), но и совсем не американская. Что приводит к тому, что владельцам залов нет смысла ни ставить дорогое оборудование, ни больше платить персоналу, чтобы плотнее следить за оборудованием, ни покупать очки чуть подороже, чем совсем уж дешевые.
Ситуация меняется, но крайне медленно. А владельцы (см. ответ выше) — еще сильнее начинают экономить на качестве оборудования.
Со временем все безусловно улучшится, уже хотя бы потому, что в том же Китае активно разрабатывают лазерные проекторы и даже самое дешевое оборудование постепенно растет по качеству. Но это не очень быстрый процесс.
В любом случае лучше представлять себе, за что платятся деньги, если в одном зале билет строит в 2 раза больше, чем в другом. Когда это плата за качество, а когда за маркетинг. И лучше всего здесь будут работать отзывы, поскольку у разных людей разная чувствительность в т.ч. к проблемам разных технологий.
cjfynjy
27.04.2015 23:01Сходил по ссылкам на предыдущие статьи из цикла, решил, что мой вопрос наиболее подходит к этой статье (хотя и сюда, наверное, не вполне подходит...).
Когда я смотрю 3D в кинотеатре, мои глаза устают прежде всего от того, что в кадре как будто бы только одна точка фокусировки (чаще всего в центре кадра), на которую я, по замыслу, должен непрерывно смотреть, тогда всё остальное будет в «правильной» для глаза расфокусировке. Как только я фокусируюсь на какой-то другой точке экрана, всё сразу «плывёт». Вон, я рассматриваю тот кустик на заднем плане, который, судя по стереопаре, находится на таком-то расстоянии, фокусирую зрение на нем, а он все такой же размытый (потому что так снято, он в кадре уже размытый и ничего с этим не сделать!). Получается, что глаза вроде как делают все правильно, а картинка все такая же несфокусированная. Почему так делают и почему с этим не борются (или борются?)
И еще один вопрос, пожалуй: если зритель сидит достаточно далеко от центра экрана (например, на крайних местах ряда), он смотрит на экран под углом, и перспектива неминуемо плывет. Оказывает ли это существенное влияние на восприятие 3D, или тут как раз мозг успешно «компенсирует» это так же, как и в случае с 2D-изображением? (К счастью / к сожалению, на себе такой просмотр «сбоку» не тестировал, поэтому это не вопрос «вот как плохо выходит, как это исправить», а просто любопытство).3Dvideo Автор
27.04.2015 23:28+1Сходил по ссылкам на предыдущие статьи из цикла, решил, что мой вопрос наиболее подходит к этой статье (хотя и сюда, наверное, не вполне подходит...).
Вопрос к 1 или 4 статье, и уже отвечался в 4-й ), не в немного другой постановке. Отвечу )
Когда я смотрю 3D в кинотеатре, мои глаза устают прежде всего от того, что в кадре как будто бы только одна точка фокусировки..., тогда всё остальное будет в «правильной» для глаза расфокусировке.… Вон, я рассматриваю тот кустик на заднем плане, который, судя по стереопаре, находится на таком-то расстоянии, фокусирую зрение на нем, а он все такой же размытый (потому что так снято!). Получается, что глаза вроде как делают все правильно, а картинка все такая же несфокусированная. Почему так делают и почему с этим не борются (или борются?)
Так делают по нескольким причинам:
1. Фильмы снимают так, чтобы показывать их и в 2D, и в 3D версиях. При этом в 2D версии для того, чтобы привлечь ваше внимание к «правильной» области кадра, куда нужно смотреть, остальная область несколько размывается.
2. У размывания фона масса плюсов — начиная от того, что зритель успевает увидеть висящее на стене ружье (которое в конце должно выстрелить) и заканчивая тем, что меньше ошибок видно. Грамотные операторы планируют переходы между сценами так, чтобы даже при вроде как хаотичном экшине ваши глаза не скакали по кадру, а плавно перемещались, даже если меняются сцены. Это заметно увеличивает комфорт при просмотре.
Основной минус — 3D, если размывать фон и кто-то будет на фон смотреть — это будет вызывать дискомфорт. Т.е. если фильм снимается только для 3D, фон на нем можно сделать более резким, а внимание привлекать и удерживать за счет вылетов объектов переднего плана (та же цель достигается другими средствами).
Плохая для вас новость: Пока слишком дорого делать две версии с разным размытием фона. Однако через какое-то время это вполне может стать возможно.
И еще один вопрос, пожалуй: если зритель сидит достаточно далеко от центра экрана (например, на крайних местах ряда), он смотрит на экран под углом, и перспектива неминуемо плывет. Оказывает ли это существенное влияние на восприятие 3D, или тут как раз мозг успешно «компенсирует» это так же, как и в случае с 2D-изображением? (К счастью / к сожалению, на себе такой просмотр «сбоку» не тестировал, поэтому это не вопрос «вот как плохо выходит, как это исправить», а просто любопытство).
Лучше не тестируйте. Это, конечно, влияет. И мозг компенсирует плохо. Более того — если используются пассивные очки (RealD, IMAX, MasterImage), то там crosstalk (то, насколько один ракурс просвечивает в другом) сильно зависит от угла, под которым вы смотрите. Т.е. на боковых местах вы будете страдать от двоения объектов. Думаю, что это лишнее. )
На практике это означает, что лучше сидеть дальше «VIP» мест с повышенной ценой (обычно в центре зала), чем сбоку. Если это не премьера и места есть, то даже если забыли спросить и купили сбоку — лучше пересесть на задние ряды, но в центр ряда.
OCTAGRAM
12.05.2015 04:40+1Хорошо видны нелинейные искажения объектов сцены, которые невозможно исправить поворотом и которые вообще сложно исправить. Мы видим, что люди стоят вертикально, однако, с точки зрения воспринимаемой глубины их туловища заметно и “невозможно” наклонены. Этот средний план также явно снимался на side-by-side стереориг с конвергенцией осей камер.
Насколько я понимаю теорию, кадр кинокамеры — это не просто 2D картинка, а его можно считать этакой неполной панорамой. 2 кадра — это 2 неполных панорамы. Даже если оси сходятся или не лежат в одной плоскости, обе неполных панорамы можно поворачивать в нужном направлении по всем 3м осям вращения относительно центра каждой из них и так спозиционировать, чтобы всё–таки получить правильное стереоизображение. С точки зрения программной реализации, это будут проективные искажения, а не просто повороты кадров.
Проблемы, которые я вижу:
Чтобы 2D картинку посчитать куском панорамы, нужно знать фокус. В виртуальном пространстве помещаем картинку на этом расстоянии от центра, проецируем на сферу вокруг центра — и вот он, кусок панорамы. А в реальности фокус мы не знаем (ведь не знаем же?). Плюс, кадры могут быть так обрезаны, что для получения панорамы нормаль из центра на плоскость картинки должна попасть в некую точку, отличную от её центра. То есть, в общем случае для обоих кадров надо подбирать проективные искажения, которые бы сделали их соответствующими друг другу кадрами левый/правый.
По моему опыту обратной коррекции перспективы в GIMP, некоторые камеры дают подушкообразные искажения, прямые линии перестают быть прямыми, и всё становится сложнее. Но мне кажется, для стерео такие камеры должны заведомо не подходить, они будут портить все кадры.
В связи с этим у меня, как у программиста, рождаются мысли, что, чтобы ограничить подобные проблемы в будущем, в видеокадры должны внедряться метки, такие как фокус, центр картинки, а для 3D видео — максимальный параллакс, и инструменты должны эти метки понимать и не позволять делать некорректные операции.3Dvideo Автор
12.05.2015 09:35Насколько я понимаю теорию, кадр кинокамеры — это не просто 2D картинка, а его можно считать этакой неполной панорамой. 2 кадра — это 2 неполных панорамы. Даже если оси сходятся или не лежат в одной плоскости, обе неполных панорамы можно поворачивать в нужном направлении по всем 3м осям вращения относительно центра каждой из них и так спозиционировать, чтобы всё–таки получить правильное стереоизображение. С точки зрения программной реализации, это будут проективные искажения, а не просто повороты кадров.
Да, это делать можно. Подробнее про это было в 4-й части, посмотрите. )
Но есть 3 крупных проблемы:
1. Сегодня весьма сложно построить карту диспаритета (а, фактически, карту глубины), чтобы получилось аккуратно и без ручной работы (см. 4 часть, там есть ссылки и примеры)
2. Огромная проблема — полупрозрачные объекты, достаточно просто motion blur — как при сдвиге артефакты бросаются в глаза
3. И еще одна большая проблема — чем заполнять образующиеся области открытия при сдвиге-вращении объектов.
Сегодня на практике в студиях все три проблемы решаются с ручной работой (часто большой), что делает очень дорогим исправление.
По моему опыту обратной коррекции перспективы в GIMP, некоторые камеры дают подушкообразные искажения, прямые линии перестают быть прямыми, и всё становится сложнее. Но мне кажется, для стерео такие камеры должны заведомо не подходить, они будут портить все кадры.
Там делается проще. Если параметры объектива известны — «подушка» исправляется сразу.
В связи с этим у меня, как у программиста, рождаются мысли, что, чтобы ограничить подобные проблемы в будущем, в видеокадры должны внедряться метки, такие как фокус, центр картинки, а для 3D видео — максимальный параллакс, и инструменты должны эти метки понимать и не позволять делать некорректные операции.
Если бы все было так просто ))). Начнем с того, что часто даже просто оценить диспаритет в реальном времени — крайне сложно (из-за того, что ракурсы разные по цвету, резкости и т.п.) и там еще много проблем. И заканчивая тем, что, вы будете удивлены, но спрос и на контроль и на исправление стерео весьма слаб. В основном пипл хавает не разбираясь и у лиц, принимающих решение, пока нет стимула платить за улучшение качества. Возможно ситуация изменится в следующую волну популярности 3D (скорее всего после 17-18 года и 2-3 Аватара).OCTAGRAM
14.05.2015 01:52Да, это делать можно. Подробнее про это было в 4-й части, посмотрите. )
Нет, про проективные преобразования там не было, а такую тяжёлую артиллерию, как реконструкция стереоизображения с другой шириной областей закрытия/открытия, я не имел в виду. Я, возможно, не так их назвал, но то, что я имею в виду, описывается формулами:
x2 = (a*x + b*y + c)/(d*x + e*y + f)
y2 = (g*x + h*y + i)/(d*x + e*y + f)
Тут 9 коэффициентов, но все их можно смаштабировать на ненулевой коэффициент, поэтому здесь только 8 степеней свободы.
Здесь написано:
Отображение, обратное проективному, является проективным отображением. Композиция проективных отображений является проективным. То есть, множество проективных отображений образует группу.
Аффинное преобразование является частным случаем проективного.
А повороты и трансляции, являясь подмножествами множества аффинных преобразований, являются и проективными преобразованиями тоже.
Так вот, если прямоугольник, соответствующий одному кадру, поставить в пространстве на некоем расстоянии от фокуса, сделать какие–то повороты, а потом спроецировать на какую–то плоскость, или, наоборот, не вращать прямоугольник, а проецировать на другую плоскость, то с некоторой оговоркой это будет применение проективного преобразования. Оговорка касается точек, которые проецируются на полусферу за наблюдателем: в проективных преобразованиях изображение из затылка накладывается с поворотом на 180° на изображение из глаз. Это уже вопрос видимости, а не геометрии.
Если бы все было так просто ))). Начнем с того, что часто даже просто оценить диспаритет в реальном времени — крайне сложно (из-за того, что ракурсы разные по цвету, резкости и т.п.) и там еще много проблем.
А мне кажется, что просто. Вот, допустим, при съёмках любая вменяемая камера даёт изображение такое, что ось проходит через центр кадра, вот этот центр кадра и нужно вшить в метку. А если кадр как–то обрезается, то ось уже не в центр кадра попадает, а в другую точку, и инструменты, обрезающие кадр, должны эту метку поправлять. Далее, фокус должен вшиваться камерами. Насколько я понимаю, вся оптика находится на камерах, и сама камера по расстояниям между линзами может определить фокус в физических величинах и фокус в пикселах, и вшить их оба. Чтобы уменьшить количество степеней свободы, в которых нам нужно искать, как поправить кадр, более критичен фокус в пикселах.
Далее, при создании 3D нужно объединить две картинки с двух ракурсов, причём, после объединения оси (где через кадры проходят оси, должно быть понятно по ранее вшитой метке) должны быть разведены на некоторое количество пикселов — и при объединении мы просто вшиваем это число, а потом при каждой трансформации просто поддерживаем в актуальном состоянии. И без всяких карт диспаритета.3Dvideo Автор
14.05.2015 08:54Да, это делать можно. Подробнее про это было в 4-й части, посмотрите. )
Нет, про проективные преобразования там не было,
Было про то, как можно в разумных пределах «двигать» ось виртуальной камеры)
А про проективные искажения, которые возникают из-за того, что оптические оси камер не лежат в одной плоскости — там было мельком. Мы через какое-то время собираемся ловить такие искажения целенаправленно. В принципе это подмножество вертикального сдвига обычно, но намного более дискомфортное.
Возвращаясь к вашей исходной цели:
Даже если оси сходятся или не лежат в одной плоскости, обе неполных панорамы можно поворачивать в нужном направлении по всем 3м осям вращения относительно центра каждой из них и так спозиционировать, чтобы всё–таки получить правильное стереоизображение. С точки зрения программной реализации, это будут проективные искажения, а не просто повороты кадров.
В теории — это действительно сделать можно. Но как будете заполнять области открытия теперь уже возникающие над и под объектами? )
объединении мы просто вшиваем это число, а потом при каждой трансформации просто поддерживаем в актуальном состоянии. И без всяких карт диспаритета.
Ключевое слово «при каждой трансформации». Как ее проводить без карт диспаритета? )OCTAGRAM
17.05.2015 17:24В теории — это действительно сделать можно. Но как будете заполнять области открытия теперь уже возникающие над и под объектами? )
Я ещё раз говорю, я не рассматриваю такую тяжёлую артиллерию. Мы делаем с обоими кадрами проективное преобразование, и никаких областей дополнительных не появляется и не убавляется. Берём сцену, находим в ней несколько острых углов предметов, эти углы в каждом кадре после преобразований должны оказаться на одной горизонтали. Для каждого острого угла создаём уравнение для идеального случая. Идеальным он, скорее всего, не получится, так что вместо решения уравнения минимизируем сумму квадратов разностей левых и правых частей уравнений. Несколько степеней свободы придётся устранить другим способом. Так, например, вдоль оси, проходящей через центры обоих глаз, можно вращаться, оставляя парные точки на одной горизонтали. От этой степени свободы можно избавиться, добившись того, чтобы после преобразований пришлось как можно меньше обрезать. У проективного преобразования 8 степеней свободы, а для двух глаз — 16. С другой стороны, если мы ограничиваемся проекцией прямоугольника (2 степени свободы, где может проходить ось) на сферу (1 степень свободы для фокусного расстояния, мне кажется, общая для ракурсов), делаем поворот (3 степени свободы вращения) и снова проецируем с тем же фокусом на прямоугольник, так что ось попадает в фиксированное положение, у нас получается 2*2 + 1 + 2*3 — 1 = 10 степеней свободы, а не 16. Последняя -1 — это вращение вдоль оси, проходящей через глаза. 10 острых углов найти, и уже можно с чего–то начинать.
Ключевое слово «при каждой трансформации».
Под трансформациями я имел в виду увеличения и обрезания кадра. Предполагается, что инструментарий будет делать их синхронно и поддерживать метки. Ну, то есть, если кадр обрезан, то, зная, в каких точках были оси, можно посчитать, в каких координатах они окажутся после обрезания. Если увеличен, то пропорционально изменить фокус в пикселах и PPI. Ну и прочие преобразования, когда у кого–то ошибается простым образом.3Dvideo Автор
17.05.2015 18:19+1Я ещё раз говорю, я не рассматриваю такую тяжёлую артиллерию. Мы делаем с обоими кадрами проективное преобразование, и никаких областей дополнительных не появляется и не убавляется.
А, так у вас все в плоскости кадра! Меня сбило в начале «можно поворачивать в нужном направлении по всем 3м осям вращения ». ) Ну результаты примерно такого выше показаны ;)
Берём сцену, находим в ней несколько острых углов предметов, эти углы в каждом кадре после преобразований должны оказаться на одной горизонтали.
Сразу скажу — у вас будут проблемы с таким подходом, ибо киношники любят небольшую глубину резкости (про это будет подробно в 8-й части), и все feature points based подходы начинают жестко лажать.
Под трансформациями я имел в виду увеличения и обрезания кадра.
Теперь понял ). У вас намного проще подход, чем я изначально подумал.
У вас в целом мысль в правильном направлении. Только в жизни, если для кино алгоритм делать все будет сложнее.
1. Вам будет мешать, что регулярно совсем передний или (чаще) задний план не в фокусе. И если в центре кадра лицо в фокусе, а кадр разъехался по геометрии — вы его «с углами» не поправите.
2. Если оптические оси камер не лежат в одной плоскости (что на практике бывает регулярно), у вас все разойдется.
3. Очень часто спецэффект оказывается наложен идеально, а исходный кадр — сильно расходится. Таких сцен, например, даже в «Аватаре» хватает, когда сцена снята криво, а фантастические дисплеи у операторов — выровнены идеально. И что с этим делать?
4. Иногда для съемки применяют ротоскоп для того, чтобы сделать какой-то объект больше, или изменить цвет или даже поправить геометрию через ротоскоп руками. Тогда, даже несмотря на то, что это съемка у вас разные объекты могут гулять по-разному.
И это не полный список )))
Я убедил, что там все очень весело? )))
15432
17.05.2015 04:16Схема с тремя параметрами (сдвиг/зум/поворот) упрощённого аффинного преобразования была выбрана как наиболее устойчивая, универсальная и простая для анализа. Для полного перспективного преобразования нужны точные параметры. Из итоговой картинки их определить сложно, а зачастую и невозможно. Да, Youtube умеет стабилизировать картинку по перспективе, но там одна камера, а здесь мешается стереоэффект (диспаритет). Конечно, если бы создатели фильма нам предоставили параметры съёмки, было б проще и качественнее. Но мы имеем лишь купленные BD релизы, а в них никакой сервисной информации нет и не будет (ибо для конечного потребителя).
egigd
12.05.2015 22:25Вот мне кое-что непонятно…
При осмотре реальных объектов оптические оси глаз почти всегда пересекаются. Значит и оси камер при съёмке должны пересекаться! А в статье говориться, что это не есть хорошо…
Приводится пример искажений, что в одном кадре прямоугольник станет такой трапецией, а в другом — такой. Но ведь в жизни глазами мы и видим трапеции! Ну как минимум одним газом — точно. Если только речь не о каком-то созвездии на небе, мы не можем видеть обоими глазами одновременно фигуру с четырьмя прямыми углами.
Ну и на счёт стерео-рига. Я понимаю проблемы далёкого прошлого: кинокамеры под 35-мм плёнку, хочешь того или нет, были громоздкими. Но сейчас?.. Берём две беззеркалки, ставим вплотную — вот уже у нас всего двукратное расстояние между глаз. Берём их же и одну переворачиваем вверх ногами (объективы не по центру стоят, а с краю) и вновь вплотную — вот у нас ровно расстояние между глаз.
Ну и вообще непонятно, почему бы не снимать такими объективами, с которыми угловые размеры объектов на запланированном экране будут совпадать с наблюдаемыми невооружённым глазом на съёмочной площадке, расположив оптические оси на расстоянии равном расстоянию между глаз? Это дало бы максимально реалистичное изображение. В фотографии вот классика — 50 мм объектив на 35 мм плёнку. Именно потому, что тогда угловые размеры объектов на снимках 10х15 — 13х18 (наиболее распространённых), рассматриваемых с расстояния 25-35 см, примерно совпадают с наблюдаемыми фотографом на месте съёмки.3Dvideo Автор
12.05.2015 22:56Вот мне кое-что непонятно…При осмотре реальных объектов оптические оси глаз почти всегда пересекаются. Значит и оси камер при съёмке должны пересекаться! А в статье говориться, что это не есть хорошо… Приводится пример искажений, что в одном кадре прямоугольник станет такой трапецией, а в другом — такой. Но ведь в жизни глазами мы и видим трапеции! Ну как минимум одним газом — точно. Если только речь не о каком-то созвездии на небе, мы не можем видеть обоими глазами одновременно фигуру с четырьмя прямыми углами.
В реальной жизни наибольшая «трапеция» будет, если объект будет находиться довольно близко перед вами (собственно, когда расстояние между глазами будет сказываться в наибольшей степени). И даже можно прикинуть, насколько при этом будут сведены ваши глаза. А дальше можете сами нарисовать типичный зал, то, как будет выглядеть картинка на экране и как будут направлены глаза, когда будут на нее смотреть. Конвергенции осей (и как следствие, сигнала мозгу, что ее нужно корректировать) даже и близко не будет. А трапеция будет зверской. Получится типичное «невозможное» изображение, доставляющее дискомфорт. Получается, что вы должны показывать изображение не таким, каким вы увидите его с точки зрения главного героя, а с поправкой на то, что вы сидите в зале далеко от экрана, т.е. картинка должна делаться под зал. Это если кратко и без деталей. Повторюсь, пользоваться конвергенцией осей можно, но для этого надо хорошо понимать, что вы делаете. Это бывает не всегда ;)
Ну и на счёт стерео-рига. Я понимаю проблемы далёкого прошлого: кинокамеры под 35-мм плёнку, хочешь того или нет, были громоздкими. Но сейчас?.. Берём две беззеркалки, ставим вплотную — вот уже у нас всего двукратное расстояние между глаз. Берём их же и одну переворачиваем вверх ногами (объективы не по центру стоят, а с краю) и вновь вплотную — вот у нас ровно расстояние между глаз.
А вам нужно расстояние меньше, чем расстояние между глазами. ) И на крупных планах довольно часто. А объективы, чтобы шумов поменьше было на темной картинке желательно иметь побольше. Опять же бленды никто не отменял. У вас просто бленду будет некуда поставить, если вы рядом два объектива поставите. А это значит пойдут блики-зайчики, т.е. разница по цвету, причем крайне дискомфортная. Т.е. в павильоне-то на средних и общих планах так сделать можно, ну а дальше все грустно ;). Что, впрочем, не мешает так делать тем, у кого нет денег на бим-сплиттеры. Приходите на московский стереофестиваль, там конкурсную программу можно посмотреть бесплатно. При просмотре многое становится понятно ;). (И это при том, что авторы часто совсем не дураки, все понимают и как могут стараются вытянуть на имеющейся технике).
Ну и вообще непонятно, почему бы не снимать такими объективами, с которыми угловые размеры объектов на запланированном экране будут совпадать с наблюдаемыми невооружённым глазом на съёмочной площадке, расположив оптические оси на расстоянии равном расстоянию между глаз? Это дало бы максимально реалистичное изображение. В фотографии вот классика — 50 мм объектив на 35 мм плёнку. Именно потому, что тогда угловые размеры объектов на снимках 10х15 — 13х18 (наиболее распространённых), рассматриваемых с расстояния 25-35 см, примерно совпадают с наблюдаемыми фотографом на месте съёмки.
Уже ответил. Когда начнут делать шлемы, у которых еще и проблем с аккомодацией не будет — для них все эти соображения будут актуальны и для них надо будет снимать по-другому. Сейчас вся съемка идет в первую очередь под кинозал. Это кардинально все меняет.
OCTAGRAM
14.05.2015 01:06Решаемы ли проблемы с бликами, если применять круговые поляризаторы вместо линейных?
3Dvideo Автор
14.05.2015 08:35Имеются ввиду — поляризация на зеркале? Пусть меня поправят физики, но на расположенном под углом зеркале такую пленку сделать нельзя. В 6-й части (в которой речь про цвет) в комментариях человек пишет про светоделительный куб, но, насколько я знаю, он не используется.
OCTAGRAM
18.05.2015 09:56Хм. Ну тогда можно подумать над тем, чтобы поставить круговой поляризатор вертикально, перед разделителем. Впрочем, тот комментатор, наверное знает больше на эту тему.
3Dvideo Автор
18.05.2015 11:22Сейчас ставят просто линейные поляризационные фильтры, резко уменьшая разницу между ракурсами по поляризации.
zuborg
Навскидку могу придумать следующий способ получать качественный 3d контент:
— снять контент с N камер. Цветопередача, яркость, сдвиги и повороты в итого не будут иметь значения.
— построить некую (не обязательно 100% полную) единую 3d модель, с учетом материалов, бликования etc (да, очень-очень сложно, но в принципе — решаемо).
— отрендерить полученную модель для нужных позиций камер (хоть 100 пар — для разных размеров экранов).
3Dvideo Автор
С многокамерными системами и многоракурсными дисплеями уже около 20 лет идет плотная работа и довольно хорошее развитие. Серийно выпускаются 24- и 96-ракурсные проекционные системы, есть 200-ракурсные экспериментальные. Мы, непосредственно работаем с 28-ракурсным дисплеем (вот только не проекционным и потому там не совсем 28 ;).
Короче, работы в этом направлении идут, вот только с решением проблем там не все волшебно. И сдвиги-яркость там имеют большое значение, и достаточно даже небольшой полупрозрачности (например motion blur при движении), как качественный рендеринг с другой позиции станет очень сложным. Можете погуглить про видеоматтинг.
А в целом — да, развитие в этом направлении идет, только намного медленнее, чем кажется по рекламным материалам.