S3D: No pain IS gain




Ранее мы говорили про проблемы 3D оборудования, проблемы контента, перепутанные ракурсы, слишком большой и слишком маленький параллакс и геометрические искажения. Сегодня речь пойдет про технические проблемы с цветом. Почему картинки в левом и правом ракурсах различаются? Какие у этого технические или, точнее, физические причины? Как выглядели искажения по цвету в 50-х? Как выглядят сейчас? Каковы тенденции? Как это можно исправить? И, конечно, к чему это приводит. Будут показаны разные по цвету кадры из фильмов, в том числе достаточно эпичные примеры.


Откуда берется разница по цвету


В прошлый раз было подробно рассказано, почему при съемках сцен крупным планом крайне удобны стереориги с бим-сплиттером, то есть полупрозрачным зеркалом. Только они обеспечивают произвольное (а современные — и динамически изменяемое) расстояние между оптическими осями камер:



Однако, как известно, отраженный свет поляризован. С этим явлением хорошо знакомы фотографы, и обладатели “очков водителя”, которые продаются на каждой заправке, в них заметно снижается яркость от бликов луж на дорогах, от фар и т.д. Закон, выражающий степень поляризации в зависимости от характеристик среды и угла падения, называется законом Брюстера, и его последствия для стерео крайне ощутимы:


Источник: https://en.wikipedia.org/wiki/Brewster%27s_angle

Насколько сильно изменяет поляризованный свет окружающую действительность, можно оценить с помощью обычного фотоаппарата, например, на следующих примерах:


Поверхность озера, снятая без поляризующего светофильтра и с ним. Видно, что дно, практически неразличимое на первом фото, стало великолепно видно
Источник: https://ru.wikipedia.org/wiki/Закон_Брюстера


Возникает впечатление, будто открыли окно, однако это просто убран блик, с помощью правильно развернутого поляризационного светофильтра
Источник: https://en.wikipedia.org/wiki/Brewster%27s_angle

Наиболее актуален для нас первый пример, поскольку зеркало бим-сплиттера наклонено в горизонтальной плоскости и, как следствие, все блики от горизонтальных поверхностей будут кардинально по-разному видны в правом и левом глазу.

Поляризация света — то, о чем постоянно нужно помнить при съемке. Понятно, что эффект как минимум кардинально ослабляется, если на объектив накрутить хорошо подобранные поляризационные светофильтры. Однако, как водится, суровая реальность преподносит разные сюрпризы. Например, автор как-то показывал найденные нами расхождения по цвету в фильме “Пираты Карибского моря: На странных берегах” стереограферу этого фильма. А расхождения были иногда весьма заметными, причем многие пришлись на “морские” сцены. Так тот рассказал, что они снимали на побережье 60 дней. И за это время они сменили 30 комплектов (!) светофильтров. То есть пока они снимали с этими же светофильтрами в павильоне — все было великолепно, а на берегу просветленная пленка на фильтре видимо как-то реагировала с соленым морским воздухом, и фильтры заметно “разъезжались по цвету”, причем происходило это не равномерно, а пятнами.

В общем, когда они заметили, пришлось срочно заказывать ящик светофильтров и менять их через день-два. И, все равно, какое-то количество неидеальных кадров, которые нельзя было так просто поправить, ушло в фильм. Ниже приведен хороший пример, когда в трейлере, в который ушли фрагменты прямо с середины post-production еще были расхождения, а в релизе их изрядно уменьшили (правда “потеряли” облака). В любом случае — стерео стало заметно лучше:


Цветовые расхождения в трейлере фильма “Пираты карибского моря: На странных берегах”


К релизу фильма успели поправить, но небольшие расхождения все равно остались (например, на лице)

Вообще, примеры, когда в трейлер попадают плохо поправленные куски возникают довольно часто. Например, в третьей части данного цикла можно было привести пример перепутанных ракурсов в фильме “Смурфики”, когда проблема в трейлере была, но в той же сцене в самом фильме ее уже исправили. Происходит так, не только потому, что трейлеры выкатываются в разгар post-production, но и в силу большой спешки с их выпуском. Роб Энгл, супервизор 3D эффектов “Смурфиков”, сидя в уютной кафешке в Северном Голливуде, рассказывал автору, что ему вообще не успели показать финальный трейлер. Когда он утром пришел на работу, оказалось, что трейлер ночью уже ушел в кинотеатры. Интересно, что у низкобюджетных фильмов бывает и обратная ситуация — когда продюсер тратит деньги на исправление трейлера (заказав его у студии, которая вылизывает корректирует стерео профессионально и быстро), но на коррекции всего фильма экономит. И такое бывает, увы, не так редко. Впрочем это отдельная история.

При любительской съемке стерео также возникает много проблем, поскольку ко всему перечисленному выше добавляются также проблемы “слишком умной” начинки любительских камер (например, автоподстройку баланса белого и т.п.), которую не всегда можно отключить. Вообще выясняется, что сегодня найти видеокамеры, у которых можно, например, выдержку выставить вручную — не так просто. И если об этом не думать еще на этапе выбора камеры — потом возникает много головной боли (либо у автора, либо у зрителей). Также начинающие операторы с удивлением обнаруживают, что даже при одинаковых настройках и отключенных автоматах кадры все равно отличаются по цвету. Про это также можно отдельный текст написать. Нам же интересно, к чему все эти проблемы приводят в фильмах и, главное, можно ли их исправить.

Выводы:
  • Массовые съемки на бим-сплиттер стереориги приводят к тому, что заметно отличаются цвета бликов, различаются светофильтры, заведомо по-разному нагреваются и из-за нагрева расходятся по цвету матрицы камер. При любительской съемке с side-by-side стереоригами добавляются пачка проблем с тем, что у камер различаются баланс белого (или невозможно отключить его автонастройку), различаются по цвету кадры, сделанные на одинаковых настройках и т.д.
  • На съемочной площадке большой проблемой являются блики, поскольку для них совершенно нормально, что они разные в правом и левом глазу, но сохранить “естественную” разницу бликов при съемке на бим-сплитер и последующем исправлении технически довольно сложно.
  • Нередко можно наблюдать ситуации, когда цвета в одних и тех же фрагментах сведены в фильме, но расходятся в трейлерах, и наоборот (второй вариант гораздо хуже для зрителей, естественно).


Блики в стерео


Цветовые расхождения удобно визуализировать и анализировать в двух видах. Во-первых, это так называемая “шахматка”, когда в шахматном порядке идут попеременно фрагменты правого и левого ракурса. В этом случае легко оценить, где разница по цвету наиболее заметна. Для упрощения анализа при этом один из ракурсов приводится к другому по карте диспаритета. При этом надо понимать, что в местах областей открытия, площадь которых обычно довольно мала, у нас возможны несоответствия, но при этом уходит большое количество несоответствий из-за сдвига параллакса, что кардинально облегчает анализ. Второй вариант — это просто анимация двух ракурсов. Вы можете легко сами попробовать переключать ракурсы, например, если откроете файл в Stereoscopic player с показом на 2 монитора и будете менять ракурсы местами, или откроете с помощью AviSynth с интерливом ракурсов, или откроете в Nuke, с переключением источников ноды визуализации, и т.д. Местами ниже мы также будем использовать анимацию, чтобы лучше показать, как это выглядит условно “в реальности”, но в основном все-таки будем оперировать более удобными для анализа “шахматками” с компенсацией диспаритета.

Итак! Для сравнения приведены и анимация, и “шахматка” на одном примере:

Азиатский “The Child’s Eye”, где, похоже, была попытка выровнять цвет, но выравнивалось все по кадру целиком, в итоге разошлись не только все блики, но и, например, рука. В анимации легче понять впечатления, но часто другие искажения, например, геометрические, как разница масштабов и сдвиг в этом примере, мешают адекватно оценить искажения по цвету


И тот же кадр на шахматке, можете сравнить с анимацией, чтобы было понятно, какие фрагменты “шахматки” как выглядят на стерео.

При сравнении становится видно, что, например, расхождение по цвету красной тряпки под рукой на анимации — это оптическая иллюзия, возникающая из-за того, что заметно меняется яркость вокруг. С другой стороны — надо четко отдавать себе отчет, что текстуры, напротив, маскируют разницу по цвету на “шахматке”, что хорошо видно над рукой. Визуально воспринимаемая разница по цвету на “шахматке” — сглаживается, и нужно исходить из того, что если разница хорошо видна на шахматке, она, как правило, будет весьма заметна на стерео. И, конечно, обратите внимание на разную контрастность бликов на стене.

Мы уже привыкли, что если где-то в фильме снимается огонь, то эти сцены с большой вероятностью будут обнаружены метрикой разницы по цвету.


Пример, когда неодинаковое попадание огня в правый и левый ракурсы заметно искажает цвета, значение метрики за 260. Заметим, что в данном случае искажение будет восприниматься относительно естественно. Т.е. количество тех, кто будет испытывать дискомфорт будет невелико


Сильный блик на весь кадра в фильме “Легенда о Геркулесе”, значение метрики за 800. Из-за того, что и так получается длинно мы убрали описание метрики, но смысл ее прост — она тем больше, чем больше разница. Мы приводим кадры с большими выбросами метрики, а при желании ниже вы можете сравнить эти выбросы со средними значениями по фильму, Для большей части блокбастеров среднее значение не превышает 5 единиц(!)


Серьезный блик, значение метрики за 200, в фильме ужасов “The Hole”. Кому интересно понять, откуда берется метрика, ниже будут примеры скомпенсированной межкадровой разницы по цвету. Разнице с ровным серым на этих картинках и пропорционально значение метрики


Жестокий блик из-за бим-сплиттера в фильме “Обитель зла 4: Жизнь после смерти”, для наглядности причин бликов и как это выглядит — показана анимация правого и левого ракурса

Еще раз основное: блики — это нормальная и естественная разница по цвету в правом и левом глазу. Бриллианты ровно потому и ценятся, что дают сильные блики, которые очень красивы. Однако в мире блики вызваны разным отражением, а в стерео при съемках на бим-сплиттер — поляризацией. В итоге они выглядят не так, как мы привыкли, и воспринимаются как крайне странные и неестественные, что вызывает дискомфорт.


Разница по цвету из-за сдвига во времени


Как ни странно, несмотря на то, что наши корабли бороздят просторы вселенной ядра суперкомпьютеров синхронизируются на миллионные доли секунды, стереокамеры при съемке до сих пор расходятся во времени на сотые, а в худшем случае и на десятые доли секунды (по нашим замерам — разница доходит до двух кадров, но чаще всего разница примерно в 0,2 кадра). Подробнее про эту проблему будет отдельный текст, а пока констатируем, что даже при небольшой разнице любое достаточно быстрое изменение цвета в кадре порождает проблемы. А это любые взрывы, выстрелы крупным планом, вспышки при фотосъемке и так далее. При этом сложно себе представить боевик без взрывов и выстрелов.

Посмотрим, к чему это приводит на примерах:


Пример из фильма “Bait” с заметным расхождением по цвету при вспышке (по сюжету — электрика, но реально взрыв пиротехники), значение метрики 287.


Серьезное расхождение на вспышке камеры фотографа в фильме “Dial M for Murder” 1954 года выпуска, значение метрики 422.

Надо сказать, что для того времени фильм сделан очень неплохо, но не очень понятно, из каких соображений при перевыпуске фильма на Blu-ray продюсеры не побеспокоились о том, чтобы прогнать старые фильмы через современные программы.

И для полноты картины — пример с компьютерной графикой:


Фильм “Морские динозавры: Путешествие в доисторический мир” 2010 года, значение метрики невелико, но интересна причина проблемы


Если посмотреть еще и стерео, то становится понятно, что это сдвиг во времени, то есть, похоже, промахнулись на кадр из-за ошибки монтажа. У кого-то дрогнула рука на мышке, а из-за отсутствия инструментального контроля сцена ушла в релиз фильма


Неоднородность искажения цвета в кадре


Когда люди, даже с техническим образованием, впервые узнают о проблеме цветовых искажений стерео, в первую очередь все почему-то думают, что весь кадр изменяется по цвету одинаково. И достаточно найти тот самый замечательный закон, по которому изменяется цвет кадра, как все можно будет легко и идеально поправить. В общем-то из приведенных выше примеров с бликами и сдвигом во времени уже должно быть понятно, что все не так просто и искажение отдельных областей может быть очень сильным и очень заметным (такие примеры еще будут). Тем не менее, специально для таких товарищей приведем несколько примеров разницы по цвету для всего кадра, в которых закон изменения цвета меняется в зависимости от координат точки на кадре. Для того, чтобы лучше был виден характер искажений, приведем визуализацию приведенной по карте диспаритета цветовой разницы кадров.



Пример градиента в цветовом искажении из фильма “Step Up 3D” 2010 года. Хорошо видно, что в верхней части кадра разница идет в сине-зеленом, а в нижней части кадра в сине-красном

Одной из причин подобных искажений является разница светофильтров. Как ни странно, подобрать одинаковые светофильтры для съемки стереокамерами — это отдельная непростая задача. И если сейчас она в общем-то решена производителями, то еще недавно, в 2010-2011 годах пары одинаковых по цвету светофильтров подбирали операторы стереоригов по вечерам перед очередной съемкой.

Характерный пример из европейских “Мушкетеров” 2011 года:



Хорошо заметен градиент разницы по цвету: разница в красном в верхней части кадра и зеленая разница внизу

Интересно, что автор разговаривал с человеком, который правил данную конкретную сцену. При показе презентации этот человек воскликнул:
— О! Я знаю этот шот! Мы правили в нем цвет две недели!
На что автор ответил:
— Хотите я покажу, как мы исправляем его за две минуты?

Там забавно, что наша технология за две минуты позволяла исправить лучше, чем они смогли вручную за две недели. У них была жестокая ситуация, когда европейская студия (товарищ был из Мюнхена) подрядилась на post-production стерео, до этого плотно с ним не работая. Причем на тот момент — начало 2011 года — программы для исправления стерео еще только начали появляться. И, увы, большинство таких программ не могли реально что-то исправить, а были созданы стартапами на волне успеха “Аватара” (когда главное — взять инвесторские миллионы и максимально быстро и громко сказать, что ты можешь все). Большинство создавших эти программы компаний на сегодня уже закрылись. В общем, товарищи намаялись с закатом солнца вручную ручным исправлением проблем съемки. И из нашего диалога стало понятно, каким образом сегодня на пару порядков быстрее, дешевле и качественней (одновременно!) можно исправить проблемы стерео. Автоматизация процесса кардинально меняет ситуацию.

И еще для коллекции зелено-красный пример, в котором на анимации хорошо виден характер искажений:




Впрочем, это были довольно простые примеры, особенно для тех, кто умеет строить аккуратные карты диспаритета и грамотно обрабатывать области открытия-закрытия.

Ниже пойдут плохие новости для тех, кто по приведенным разностям уже почти вывел закон глобального изменения цвета кадров. :)


Разница по цвету из-за освещения сцены


Отдельная проблема — освещение на съемочной площадке. Свет не должен быть поляризован. И если раньше активно использовали экраны и прочее отражение, то сейчас оказывается, что использовать отражение можно, но нужно постоянно думать о том, чтобы оно было направлено только перпендикулярно зеркалу стереорига. Особенно, для крупных планов.


Пример разницы освещения из фильма “Врата в 3D”, значение метрики под 200

Та же проблема становится намного острее, если в кадр попадают сильные источники и в первую очередь солнце.


Подводная съемка в фильме “Цирк дю солей — Путешествие человека”, из-за блика солнца — довольно значительные расхождения по цвету всего кадра

И, наконец, посмотрите на совершено фантастический пример, когда на съемочной площадке при съемке крупного плана на бим-сплиттер не уследили за поляризованным источником света:


Сильный пример из фильма “Step Up 3D”, значение метрики за 750, это сцена крайне дискомфортна для восприятия в стерео потому, что регион с огромной разницей находится там, куда будут смотреть зрители


Другие примеры разницы по цвету


Для полноты картины приведем побольше разных примеров достаточно дискомфортных сцен из фильмов разных лет:


Еще один пример явно дискомфортной сцены из фильма “Dial M for Murder”, значение метрики 465. Судя по всему это либо исходная проблема, которая была при проявке пленки, либо неравномерное выцветание пленки за прошедшие годы. В любом случае, данный пример настолько прост, что даже самые простые алгоритмы глобального выравнивания контраста могли кардинально улучшить данную сцену


Фильм “Дети шпионов 3D: Игра окончена” 2003 года — также жесткая разница по яркости — значение метрики за 600 и также было бы весьма разумно прогнать относительно старый фильм через коррекцию стерео перед выпуском на Blu-ray


Впрочем даже в 2011 году у следующего фильма серии “Spy Kids” было не все в порядке даже с одинаковой яркостью

Пара примеров из фильма “Дельфины и киты 3D: обитатели океана”:



Фильм был выпущен в 2008, когда программ для быстрого автоматического и полуавтоматического выравнивая цветов между ракурсами не было и, судя по всему, авторы выравнивали вручную только самые-самые сцены



Документальный фильм “Призраки бездны: Титаник” 2003 года, на котором Джеймс Камерон тестировал стереосъемку перед “Аватаром”. Судя по всему, не было серьезных попыток выровнять цвет


И опять “Пиранья”, если кто-то внимательно читал прошлую часть. Дискомфортные темные пятна вокруг. Зрителям будет не только страшно, но и больно


“Челюсти 3D” 2011 года, многие сцены весьма дискомфортны, здесь значение метрики под 250


Забавный пример, когда при наложении спецэффекта в одном из ракурсов забыли добавить тень для встраиваемого объекта (видно по полу)


И еще пример проблем с компьютерной графикой, но в этот раз более простительных авторам — фильм 2000 года, но непростительных продюсерам Blu-ray версии

И, для полноты картины, приведем пример отечественного фильма:


Большая разница по цвету в фильме “Сталинград”. Надо сказать, что в целом в техническом плане фильм весьма аккуратен и это единственная сцена с серьезной разницей


Сознательное использование разницы по цвету


Надо сказать, что периодически разницу по цвету сознательно используют для увеличения эффекта погружения:


Пример сознательного использования большой дискомфортной разницы по цвету в фильме “Аватар”. Главный герой приходит в себя после возвращения в свое настоящее тело. Поскольку в остальном фильме сцены с разной яркостью явственно находили и исправляли, то данная сцена однозначно оставлена сознательно, а ее дискомфорт четко выверен

При обсуждении примеров с огромной разницей авторы обычно говорят “It’s artistic choice” (“Это художественный прием”), после чего делается четко выверенная артистическая пауза. Человек ждет, чтобы все осознали — на первый план выходит художник именно так он видит мир. :) Специально для таких профессионалов мы считаем сравнительное распределение сцен по уровню разницы по цвету в фильме. Когда в фильме 3% “красных” сцен с большой разницей по цвету, а 90% “зеленые” — да, это действительно не ошибка (хотя даже в блокбастерах на коротких сценах они бывают), но когда в фильме 15-20% “красных” сцен, и еще 30-40% “оранжевых”… Извините. Человек лукавит. Это однозначное отсутствие полноценной стереокоррекции, как этапа post-production. Не будем называть имена, но с такой реакцией несколько раз приходилось сталкиваться. Соответствующий график будет в следующем разделе.

И еще. Этот момент довольно очевиден, но стоит его напомнить. Усталость от проблем в стерео накапливается. Поэтому если весь фильм был очень аккуратен, и только в паре сцен сознательно оставлены, например, серьезные “естественные” блики — это, в общем-то, не страшно. Скорее всего, подавляющее большинство зрителей воспримет данные сцены нормально. Но, вот, если во всем фильме у нас постоянно в кадре была спонтанная разница по цвету, то сцены с сильной разницей могут порождать значительный моментальный дискомфорт, то есть явиться тем самым спусковым крючком, после которого человека до вечера будет мучить мигрень.


Тенденции улучшения ситуации


И, уже традиционно, приведем тренды по разнице по цвету, измеренные на сотне фильмов:



Что можно отметить:
  • Во-первых, фильмов лучше, чем “Аватар”, среди снятых сейчас становится действительно много. Т.е. в 2014 “Аватар” был бы даже не в “желтой”, а далеко в “красной” зоне — среди худших фильмов по этому параметру. И это при том, что порядка 40% “Аватара” идет Пандора, т.е. компьютерная графика, которая практически идеальна по цветам (!).
  • Во-вторых, даже несмотря на все сложности мы видим последовательное улучшение ситуации.
  • Удивляет разница по цвету в конвертации (и она действительно там бывает). Примеры не приводим, поскольку они обычно весьма незначительны. А так — даже в аккуратнейшем “Титанике” мы нашли 6 сцен с разницей по цвету. Характерно, что почти все они (помнится, 5 из 6) вошли в трейлер, т.е. видимо делались в спешке, с ошибкой, которую потом не поправили.


График с бюджетом еще четче расставляет акценты:



Мы видим, что:
  • “Аватар” действительно является худшим (!) по этому параметру среди всех высокобюджетных фильмов. Т.е. проблему, которую не умели решать в 2009, сегодня умеют решать весьма эффективно.
  • Это также видно по количеству низкобюджетных фильмов, которые обладают качеством весьма сравнимым с лучшими коммерческими. Хотя неаккуратные, естественно, также встречаются.




Если отсортировать все фильмы по аккуратности по цвету, то видно, что “Аватар” по нынешним временам находится близко к середине, а “Титаник” — ожидаемо — один из лучших.

Выше было приведено среднее значение метрики, но всегда интересно посмотреть, что происходит по фильму. На графике ниже — процент сцен с малыми, средними и большими расхождениями:



Чем больше “зеленая зона”, тем лучше фильм по этому параметру. Хорошо видно, что примерно половина фильмов — весьма аккуратны, а примерно треть — достаточно неаккуратны.

Понятно, что большая часть очень аккуратных по цвету фильмов — это конвертация. И для конвертации грешно ошибаться в цвете (хотя на практике это и встречается), но хватает и съемки, в том числе низкобюджетной. Глобально можно выделить три основных стратегии по обработке цвета в стерео:
  • “Давайте все просто аккуратно снимем”. Это может быть низкобюджетный фильм, или даже вполне среднебюджетный с хорошими камерами, но старыми представлениями о том, как снимать стерео. Или со старыми дорогими по себестоимости техпроцессами исправления. На сегодня такой подход даст результат заметно ниже среднего.
  • “Обязательно поправим самые плохие места”. Такой подход сегодня пока еще довольно массовый. Обычно он выбирается исходя из желания сэкономить на использовании дорогого устаревшего подхода к исправлению проблем, а также из-за несовершенства контроля, когда самописные методы на основе грубых карт диспаритета просто не позволяют измерить небольшие искажения по цвету из-за того, что их забивает разница на областях открытия-закрытия.
  • “Исправляем весь фильм”. Этот подход используется либо в блокбастерах, когда бюджет позволяет, либо теми, кто так или иначе смог снизить себестоимость исправления цвета фильма. Как хорошо видно на графике, такие решения появляются и очевидно, что их доля будет расти. На графике с бюджетом — это фильмы в левом верхнем углу.


Примеры исправления разницы по цвету


Уже традиционно рассмотрим исправление описанной проблемы.

Заметим, что обработка делалась по Blu-ray версии фильма, то есть по 8 битам, при том, что авторы работают с 10-12 битными исходниками. При обработке исходников очень часто видны детали, которые пропадают позднее. Хорошим примером такой ситуации могут быть облака на первом примере из “Пиратов” в этом тексте. Эти детали часто дают возможность построить более аккуратную карту диспаритета и т.д. Тем не менее ниже показано, что можно сделать даже в имеющейся ситуации:



Автоматическим алгоритмом исправлены цвета (не полностью, но кардинально), также заодно исправлен поворот ракурса



Автоматически и практически полностью исправлена разная яркость кадров

Заметим, что, как правило, у нас есть выбор, приводить все к правому ракурсу, к левому ракурсу или к среднему варианту (в случае различных компромиссов — это наиболее аккуратный в плане появления новых артефактов вариант). В этих примерах для простоты выбирается как правило левый ракурс.



Исправлены непростые нелинейные цветовые искажения и небольшие геометрические искажения сцены



Весьма сложный для исправления пример — серьезное искажение цветов, сильно отличающиеся по цвету блики, кроме того, похоже, была попытка ручного исправления, которая только усложняет ситуацию. Все исправлено не идеально, но значительно. Также исправлены геометрические искажения.



Относительно сложный пример, поскольку разница по цвету из-за засветки объектива идет по градиенту на большой площади, по которой сложно отрабатывать алгоритма построения карт диспаритета из-за отсутствия текстуры. Также огонь из-за изменения в каждом кадре не дает возможности воспользоваться методами выравнивания карт диспаритета во времени. Кстати именно из-за этого открытый огонь крупным планом часто является проблемным местом в стерео. Тем не менее пример поправлен автоматически и практически идеально.



И, наконец, самый сложный пример. Подводная съемка, сильные пятна, существенная разница по текстурам при большом количестве малых объектов на разной глубине (все это серьезно мешает построению адекватной карты диспаритета). Тем не менее видим очень неплохой результат. Дополнительно исправлены небольшой вертикальный параллакс и разница по масштабу ракурсов

По последнему примеру кто-то может сказать — это были пятна крови на переднем плане, они важны для осознания ужаса ситуации. Отвечаем по пунктам. Во-первых, геометрические искажения стоит все-таки поправить. А, во-вторых, имея исправленный по цвету материал, мы получаем полный контроль над степенью искажений. Например, можно, просто смешивая с разными весами полностью исправленный и исправленный только по геометрии ракурсы, регулировать степень искажения цвета до более приемлемой.

Мы постарались не перегружать данную часть большим количеством технических подробностей, но надеемся, становится понятно, почему не так просто свести ракурсы стереофильмов по цвету.

За кадром осталось еще много забавных примеров. Например, к чему приводят вспышки при съемке на любительские стереокамеры… Как “желтеют” углы ракурсов при нагревании матрицы… Как ошибки со спецэффектами приводят к разнице по цвету буквально на один кадр, что почти не видно, но дискомфортно (этакий 25-й кадр)… Как сложно качественно обработать по цвету области открытия объектов на фоне… Впрочем, и так уже получилось довольно длинно.

Главное, что сегодня уже можно достаточно быстро и относительно дешево исправлять разницу по цвету в ракурсах, а значит, завтра фильмы будут более качественными и можно будет перевыпустить текущие Blu-ray, исправив или кардинально уменьшив в них эти проблемы. А со временем, с увеличением мощности компьютеров и встроенных чипов, а также с появлением более интеллектуальных алгоритмов можно будет исправлять все эти проблемы вообще в реальном времени. Правда, будет это не так скоро, как хотелось бы. Продолжение следует! Stay tuned!

Всем поменьше головной боли вообще и от 3D в частности!

Выводы:
  • Благодаря быстрому развитию алгоритмов обработки стерео, “Аватар”, с 40% сцен с компьютерной графикой, является худшим среди блокбастеров по качеству сведения цветов ракурсов. Причина в том, что там исправления делались вручную и только по наиболее заметным сценам.
  • Современные подходы позволяют практически автоматически обрабатывать все сцены фильма, аккуратно сводя цвета на съемке фактически до уровня конвертации или рендеринга. Однако ручной контроль еще долго будет актуален из-за полупрозрачных объектов и границ объектов.
  • Новые технологии пока используются крайне небольшим процентом студий, однако можно ожидать постепенного распространения лучших практик.


Благодарности


Хотелось бы сердечно поблагодарить:
  • моих коллег Виталия Людовиченко, Вячеслава Нападовского и Александра Бокова, а также других членов видеогруппы, благодаря которым представленные выше алгоритмы были созданы, а результаты показаны,
  • вице-президента по технологиям и Senior Scientist компании RealD Джона Карафина за веру в наши силы и воодушевляющую поддержку,
  • компании Intel, Cisco, Verizon и YUVsoft за серьезную поддержку проекта и то, что им не безразлично качество стереофильмов,
  • Лабораторию Компьютерной Графики ВМК МГУ им М.В.Ломоносова за вычислительные мощности и не только,
  • и, наконец, Виталия Людовиченко, Артема Казакова, Анастасию Анциферову, Алексея Федорова, а особенно Александра Воронова за большое количество дельных замечаний и правок.


Смотрите также:

Комментарии (22)


  1. disinvis
    12.05.2015 08:12
    +8

    После 2-3 части думал, что уже всё сказано, но, с каждой последующей частью, открываются всё новые и новые слои качества стереофильмов!
    При этом статьи не перегружены технической частью, а графики действительно наглядные и понятные, а не просто для красоты сделаны.

    Неожиданно Аватар (лидирующий почти везде по всем параметрам на своё время) сильно проиграл.


  1. 3Dvideo Автор
    12.05.2015 08:26
    +3

    После 2-3 части думал, что уже всё сказано, но, с каждой последующей частью, открываются всё новые и новые слои качества стереофильмов!
    И не говорите ). Мы пытаемся показать, насколько глубока Кроличья нора. Ибо даже часть «профессионалов», фильмы которых вы смотрите в кинотеатрах, этого не знает. Я уж молчу про продюсеров и прочих принимающих решения лиц. Это сказывается на выборе камер для съемочной площадки (ценой подешевле), выборе студий для post-production (например, которая ни разу со стерео не работала) и т.д. В итоге имеем, что имеем. При этом система устроена так, что сети кинотеатров никогда не раскроют информацию о том, скольким людям и на каких фильмах стало плохо. Так что, по-видимому, единственный вариант мотивировать тех же продюсеров — показывать все косяки их результатов.

    При этом статьи не перегружены технической частью, а графики действительно наглядные и понятные, а не просто для красоты сделаны.
    Да, большая часть результатов остается за кадром, равно как большая часть графиков. У нас опубликовано более 2000 страниц отчетов для западных профессионалов. Сюда идут отдельные картинки из них. )

    Неожиданно Аватар (лидирующий почти везде по всем параметрам на своё время) сильно проиграл.
    При этом те же продюсеры говорят, что студий, заявляющих «заплатите нам как Камерон, сделаем вам как в Аватаре» — на данный момент большинство. Очевидно они в принципе не владеют ни ситуацией, ни тенденциями в индустрии и не в теме, как сегодня дешевле и быстрее сделать лучше.


    1. disinvis
      12.05.2015 15:08
      +2

      Да Кэмерон — талант и честный труженик :) И это не исключает его коммерческие успехи. Он старается сделать не то, что можно сделать сейчас, а делает то, что будет стандартом потом. При этом двигает индустрию вперёд. Это моё лично мнение, при этом я ни разу не эксперт в киноиндустрии, но вот такое мнение сложилось по его работам. Тот же Терминатор 2, под который, фактически, делался фотошоп. На Бездне он делал обкатку технологий. Насколько тогда сложно было всё это сделать и, что главное, и сейчас очень многие сцены смотрятся более чем достойно.
      Титаник. Да даже фильм о фильме смотреть одно удовольствие! На макетах не полениться каждую дощечку палубы отдельно прибить. Сделать погружения на Мирах к Титанику.
      Аватар. Ну по материалом видно, что был он, во многом, впереди всех. И деньги тут не причём. Понравилось, что он актёров потащил «на натуру», взяли обычную камеру и заставил актёров прыгать по настоящим камням, отрабатывая роль. А уже потом в костюмах Motion caption и на зелёном/синем фоне тоже самое заставил делать. Из нововведений (насколько я понял) было то, что на мониторе у режиссера были не просто актёры в костюмах, а уже компьютерные герои, с черновой обработкой. Передача огромных потоков информации для обработки в разные студии спецэффектов. Применение стерео-камер и др. оборудования. Отработка постановки «на поток» производства 3д-фильмов.
      Кстати, ещё во время второго Терминатора Кэмерон «баловался» с 3Д для аттракциона. Но там перед экраном и солдаты бегали, и спецэффекты в зале, да и длинна ролика не очень и большая.
      Титаник 3D я ещё не смотрел, но, как понимаю, он надолго стал стандартом конвертированного 3Д.

      О Кэмероне всё :)

      Хотел бы ещё посмотреть информацию по мультфильму «Шевели ластами». Ух как мне после него было нехорошо. Да и жене тоже. Это был единственный 3д-фильм после которого мне было реально нехорошо, да и некоторые сцены доставляли физическую боль. Даже Пиранья 3Д не вызвала почти никакого негатива в плане 3д. А этот ужастик ужасен почти во всём :) Что же там в том мульте такого!?

      У нас опубликовано более 2000 страниц отчетов для западных профессионалов. Сюда идут отдельные картинки из них. )

      Откуда у вас такое образование и/или знания? Вы в России трудитесь? Почему заграничные профи заказывают у вас исследования? Мне, конечно, это очень приятно, читаю каждую часть и офигиваю, что это публикуется на русском языке авторами, а не перевод кого-то там :)


      1. 3Dvideo Автор
        12.05.2015 18:51
        +2

        Да Кэмерон — талант и честный труженик :) И это не исключает его коммерческие успехи. Он старается сделать не то, что можно сделать сейчас, а делает то, что будет стандартом потом. При этом двигает индустрию вперёд.
        Да, это довольно сложно — делать новые вещи в консервативных областях (а кино — достаточно консервативно и инертно) и при этом зарабатывать. У него получается. Он один из очень немногих продюсеров и режиссеров, кто очень хорошо разбирается в технических моментах. На таком уровне понимание — это редкость.

        Титаник 3D я ещё не смотрел, но, как понимаю, он надолго стал стандартом конвертированного 3Д.
        По поводу надолго — посмотрим. Я в этом не уверен, но сделан фильм очень хорошо. К сожалению измерить качество конвертации сложно. Об этом будет отдельная статья ).

        Откуда у вас такое образование и/или знания? Вы в России трудитесь? Почему заграничные профи заказывают у вас исследования?
        Долгие, но очень интересные годы работы в этой области ))). Да, в России. Потому, что обгоняем тех, кто делает на западе. ) Не во всем и вообще это очень непросто, но… )))

        Мне, конечно, это очень приятно, читаю каждую часть и офигиваю, что это публикуется на русском языке авторами, а не перевод кого-то там :)

        Да, это забавно, но на английском аналогов пока нет. Впрочем переведем, это в планах есть. ) Тут просто еще сложилась забавная ситуация, что если на английском в приличном месте публиковаться, все картинкидолжны быть некопирайтные. А в нашем случае это непросто. ) Будем выкручиваться.


    1. disinvis
      12.05.2015 15:45

      «заплатите нам как Камерон, сделаем вам как в Аватаре»

      Скажу так, он потратил эти деньги на то, чтобы последующие снимали с тем же качеством за меньшие деньги. Дорожка из технологий проторена, направление определено.


      1. 3Dvideo Автор
        12.05.2015 18:54

        Я бы сказал ситуация еще лучше — не просто технологии — появились программные продукты нового уровня для стерео и это кардинально упрощает работу. Другое дело что ими надо владеть. Для кого-то и это проблема. )


  1. egigd
    12.05.2015 22:55

    А почему используют наклонные плоские зеркала вместо светоделительного куба? За одно решилась бы проблема дрожания от взрывов.


    1. 3Dvideo Автор
      12.05.2015 23:06

      Скажу честно — не знаю. Моделей бим-сплиттеров разных — море, а чтобы кто-то сколь-нибудь массово использовал светоделительный куб — не слышал. Надо думать у него есть серьезные недостатки, компенсирующие отсутствия колебаний зеркала. Скорее всего — внутренние отражения, блики и т.п.


      1. egigd
        12.05.2015 23:09

        Я сказал про колебания «за одно». Главный же плюс — нечувствительность к поляризации.


        1. 3Dvideo Автор
          12.05.2015 23:16

          Ничего не могу сказать… Если сделают и проблему решат — вздохну с облегчением, нам же править меньше. )


      1. egigd
        12.05.2015 23:14

        Кстати, ещё металлическое полупрозрачное зеркало с просветляющим покрытием стеклянной подложки будет нечувствительным к поляризации. Правда там будут потери света, но не такие уж и большие, не больше трети стопа.


        1. 3Dvideo Автор
          12.05.2015 23:23
          +2

          Мы имеем дело уже с тем, что они наснимали. В худшем случае с тем, что неудачно пытались поправить ) (это отдельная печальная история, выходящая за рамки ;). То, что лично своими глазами видел на выставках (в первую очередь — NAB и IBC) — так это резкий всплеск компаний (в том числе малых), выкативших стереокамеры в 2010-2011 годах. В том числе там было много разного рода «самоделкиных», предлагавших интересные технические решения. Сейчас большинство этих компаний либо закрылось, либо свои камеры больше не предлагает. Т.е. что довольно много разных решений попробовали — это точно, почему что-то выбрали, а что-то нет — вопрос. Знаю случаи, когда приходилось массово выбирать неоптимальные решения из-за того, что хорошее решение было запатентовано, а держатель патента вел себя неразумно.


  1. amarao
    12.05.2015 23:03

    На фотографии с рукой совершенно не исправили разницу по тону и контрастности.


    1. 3Dvideo Автор
      12.05.2015 23:09

      Это фильм ужасов. У них многое ужасно. :))) Кто мы такие, чтобы поправлять руку мастера, так видящего мир ;). Максимум на что мы претендуем — исправить невозможную (или редко встречающуюся в жизни) разницу между ракурсами.


      1. amarao
        13.05.2015 00:05

        Это не разница между ракурсами, это разница в тональности. Если вы можете исправить цветность, то почему нельзя исправить таким же методом тональность?


        1. 3Dvideo Автор
          13.05.2015 00:20

          Давайте предметно.
          Вот было:
          image
          Стало:
          image
          Где совершенно не исправлена разница по тону и контрасту?


          1. amarao
            13.05.2015 01:47

            Рука. Я говорю не про «цвет пиксела», а про то, что на одном кадре тональные переходы резко выраженные, а на втором — слабые, без фактуры. Сравните яркость пальцев и основной руки — контрастность очень различается. Это меняет воспринимаемую тональную перспективу.

            Я сейчас присмотрелся…
            … И вы будете смеяться, но на оригинальном кадре контрастность и тон не сбиты (сбита яркость), то есть искажения привнесены во время устранения.


            1. 3Dvideo Автор
              13.05.2015 09:02

              А! Так бы и сказали, что о фрагментах. Если посмотрите внимательно — то видно, что то, что девушка пишет — тоже не исправлено. И цифры под рукой девушки исправлены, но лишь частично. Он обречен иногда вносить артефакты, т.е. абсолютно для любого подобного алгоритма можно подобрать контрпример, который он испортит. В реальной работе на студиях проблема решается с вмешательством человека — делаются маски и по ним автомат отрабатывать уже корректно. Соответственно в исходном видео дискомфортны и лицо девушки (из-за стробления по цвету текстуры перед лицом) и рука, на автоматически исправленном — только рука (точнее справа кадр становится хорош, а слева еще есть над чем работать), а когда поработает человек — весь кадр становится хорош. Именно из-за этого даже с очень хорошими инструментами правка финального стереофильма это минимум 2 недели работы одного специалиста. При этом дискомфорт многих сцен будем как минимум существенно снижен. Другое дело, что для многих фильмов даже такие «затраты» не оплачиваются.


  1. SPoli
    17.05.2015 16:46

    В статье пишется, что приведённые примеры исправляются соответствующим программным обеспечением почти автоматически. Так вот вопрос состоит в том — это какое-то очень узкспециализированное ПО, которое простым смертным не доступно в принципе, или у него есть вполне открытое коммерческое название, которое хотя бы в демо-версии можно покрутить у себя на компьютере?
    Если второе — по возможности приведите, пожалуйста, названия этих программных продуктов.
    Благодарю за ответ.


    1. 3Dvideo Автор
      17.05.2015 17:54

      Да, это в основном специализированный софт. По ряду причин мы во всем цикле стараемся писать максимально корректно и без рекламы конкретных программ.

      В принципе была мысль — провести сравнение. Причем, поскольку софт так просто не поставишь, опять же в приличных местах софт оброс нетривиальными техпроцессами, которые так просто не воспроизведешь, опять же квалификация людей важна — была мысль устроить соревнование студий. Выдавать несколько фрагментов на правку на время, и дальше чтобы несколько независимых стереограферов их вслепую оценивали. А дальше открыть результат — кто был кем. ) Думаю, что для большинства студий будет сюрпризом, как быстро и качественно можно поправить. Причем пиар отдельных студий сильно не совпадет с результатом (одна из причин, почему собрать такое сложно). Но пока это осталось на уровне идеи. Если такое проведем, то конечно все результаты откроем.


  1. ssneg
    20.05.2015 23:58

    Спасибо за титанический труд. Прочел шесть частей на одном дыхании.