S3D: No pain IS gain
Когда-то давно в далекой галактике Geektimes был опубликован цикл статей о том, почему 3D-фильмы так сложно снимать без головной боли у зрителей. Как это часто бывает, цикл безвременно оборвался из-за недостатка времени у автора. При том, что тонны материалов остались лежать (иногда даже аккуратно подобранные).
В декабре этого года исполнится 10 лет волне съемок 3D-фильмов, поднятой триумфальным успехом фильма «Аватар»?, впервые в истории собравшего более $2 миллиардов в прокате. С тех пор, по мнению журналистов, «3D умер»?. По факту это, конечно, не так. По сравнению с ситуацией 13-летней давности количество фильмов, выпускаемых в 3D, выросло на порядок, а количество залов, где можно показывать 3D, выросло в 400 раз (!) и продолжает быстро расти с CAGR порядка 12–14%. Всем бы технологиям такую «смерть»?. Тем не менее проблемы у 3D-фильмов, очевидно, есть. И мы уже много лет занимаемся их анализом и исправлением.
Хотелось бы понять, что с этими фильмами происходит. Почему «3D мертв»?, а кинотеатры с 3D активно строят?
Один уважаемый российский стереограф неоднократно публично называл нас патологоанатомами за то, как мы детально разбирали проблемы фильмов. Звучит обидно, особенно учитывая, что у нас активно разрабатываются и средства «реанимации»?. С другой стороны еще Авиценна, помнится, говаривал пациентам: «Существуют я, ты и болезнь. Чью сторону ты примешь, тот и победит»?. Поэтому не будем идти против мудрости веков. Если пациент сказал в морг, значит в морг! Медицина тут бессильна.
А для тех, кто хочет жить, и строятся все эти новые 3D кинозалы. Поскольку область растет и будет расти еще сильнее. Вопреки прогнозам сначала раздувающих, а потом бичующих хайп журналистов.
Предельно краткое содержание предыдущих серий
Как уже понял из названия проницательный читатель, это 8-я часть цикла. Ранее речь шла:
- Часть 1: Про недостатки оборудования, или в какой зал пойти. Если кратко — имейте ввиду, что владельцы залов ставят дешевое оборудование, поскольку пипл не различает залы и не готов платить больше за хорошее оборудование. TL;DR: ходить на 3D лучше всего в лазерный IMAX 3D, пусть в 2–3 раза реже. И эффект лучше, и здоровее будете, и залов качественных будет появляться больше.
- Часть 2: Дискомфорт из-за качества видео, или какие есть проблемы с контентом, и почему даже в лучшем зале не все и не всем хорошо.
- Часть 3: Перепутанные ракурсы, или про самую простую в исправлении, но очень сложную с точки зрения алгоритмов компьютерного зрения проблему стерео (как программисты программистам), ибо даже в «Аватаре»? одна такая сцена есть…
- Часть 4: Параллакс, или откуда вообще берется стереоэффект, и почему не безразлично, какого размера экран, на каких рядах лучше сидеть, что такое depth continuity и т.д.
- Часть 5: Геометрические искажения в стерео, или почему так сложно просто поставить рядом две камеры и хорошо снять (щас!))).
- Часть 6: Искажения цвета, или что получается, когда мы думали, что успешно решили проблему параллакса, а получили целый букет новых проблем.
- Часть 7: Сдвиг во времени между ракурсами, или о проблеме, о которой совсем не упоминают журналисты (и даже специалисты), а она есть, распространена и весьма болезненна.
- Про VR180 от Google — бонусная часть, из которой ясно, что от стерео в VR голова тоже будет болеть, и работа над ошибками пока не удалась…
Материала лежит еще примерно на 7 частей, но времени в сутках мало, поэтому сколько получится.
А сегодня про резкость!
В идеальном мире резкость объектов на правом и левом ракурсах стерео совпадает, но в реальности…
Причины появления разницы по резкости
В пятой части этого цикла было рассказано про геометрические искажения, и в том числе про разницу по масштабу, которая возникает из-за люфта объектива. Часто при наведении на резкость объектива с трасфокатором «уходит»? не только «зум»?, но и резкость. Причем, если разница по масштабу исправляется относительно легко, то разница по резкости исправляется уже нетривиально.
Ситуация усугубляется тем, что в кинематографе небольшая глубина резкости — очень часто используемый прием:
Пример, когда цветы сняты с разной глубиной резкости. Очевидно, что во втором случае внимание к цветкам привлекается намного сильнее
Источник
Размытый фон — это и привлечение внимания к «висящему на стене ружью»? (что важно для динамики фильма), и чисто художественный прием, который может кардинально улучшить эстетику сцены. Желающие глубже погрузиться в предмет могут посмотреть ГРИП (Глубина Резко Изображаемого Пространства) или Боке.
Пример, когда с использованием глубины резкости мы выделили конкретного человека. Глаз на нем останавливается автоматически. При этом если бы весь кадр был резким, то мы, скорее всего, сначала посмотрели бы на ближайшего к нам спортсмена
Источник
Когда мы смотрим обычное старое доброе
Именно поэтому 3D обычно снимают с бОльшей глубиной резкости и меньшим размытием фона в целом. То же самое привлечение внимания к определенному предмету в сцене в 3D достигается не за счет разницы в резкости, а за счет того, что сцена «правильно»? построена в трехмерном пространстве, то есть тот же самый эффект привлечения внимания достигается другим способом. Правда, это требует хорошего и все еще редкого понимания трехмерной компоновки сцены еще на этапе сценария и раскадровок.
Но это полбеды. Серьезная проблема заключается в том, что прокат в 2D пока доминирует, а снимать две версии картины — с привлечением внимания при помощи резкости и с привлечением внимания при помощи глубины — слишком дорого и сложно. Пленоптические камеры, которые могли бы позволить это сделать «за один дубль»?, пока слишком громоздки. В результате сегодня в хороших фильмах используются одновременно оба приема, то есть при съемке используются и размытие сцены по резкости (но меньше, чем в «обычном»? 2D), и привлечение внимания по глубине. Это, безусловно, усложняет производство, начиная с подготовки раскадровок (в которых теперь нужно думать «трехмерно»?) и заканчивая непосредственно съемками. Кстати, именно по этой причине очень часто неудачны в плане комфортного восприятия стерео первые фильмы, снятые операторами в 3D (их было много в 2010–2013). Только получив отзывы и опыт, люди начинают учиться адекватно работать с объемом. Причем учатся с разной эффективностью, к сожалению.
Перейдем к конкретным примерам и начнем с далекого 1954 года, когда эта проблема была запредельно частой, а исправить ситуацию на цифровом постпродакшн возможности не было. Чтобы было хорошо видно разницу по резкости, приведены фрагменты правого и левого ракурса в тех местах, где разница наиболее заметна:
Традиционно в углу слева — название фильма, timestamp и значение метрики; в углу справа показано, из какой части кадра вырезан данный фрагмент
Источник: примеры из фильмов и примеры обработки здесь и далее — материалы автора
Разницу по резкости можно легко получить и на современных камерах просто из-за люфта объектива при наведении на резкость. Если учесть, что при съемке регулярно приходится наводить камеру на резкость, понятно, откуда появляются такие кадры. Причем в худшем случае картина будет такой:
На левом ракурсе резким является объект позади, а на правом ракурсе — объект на переднем плане
Источник: рисованные примеры здесь и далее — материалы автора
Как это выглядит на реальных примерах, можно понять по этому кадру:
У вас должна быть включена анимация в браузере, чтобы увидеть этот пример
Присмотритесь внимательно к волосам девушки и к пиджаку ближайшего к нам актера: хорошо видно, что их резкость меняется в противофазе с главным героем в этой сцене, т.е. на правом ракурсе сильнее размыт пожилой господин и фон, а на левом — актеры, стоящие ближе к нам. Беда-беда.
Подготовленный читатель может вежливо заметить, что подобная ситуация — это довольно часто встречающееся отклонение в зрении, например, когда один глаз уходит, условно, в близорукость, а другой нет (а то и в дальнозоркость). И данная проблема, действительно, довольно хорошо компенсируется, в результате чего для находящихся далеко объектов детали, условно, берутся с одного глаза, а для близких — с другого, и мы успешно видим резкую картинку. Это безусловно так. Достаточно несколько часов не вставая просидеть перед компьютером
Причем здесь встречается интересный эффект. С возрастом, бинокулярная зрительная система человека «привыкает»? корректировать разницу по резкости в какую-то одну сторону. И, когда резкость начинает изменяться в разные стороны — система начинает «бунтовать»?. В итоге, когда бабушка идет с внуками на 3D-фильм, внуки в восторге, а бабушка, поджав губы, молчит и дает себе зарок больше на такое не ходить. И так происходит довольно регулярно.
Выводы:
- До тех пор, пока фильмы будут выходить в одной версии для 2D и 3D (а это еще довольно долго будет так), в них будет использоваться небольшая глубина резкости. А это значит, что периодически будет встречаться проблема, когда камеры разошлись по резкости. По крайней мере, если фильм в стерео снимали, а не конвертировали.
- Забегая вперед, заметим, что проблему разницы по резкости можно исправить, но исправить хорошо — не так просто, как кажется.
Примеры кадров с большой разницей
Примеры ниже были отобраны автоматически из 105 фильмов при помощи VQMT3D — инструмента для анализа стереовидео.
Фильм ужасов «Пираньи 3D»?, различается резкость объектов как переднего плана, так и фона; характерно, что проблема прямо по центру кадра в зоне высокого внимания
Серьезная разница по резкости по всему кадру во втором фильме серии «Пираньи 3DD»?
Вообще, для фильмов ужасов характерно большее количество неаккуратных сцен, которые будут вызывать головную боль. Как говорится, будет не только страшно, но и больно. Очередной фильм ужасов:
Заметная разница по резкости у актера на переднем плане в фильме ужасов «Челюсти 3D»?
Катастрофическая разница по резкости объекта переднего плана в фильме «Тварь из Чёрной Лагуны»? (и опять фильм ужасов)
Интересно, что подобные примеры встречаются и в фильмах, которые не снимались, а конвертировались в 3D. Т.е. разница по резкости возникает из-за ошибки монтажа. В частности, ниже motion blur наложен на один ракурс и не наложен на второй. Фильм «Щелкунчик»? не является фильмом ужасов, но… в плане технического качества стерео он, к сожалению, ужасен.
Большая разница по резкости в отечественном «Щелкунчике»?. Интересно, что это конвертация...
Испортить можно даже павильонную съемку, ниже пример из 3D-мультфильма «Коралина в Стране Кошмаров» (не то, чтобы мультик был кошмарным, но в отдельных местах…):
Хорошо видно, что создатели промахнулись выставляя параметры камеры в кукольном мультфильме (ГРИП правого и левого ракурса не совпадают)
Интересно, что даже в высокобюджетных фильмах бывают проблемные сцены. К счастью — довольно редко. Ниже — пример из Хоббита:
Ощутимая разница по резкости в центре кадра на объекте, на который точно будут смотреть зрители
Ну и скорее в качестве анонса. У конвертации 2D в 3D в 99% случаев резкость объектов совпадает, однако на границах объектов она может заметно отличаться. Называется этот эффект — стробящие границы, они весьма дискомфортны и научить непрофессионала «видеть» их можно легко (т.е. вы будете понимать, почему у вас возникает дискомфорт, когда вы смотрите на отдельные объекты в стерео). Ниже пара примеров из весьма качественного отконвертированного фильма «Титаник»:
Проблема на границе близко к центру кадра, будет легкий дискомфорт
А здесь не просто по центру кадра, но близко к области внимания (лицу главной героини, см. полный кадр в углу), причем не только отличается резкость, но и видны следы маски и неаккуратно восстановлен фон, т.е. стробление границы будет сильным
Впрочем, подробнее про проблемы конвертации будет в отдельной части.
Выводы:
- Уже не в первый раз в рейтинге худших кадров и худших фильмов явно заметное место занимают ужастики. Связано это с тем, что они зачастую снимаются с весьма ограниченными бюджетами. Эту тенденцию стоит иметь в виду при планировании посещения кинотеатров.
- При желании можно накосячить даже в рендеринге 3D мультфильмов и высокобюджетной конвертации.
- Даже высокобюджетные фильмы не застрахованы от проблем.
Тенденции в разнице по резкости
Как обычно, посмотрим, что творится в фильмах по годам. Ниже на графике проанализированы снятые фильмы с 1954 года. Красный цвет означает худшие 30% фильмов на этот момент времени, зеленый — 30% лучших фильмов.
Зависимость разницы по резкости от года съемки (чем выше, тем лучше)
Источник: графики измерений здесь и далее — материалы автора
Хорошо видно: до «Аватара»? (выделен пунктиром) большинство фильмов было хуже него по этому параметру, однако позднее качество подавляющего большинства фильмов стало заметно лучше. Что радует. Рассмотрим зависимость разницы от бюджета:
Зависимость разницы по резкости от бюджета (чем выше, тем лучше)
Видно, что «Аватар»? является худшим высокобюджетным фильмом, т.е. остальные высокобюджетные фильмы (выпущенные после) были лучше по качеству. Другая хорошая новость — что появились весьма низкобюджетные фильмы, у которых минимальная разница по резкости на уровне лучших дорогих фильмов. Это стало возможно благодаря совершенствованию камер и упрощению анализа этой проблемы как во время съемок, так и на этапе пост-обработки.
Если посмотреть, что творится в целом по фильмам, то видно, что примерно половина фильмов хуже «Аватара»?. В некоторых случаях — значительно хуже…
Выводы:
- Главная хорошая новость заключается в том, что постепенно совершенствуются камеры, совершенствуются программы постпродакшн и, как следствие — появляется возможность даже с низким бюджетом снять качественное кино.
- Конвертация выше не приведена, поскольку ситуация в ней (как и в 3D мультипликации), как правило, идеальна.
Исправление
Часто в сцене с большим диапазоном глубин у нас отдельные объекты на левом ракурсе резкие, на правом — нерезкие, и наоборот:
При исправлении у нас появляется несколько вариантов, например, приведение одного ракурса по резкости ко второму:
Причем на практике приводить объекты по резкости к правому ракурсу или к левому — не все равно. Если «восстановление»? размытия обычно проходит гладко, то восстановление резкости может породить артефакты (в первую очередь потому, что, когда один из объектов размыт, сложность точного сопоставления объектов возрастает).
Кроме того, мы можем, например, приводить оба ракурса к резкому или, наоборот, — к размытому, итого получается 4 стратегии исправления. Причем возможны также произвольные комбинации этих стратегий.
Интересно, что с технической точки зрения алгоритму (и применяющему его человеку) «выгодно»? привести оба ракурса к размытому. Это и проще (часто «в один клик»?), и с минимальной вероятностью порождает артефакты. А с точки зрения увеличения визуального комфорта стерео — «?выгоднее»? оба ракурса сделать более резкими (что, как правило, дороже по количеству дополнительной работы, поскольку в один клик обычно уже не делается). А у оператора может быть желание выбрать приведение к правому или левому ракурсу. В общем — выбор богат, и, чем больше у студии бюджет/квалификация, тем более качественный для зрителя результат мы получаем.
Рассмотрим, как это выглядит, на примере одного из фильмов Международного московского стерео-кинофестиваля (который в 2019 году пройдет уже в 10-й раз):
Хорошо видно, что из-за ошибки при съемке (от которой никто не застрахован) глубина резко изображаемого пространства на правом ракурсе получилась больше, чем на левом
Видно, что нос человека имеет одинаковую резкость между ракурсами, а вот виски, уши, рубашка, пиджак — уже заметно расходятся по резкости (также ракурсы расходятся по цвету). Соответственно, мы можем исправить все в сложную сторону увеличения резкости, а можем одинаково размыть (все примеры восстановления ниже наши):
Пример исправления разницы по цвету, резкости и геометрии брутальной щетины Николаса Кейджа в «Drive Angry»:
Исправление резкости:
Слева ракурс повышен по резкости до правого, а справа исправлены цвета и небольшой вертикальный сдвиг под левый ракурс
Хорошо видно, что после исправления резкости, цвета и вертикального сдвига ракурсы стали намного более похожи и дискомфорт этой сцены будет ощутимо ниже.
Еще один пример исправления в резкую сторону из «Drive Angry»:
На этом примере даже без сильного приближения хорошо видна серьезная разница по резкости, исправленная в сторону увеличения резкости
И последний пример из «Resident Evil», в котором также исправлена разница по резкости и цвету:
Смотреть на плечо и лицо девушки и на гравий справа от колена, обратите внимание, что блик на волосах не тронут (и это правильно, хотя и нетривиально)
Выводы:
- Возможны 4 стратегии исправления:
- приведение к правому,
- приведение к левому,
- приведение всех объектов к резкому,
- приведение всех объектов к размытому
и произвольные комбинации всех приведенных стратегий. В конкретных сценах сложность исправления разных стратегий по времени и стоимости может отличаться на два порядка, от вариантов «в один клик»?, до нескольких дней работы профессионала.
- приведение к правому,
- При исправлении съемки, к сожалению или к счастью, нужно править сразу несколько проблем, чтобы результат воспринимался хорошо.
Перспективы 3D-кино
А теперь отвлечемся от резкости и, как было обещано в самом начале, расскажем самое интересное — про перспективы 3D-кино. Что, собственно, изменилось за годы, прошедшие с момента многократно описанной даже самыми ленивыми журналистами «смерти 3D»?.
Кардинальное увеличение числа залов
Как уже было указано выше, число кинозалов, где можно посмотреть 3D, с 2006 по 2018 выросло в 400 раз (кстати, про CAGR в начале была шутка для понимающих, процесс, конечно, линейный):
Источник: Number of 3D cinema screens worldwide from 2006 to 2018
И если в 2006 году на практике фильм можно было посмотреть только в крупных городах Европы и США, где располагалась львиная доля жалких 258 3D-кинозалов, то сегодня, в 2019, доступность залов выросла на два порядка. Кроме того, если в Китае, например, 3D-залов фактически не было, то сегодня это один из мировых лидеров, т.е. 3D-фильмы как индустрия появились в Азии.
Выводы:
- Такой рост числа залов и расширение географии — это очень существенно, поскольку по факту решение делать или не делать фильм в 3D зависит от сборов. Возможность их увеличить на 2 порядка — это ОЧЕНЬ существенно.
- Важно, что количество 3D-залов продолжает устойчиво расти примерно пропорционально выпуску новых лазерных проекторов, сразу работающих в 2D и в 3D.
Появление лазерной проекции
Так сложилось, что мы какое-то время назад «поработали киномеханиками»?, обслуживая профессиональные ламповые проекторы Digital Projection, установленные в МГУ. И пришлось плотно столкнуться с рынком ламп, когда производители проекторов зарабатывают на лампах, примерно как производители принтеров на картриджах. Лампы положено менять часто, и оригинальные лампы стоят ОЧЕНЬ дорого (как вам лампа за полмиллиона рублей?). Эта ситуация породила выпуск китайцами неоригинальных ламп по цене в 6–10 раз ниже, но с более низкими и менее стабильными от партии к партии характеристиками. Описание приключений с ними достойно отдельной саги, пришлось познакомиться с профессиональными форумами и т.п. Угадайте, какие лампы стоят с огромной вероятностью в кинотеатре рядом с вашим домом? Конечно,
Для зрителя это означает существенно более темный экран, что на восприятии 3D сказывается крайне печально. Помнится, авторы «Сталинграда»? (если не ошибаюсь, единственного IMAX 3D-фильма, произведенного в России) жаловались, что в поисках зала для премьерного показа обошли множество лучших кинотеатров, и везде (везде!) изображение было темным.
Ситуация резко поменялась в лучшую сторону с появлением лазерных проекторов, изображение которых намного ярче, и (что важно!) деградация яркости происходит намного медленнее. Более того, один из лидеров рынка кинопроекторов Christie Digital Systems констатирует, что прямо сейчас выходит уже второе поколение лазерных проекторов (заметим, что их 10–18 тысяч в год вполне соответствуют приросту 3D кинозалов в мире с учетом обновления устаревшего оборудования у части 3D-кинозалов):
Источник: Christie Taking RGB Laser Projection to Mainstream Cinemas
Соответственно, текущие Laser Phosphor проекторы (LP или LaPh) будут очень скоро заменены на RGB Laser проекторы, которые по ряду показателей, в том числе по яркости, значительно лучше. Чтобы никого не обижать, сошлемся на FAQ конкурентов Christie — Barco — по сравнению этих двух лазерных технологий. Заметим, что только в Китае появилось уже более десятка производителей лазерных кинопроекторов и конкуренция на этом рынке, с точки зрения потребителя, вырисовывается очень интересная. Впрочем, это отдельная большая многообещающая история.
Выводы:
- Производители проекторов для кинотеатров дружно снижают производство ламповых моделей и переходят на лазерные проекторы (уже второго поколения).
- При этом у нас, на родине слонов, люди не готовы платить больше за качество. В итоге, в Москве (в отличие от Пекина) почти нет лазерных залов. Был бы рад ошибиться, но что-то типа 4 зала всего… К счастью, совокупная стоимость владения лазерных проекторов быстро падает. Она уже давно ниже «оригинальной лампы»? и такими темпами скоро станет ниже «китайской лампы»?. Поэтому новые залы начнут ставить-таки с лазерными проекторами.
- А чтобы ставили не с самыми дешевыми, нужно разбираться, рассказывать людям разницу и голосовать рублем. Люди! Вы достойны лучшего качества. Не ходите в ужасные залы с вырвиглазным оборудованием, выбирайте только лучшие залы, пусть реже! Пусть появится стимул заменить ужасное оборудование хотя бы на свежее китайское!
IMAX, который всегда с собой
Но и это еще не все хорошие новости. Недавно появились совершенно новые устройства, принципиально меняющие расклад. Это шлемы, предназначенные специально для просмотра кино, в том числе 3D-кино. Возможны они стали благодаря появлению новых микро-экранов (производства, в частности, Sony) с фантастическими характеристиками. По количеству точек на дюйм экрана для широкой публики лидерами являются гуру маркетинга — Apple с iPhone X. Однако у этих устройств плотность пикселей в 7 раз выше чем у iPhone X!
Источник: материалы по шлемам Goovis
Основная разница — оптическая система сконструирована не как в VR шлемах, где важен большой угол обзора, а как будто экран висит перед вами (угол обзора меньше). Причем люди не понимают, что тут такого. А происходит невероятная вещь. Благодаря этому в прямом смысле слова маленькому чуду появилась возможность впервые массово смотреть дома 3D-кино с параллаксом большого экрана! Приведем нашу старую картинку:
Источник: этот рисунок и следующий график — материалы автора
Суть простая — параллакс 1% при ширине экрана 6,5 метров — это сдвиг объектов на 6,5 сантиметров (расстояние между глазами) и вуаля — луна висит для нас в бесконечности и 3D-сцена завораживает глубиной. А если у нас 3D-телевизор с шириной экрана 60 см, 1% того же контента — это 6 мм. Рисуем пропорцию. Грустим. Ибо луна висит максимум в десятке сантиметров за экраном (и то, если расположиться от экрана подальше, подробно вопрос был разобран в разделе про параллакс). Ни о какой «бесконечности»? речи быть не может, ибо 6 мм в 6 см не превратить, визуально воспринимаемая глубина мала и 3D кино выглядит «плоским» (ибо с вылетами из экрана на зрителя — та же беда, они уменьшаются пусть не в бесконечное количество раз, но в разы)?. Все плоско и уныло!
Можно ли сделать параллакс и видимую глубину фильма больше?
Ответ — да, можно, но делать это никто не будет. По нашим измерениям (см. график выше), видимая глубина, скорее, падает, и в среднем она заметно меньше, даже чем у «Аватара»?. Вам не расскажут про это в интервью, но киноиндустрия живет в первую очередь на сборы кинотеатров, и своими руками пилить сук, на котором сидят (ибо торренты работают как часы), выпуская версии под просмотр с экрана телевизора, они не будут. Так что, если хотите 3D-эффект, чтобы прям «Вау!»? — добро пожаловать в лазерный IMAX (это, к сожалению, не реклама, это минимальное требование). Поднимать параллакс алгоритмически тоже можно. Но это тема отдельной
Впрочем, долой грусть и печаль, так было вчера! А сегодня появились шлемы, которые позволяют смотреть дома «как в кино»?, в том числе по 3D-эффекту и в FullHD. Благодаря замечательному энтузиасту Владимиру (@ED-209) у нас с коллегами была возможность две модели таких шлемов протестировать. Очень надеюсь, что мы напишем про эти устройства большую статью, ибо они того достойны. Особенно они должны понравиться тем, кто «ненавидит 3D-очки»?:
Источник: GOOVIS Pro Mobile 3D Cinema; видно, что экраны настроены несимметрично по расстоянию от переносицы и выставлены разные диоптрии
У девайсов есть редкая (для VR шлемов) возможность настраивать диоптрии под каждый глаз. Как следствие, про «наши 3D-очки можно комфортно надевать поверх ваших очков»? можно забыть как про страшный сон. А еще можно гибко настраивать расстояние между переносицей и каждым (!) глазом, т.е. даже редким обладателям сломанных носов и несимметричной переносицы (на удобстве которых в VR шлемах обычно экономят) можно настроить под себя. Более того, знакомый человек с несильным косоглазием, смог впервые в жизни увидеть объемное стерео-кино благодаря этому шлему и его гибким настройками (в 3D-кинотеатре он объем не видит). В итоге, смотреть будет удобно всем, они даже тихий кулер предусмотрели, чтобы экраны не запотевали за 2 часа фильма. Прямо праздник какой-то, хочется команде разработчиков руку пожать каждому. Заслужили.
Ну и огромный (огромнейший!) плюс — 2 независимых экрана, т.е. не нужно применять специальные технологии (портящие жизнь и 3D-кинотеатрам, и 3D-телевизорам), чтобы сначала показывать на экране 2 ракурса одновременно, а потом мучительно и с артефактами их обратно разделять между глазами.
В итоге получаем:
- Отсутствует проблема кросстолка как класс… Ибо даже в IMAX белые космонавты на фоне черного неба в «Гравитации» были ужасны! Особенно, если сидеть не по центру зала (это важная проблема, во многом определяющая большую цену на билеты в центре зала). Тут ее нет!
- Нет вертикального параллакса при наклоне головы. Неграмотные зрительницы любят наклонить голову в очках на плечо (молодого человека), а потом жаловаться на головную боль! Тут можно смотреть, хоть лежа на диване.
- Нет мерцания. Совсем! Как в лучших залах IMAX. Для проверки — когда придете в кинозал в следующий раз — обернитесь. Если вы видите 2 луча проекторов над головой — у вас не будет мерцания. Залов без мерцания меньше 1% от всех 3D-залов в России. И за уменьшение головной боли при этом стоит платить.
- Нет бликов. Помню, в одном IMAX зале в Москве мучился, поскольку над экраном
очень грамотнорасположили покрытые лаком панели на потолке и они жутко стробили в глазах. Отраженный свет поляризован (привет физике), а разделяется по ракурсам в IMAX изображение благодаря поляризации. В итоге мерцание потолка становится дискомфортным. Тут этого опять нет!
Естественно, проблемы у устройств тоже есть. Основная — пиксели этого чуда очень малы и им не хватает глубины цвета. Было даже подозрение, что там 7 бит, но вскрытие (включавшее нетривиальное получение закрытой технической документации от производителя) показало, что честные 8 бит есть, но экран так контрастен, что их временами заметно не хватает. Надеюсь, удастся про эти приключения и тесты, а также предтечи этих шлемов от Sony подробно рассказать.
Выводы:
- Благодаря появлению сверхмалых FullHD экранов, впервые в истории появилась техническая возможность дома (в поезде, в самолете...) смотреть 3D-фильмы, сделанные с параллаксом под большой экран, с нормальным 3D-эффектом (видимой глубиной).
- Также впервые в массовых серийных устройствах появилась возможность смотреть 3D в FullHD, не разделяя ракурсы тем или иным (обычно недостаточно эффективным) способом. Что избавляет от массы неприятных побочных эффектов. И это — хорошо увлажненная тяжелым трудовым потом инженеров благодатная почва для новой революции, о которой пока знают только редкие специалисты и энтузиасты.
- И наконец, очевидно, что сейчас мы наблюдаем раннее младенчество технологии киношлемов. Через короткое время, когда тиражи станут больше, ее качество вырастет, появятся (очень надеюсь) многочисленные конкуренты, а цена устройств упадет в разы. И вот тогда-то и начнется самое интересное.
Появление нового софта и алгоритмов
Когда Кэмерон делал «Аватар»,? софта для для нормальной работы со стерео практически не было. Взлет Nuke был неудивителен, там «нативно»?, а не безобразными костылями, как у [вырезано цензурой], поддерживается не только стерео, но и многоракурсное видео. И даже пленоптическое, если на то пошло. Это сильно, и еще совсем недавно такой легкой возможности работать с новыми форматами не было в принципе.
Аналогичная ситуация с развитием алгоритмов. За последние 10 лет алгоритмы сопоставления ракурсов, построения оптического потока, обработки матированием полупрозрачной границы объектов, автозаполнения областей были существенно менее практичны, менее удобны, менее быстры. Банально CUDA стартовала всего 12 лет назад, а OpenCL — всего 10 лет назад. Более того — производительность GPU продолжает расти на фоне замедления роста производительности CPU. NVIDIA обещала разницу на три порядка к 2025 году:
Источник: What is CUDA? Parallel programming for GPUs
Также изменения, которые произошли с алгоритмами обработки видео за 10 лет — тектонические, поскольку с GPGPU стали доступны не просто другие алгоритмы, а другие классы алгоритмов. Было бы здорово про это написать, ибо это прямая область работы автора.
Отдельный мощный тренд — нейросети:
Источник: Top 10 Hot Artificial Intelligence (AI) Technologies
Их важно не переоценить, особенно в краткосрочной перспективе, но в долгосрочной — это очередная революция. На схеме выше приведен только анализ видео и изображений, но современная обработка (video processing, включая stereo video processing), по сути, построена на основе анализа, так что на нее эти тренды также серьезно положительно влияют.
Выводы:
- Принципиальное увеличение быстродействия GPU открыло жизнь семействам алгоритмов нового уровня, которые ранее можно было изучать исключительно теоретически.
- Более того — кино позволяет использовать алгоритмы в 2000 раз медленнее реального времени. У каждой студии есть либо свои, либо арендованные render farms, и сегодня вычислительная сложность перестала быть серьезной проблемой. В итоге буквально за 10 лет принципиально изменились возможности студий по обработке видео.
- В следующие 10 лет можно прогнозировать не менее революционные изменения благодаря нейросетям. А уж
есликогда взлетят нейроакселеторы…
3D-съемка будущего
Красочно и детально описанные в предыдущих статьях сложности съемки 3D оказались настолько велики, что 3D практически перестали СНИМАТЬ. Фактически львиная доля современных 3D-фильмов сконвертирована. Там тоже не все идеально с точки зрения качества и болезненности, но ситуация кардинально лучше, что, заметим, было видно на многочисленных приводившихся в прошлых частях графиках, где отконвертированные фильмы почти всегда (ибо испортить можно все) болтались в районе идеала.
Основная причина массового использования конвертации — большее визуальное качество, более низкая и предсказуемая цена и меньший процент зрителей, испытывающих головную боль. В этом плане у съемки не было никаких шансов. Только медленная мучительная смерть.
Тем не менее, у конвертации тоже все далеко не волшебно даже в блокбастерах (автор очень надеется примеры опубликовать), и самое главное — глубина там не настоящая, а та, которую посчитали наилучшей (во всех смыслах, включая себестоимость) в студии.
Вопрос — можно ли именно СНЯТЬ 3D так, чтобы не было всех изложенных ранее (и еще доброго десятка более скучных, но от этого не менее болезненных) проблем?
Ответ — да! Но пока это слишком сложно.
Решение — в развитии так называемых пленоптических камер, про которые был отдельный большой и детальный пост. Сейчас оно упирается в наличие компактных сенсоров высокого разрешения с маленькой кромкой (которые можно ставить вплотную друг к другу) и малым тепловыделением. Учитывая текущую фантастическую скорость совершенствования сенсоров, ждать придется не так уж долго.
Выводы:
- Да, пленоптика, скорее всего, взлетит только после распространения многоракурсных дисплеев, поскольку она позволяет генерировать качественный контент для них, как мало какая технология, и произойдет это не завтра. Но послезавтра — точно произойдет!
- Забавно, что взлет так называемого разреженного светового поля с большой вероятностью пойдет с телефонов/планшетов. И только потом даст возможность снимать кино. Впрочем, и GPU развивались изначально для геймеров, а сегодня на них автопилоты машин и промышленных роботов делают. Дадим истории время прокрутить жернова.
Вместо заключения
Господа! Некоторые несознательные
Как говорилось пару веков назад (по другому поводу): «3D-кино умерло! Да здравствует 3D-кино!»? Сейчас для этой фразы время еще не пришло, но очень многое для этого сделано и продолжает очень активно делаться. И те же товарищи,
Например, Кэмерон уже снял Аватар 2 и 3 и судя по многочисленным переносам даты релиза (сейчас это 21 декабря 2021) что-то подсказывает, что он нацелился минимум на 3 миллиарда сборов со 2 и 3 частей. Сейчас за год открывается 3D-залов больше, чем было всего на момент релиза первого Аватара (и еще +2,5 года — это много). При этом техническое качество изображения новых залов кардинально выше технологий 10-летней давности, особенно у лазерной проекции второго поколения, которую,
Если времени хватит — напишу про конвертацию.
Stay tuned!
Читайте также:
- Почему от 3D болит голова / Часть 1: Недостатки оборудования
- Почему от 3D болит голова / Часть 2: Дискомфорт из-за качества видео
- Почему от 3D болит голова / Часть 3: Перепутанные ракурсы
- Почему от 3D болит голова / Часть 4: Параллакс
- Почему от 3D болит голова / Часть 5: Геометрические искажения в стерео
- Почему от 3D болит голова / Часть 6: Искажения цвета
- Почему от 3D болит голова / Часть 7: Сдвиг во времени между ракурсами
- Будущее VR видео — VR180 от Google
- Вычисляемое видео в 755 мегапикселей: пленоптика вчера, сегодня и завтра
Благодарности
Хотелось бы сердечно поблагодарить:
- моих коллег Александра Белоуса (чьи примеры использованы выше), Юрия Гитмана (помогавшего сделать алгоритм лучше), Александра Воронова, Дениса Сумина, Алексея Федорова, Виталия Людвиченко и Александра Бокова, а также других членов видеогруппы, благодаря которым представленные выше алгоритмы были созданы, а результаты посчитаны,
- вице-президента по технологиям и Senior Scientist компании RealD Джона Карафина за веру в наши силы и воодушевляющую поддержку,
- компании Intel, Cisco, Verizon и YUVsoft за серьезную поддержку проекта и то, что им не безразлично качество стереофильмов,
- Лабораторию Компьютерной Графики ВМК МГУ им М.В.Ломоносова за вычислительные мощности и не только,
- В особенности Кирилла Малышева, а также Константина Кожемякова, Станислава Грохольского, Алексея Соловьева, Сергея Лаврушкина, Ивана Молодецких, Дмитрия Коновальчука, Андрея Москаленко, Егора Склярова, Александра Яковенко, Евгения Купцова, Евгения Ляпустина, Романа Казанцева и Николая Оплачко за большое количество дельных замечаний и правок, сделавших этот текст лучше,
- Энтузиасту и фанату кино-шлемов Владимиру (@ED-209) за то, что прислал из другой страны два удивительных девайса на тестирование,
- ИППИ РАН и доктора биологических наук, профессора Галину Ивановну Рожкову с коллегами — за профессионализм в области исследований бинокулярного зрения, сотрудничество и реальную помощь,
- и наконец, всех организаторов Международного московского 3D-стерео кинофестиваля и лично Олега Николаевича Раева, за то, что они делают для того, чтобы выросло качество стереофильмов в России.
Комментарии (56)
AWSVladimir
24.10.2019 09:54+6Обожаю Ваши статьи!!!
А на счетвыпуская версии под просмотр с экрана телевизора, они не будут.
мало того, 3D телевизоры перестали выпускать.
За разбитую матрицу своего 3D телевизора пришлось платить больше стоимости самого телевизора.
И нового 3D нет и не придвидится, хорошо хоть появились 3D шлемы.
При всем уважении к IMAX, дома смотреть кино мне больше нравится.3Dvideo Автор
24.10.2019 10:02+3Обожаю Ваши статьи!!!
Спасибо! ) Такие комментарии помогают выкраивать время. )))
мало того, 3D телевизоры перестали выпускать.
У меня была мысль выпустить статью типа «Рожденные умереть, или почему у 3D телевизоров не было шанса выжить», где подробно расписать причины, начиная от «автоконвертации в 3D» (на которую
За разбитую матрицу своего 3D телевизора пришлось платить больше стоимости самого телевизора.эти идио...маркетологи напирали как на киллер-фичу при продаже) и заканчивая особенностями контента. Но как-то тема спала, пока руки не доходят.
хорошо хоть появились 3D шлемы. При всем уважении к IMAX, дома смотреть кино мне больше нравится.
А им сборы с продаж нужны ), поэтому контент делают под большой экран.
Но такие как вы как раз шлемы и продвинут. Там уже очень скоро картинка станет совсем хороша.Woffko
24.10.2019 15:37Лазерный IMAX тоже испортился(по крайней мере в Краснодаре в сбс) после обновления оборудования сильно заметны стали рывки в видео(то что в играх фризами называют), до обновления на плёночном такой фигни не было.
3Dvideo Автор
24.10.2019 21:45По описанию похоже, что проблема не имеет отношения к проектору. Скорее сэкономили на декодере.
androidt1c
24.10.2019 16:35+1Очень интересно было бы почитать про причины заката 3D ТВ! У самого ТВ с 3D, страшно думать, если сломается.
3Dvideo Автор
24.10.2019 21:48Не бойтесь, следующая волна уже показалась на радарах ) По времени хороший маркер — дата релиза Аватара-2)
AWSVladimir
25.10.2019 18:07А можно ссылку на этот «радар», хотел бы обновить 3D телевизор тк ОЧ-ЧЕНЬ нравятся такие фильмы
3Dvideo Автор
25.10.2019 20:11С этим сложно. Информация «радара» из общения с коллегами ))), которые промышленной разработкой заняты.
Сейчас очевидный спад, но огромный плюс, что сейчас у всех крупных производителей есть заделы не только по стерео, но и по автостереоскопии. И как сделать лучше намного понятнее (протестировано много подходов). И разрешение выросло, т.е. на 4К можно с дешевыми очками показать фильм без падения разрешения. И т.д…
drWhy
24.10.2019 10:22+1«3D-кино умерло! Да здравствует 3D-кино!»?
С первого теста шлема VFX1 в 1995 г. осталось чувство потрясения от погружения в 3D мир. Фильмов не было, но несколько игр завораживали, несмотря на низкое разрешение матриц. Эффект присутствия усиливался продуманным управлением с помощью датчиков в самом шлеме (поворот, наклон) и во флайстиках.
Диоптрии раздельно для левого и правого глаза в VFX1 регулировались, межзрачковое расстояние — нет. Оставалось только улучшить разрешение матриц — и галопом в массы, теряя по пути лишнийвесцену. Но не взлетело, к сожалению.
В итоге спустя 25 лет индустрия делает второй подход к снаряду с тем же весом $500-1000. Хорошо бы, взлетело на этот раз…
OLED матрица в GOOVIS, вероятно, будет выгорать постепенно.
3D телевизоры, видимо, вернутся в производство также с конскими ценниками.
В общем, прогресс на месте не стоит, он ходит по кругу. Ну или в варианте 3D — по спирали.
Надеюсь, удастся про эти приключения и тесты, а также предтечи этих шлемов от Sony подробно рассказать
Было бы замечтательно.
И ещё тема нового фильма «Gemini Man»/«Двойник» с Уиллом Смитом не раскрыта, там создатели хвалятся 8k, 120HZ и «правильностью» 3D.
Спасибо за интересные статьи.3Dvideo Автор
24.10.2019 10:33+5С первого теста шлема VFX1 в 1995 г. осталось чувство потрясения от погружения в 3D мир. Фильмов не было, но несколько игр завораживали, несмотря на низкое разрешение матриц.
О да! У первых продуктом сама возможность — это уже недетский «Вау-эффект» )))
3D телевизоры, видимо, вернутся в производство также с конскими ценниками.
Все интереснее. Уже сегодня технологически их можно производить дешево и с дешевыми очками. Но при этом падает контраст и яркость 2D картинки. При отсутствии контента смысла в этом нет, ибо 99,(9)% просмотра — 2D. Может напишу все-таки про это.
Было бы замечтательно.
ED-209! Слышите? ))) И очепятка у вас просто волшебная! )
ED-209
24.10.2019 10:55+2Надеюсь, удастся про эти приключения и тесты, а также предтечи этих шлемов от Sony подробно рассказать
Было бы замечтательно.
Да, там весьма интересная история. Надеюсь, совместно с 3DVideo напишем отдельный большой материал по теме. Шлемы серии Sony HMZ, если говорить в рамках комментария, были очень прогрессивны в мультимедийном и технологическом плане, включая аппаратную поддержку звука Dolby/DTS 7.1, 24p True Cinema, в том числе и нативная поддержка 3DTV Play. Единственный шлем, официально сертифицированный под 3DReady. В 2014 году также вышла версия с хедтрекингом (Sony HMZ-T3Q) и для медицины, на аналогичной базе, был разработан HMS-3000MT.
guru430033
24.10.2019 11:07+1Коралина в стране кошмаров — кукольный мультфильм, снятый на настоящую, а не виртуальную камеру. Причем, это первый кукольный мультфильм, снятый в 3D.
SADKO
24.10.2019 11:32На самом деле не первый, даже в США, а уж в мире то…
… реально новым там была 3D печать и даже моделирование фигурок, но одежда и аксессуары, сделаны руками
SADKO
24.10.2019 11:14Это, Коралина в стране кошмаров, не 3D!
Я этих кукол, декораци и камеру своими глазами видел, но к сожалению, слишком поздно, проделывать всю титаническую работу заново, ради честной стереоскопии, не было смыслов. Её там пытались сделать изначально и местами она есть, но… Вы сами всё видели. А большая часть, конверсия, иногда хитрая.3Dvideo Автор
24.10.2019 11:26Рад вас видеть, Дмитрий!
Это, Коралина в стране кошмаров, не 3D!
(деликатно) Ну ракурсы отличаются! ))) Но вообще до 2013 года — очень много ужаса, особенно среди ужастиков, где на техническое качество стерео и сейчас смотрят сквозь пальцы. Опишем скорее всего «Щелкунчик», где конвертация, причем типа дорогая. Там есть что показать, ибо оно эпично )
А где кукол и камеры видели?SADKO
24.10.2019 12:03+1В павильоне само собой, там люди не глупые и самодовольные как… У них изначально был план Б. Но эстетика требовала стереоскопии, и они пытались…
А я тогда был проездом, по совершенно другим делам, но так вышло что познакомился с одним из продюсеров и мы плотно пообщались на эту тему, я потом для них организовывал съёмочное барахлишко (совсем не стерео) уже для другого проекта. Но я слил им банальные тайны стереоскопии, а они мне подштопали понимание этого бизнеса в целом.
Нас же этому никто не учил, в голове дыра, а у них Раев в универе не преподавал, культурный обмен, короче :-)
А с Коралиной жалко конечно, но что делать, но фильм ничего не потерял, такая история, её бы и в 2D пришли смотреть и пересматривать, бо популярная детская книжка в США.
Из этой, и некоторых других историй, я вынес то, что если есть техническая возможность или даже отлаженный pipeline, это не значит что к нам выстроится очередь, нужно смотреть на мир шире чисто технической его стороны. По этому я и в отношении инвестиционной привлекательности пленооптики достаточно консервативен, хотя и очень люблю эту тему.3Dvideo Автор
24.10.2019 16:31Тяжело им без Раева )
А пленоптика — послезавтрашний день. Сильно должны подешеветь сенсоры. Раньше она только в виде разреженного светового поля с многих камер может возникнуть (когда 8 камер сзади влепят, например). Ну или условная пленоптика дуал(квадро)-пиксел сенсора. В общем — медленно, но верно). Статей по этой теме уже море. В Азии куча народу плотно работает.
A114n
24.10.2019 11:46+1А насколько эти будущие 3Д шлемы для фильмов отличаются от существующих 3Д шлемов для игр, т.е. VR?
Например, типичная проблема в VR-играх это головокружение и укачивание при движении на экране, не случится ли то же самое при просмотре фильма?SADKO
24.10.2019 12:10К стати о кино шлемах vs VR что там с отжимающим эффектом края?
В кинотеатре то экран поле зрения кроет, на нём и 2D панаромирование в кайф, а тут края зияют в наглую.3Dvideo Автор
24.10.2019 20:14Сейчас все будет как с экраном среднего размера или как с большим телевизором, т.е. отжимающий эффект рамки (он же Stereo window violation) — будет в полный рост. Но вообще позаботиться об этом просто. И даже можно почти автоматически. И даже многие заботятся. Мы эту метрику делали и измеряли фильмы по ней в своих отчетах.
ED-209
24.10.2019 13:22+1Разный подход совершенно. В подобных Cinema-шлемах по дефолту поддержка headtracking не используется. Просто висит экран перед глазами, «прибит» намертво к вращению головы, можно хоть вверх тормашками смотреть. Изображение не полный обзор занимает, эквивалент просмотра фильма со среднего ряда в обычном зале кинотеатра, видно края экрана. Угол обзора 53 градуса, в VR шлемах угол обзора от 90 и выше.
Тем не менее, должен выйти еще один подобный такой шлем — Luci Immers. В нем заявлен угол обзора в 70 градусов (эффект IMAX) и вроде как будет поддержка хедтрекинга, т.е. полноценная иллюзия нахождения в кинотеатре типа виртуальные кресла вокруг стоят.
У серии Sony HMZ угол обзора 45 градусов (эффект малого зала кинотеатра)
Серия Goovis: 53 градуса (средний зал, default)
Шлем HiSpot H2: 70 градусов (эффект IMAX)
И пока еще не вышедший шлем Luci Immers, заявлено также 70 градусов (эффект IMAX)
Предпочтения с размером картинки довольно индивидуальны. Мне лично ближе 53 градуса, так называемая золотая середина, при 70 возникает эффект просмотра кино с первого ряда, вау-эффект разумеется больше, но сложнее охватить взглядом всю картинку целиком. Объясню почему, в том же HiSpot H2 при 70 FOV приходится скашивать глаза на периферийную область экрана. Довольно сильно скашивать. Это в кинотеатре можно голову повернуть и посмотреть что происходит в углу экрана, а тут можешь двигать только глазами, изображение «прибито» к поворотам головы. Примерно как сесть в IMAX на первый ряд и смотреть фильм не двигая головой, двигая только только глазами. Визуально впечатляет, но…
Возможно в Luci Immers исправят этот момент (как раз заявлен полноценный хедрекинг а-ля VR), но шлем еще не вышел, его никто не тестировал, обзоров нет, получится что-то или нет, пока не понятно.
foxyrus
24.10.2019 15:12+1Основная проблема в играх, это то что персонаж (камера) движется, а тело не двигается. В фильмах, где висит виртуальный экран, негативного эффекта намного ниже.
Gargo
24.10.2019 14:34-3закономерный вопрос — почему у меня не болит голова, а у вас болит? Может дело только в вашей голове и стоит обратиться к врачу?
Cerberuser
24.10.2019 16:36Если авторы будут снова проводить эксперимент по проверке влияния просмотра 3D на организм — очень советую записаться. Возможно, Ваш уникальный случай подскажет какие-то важные нюансы, незаметные на основной массе.
3Dvideo Автор
24.10.2019 16:44+2Как показали эксперименты у человека все может быть чудно даже на феноменальном треше, поскольку у него один из вариантов условной «стерео-слепоты». Т.е. один глаз, например, является ведущим, а второй только «подсказывает». И человека даже от треша не выворачивает. Он его не видит просто. Что, кстати, не означает, что ему нужен врач ))) Это просто особенность, которую сам человек может практически не замечать и только детальное исследование его покажет.
А для экспериментов нам нужны наоборот чувствительные люди. Ибо важно провести границу именно по чувствительности (чтобы снизить процент тех, кто почувствует дискомфорт от фильма).
Спасибо за конструктивный комментарий в любом случае! )Cerberuser
24.10.2019 18:18На самом деле, я высказался вполне серьёзно — допускал, что подобные случаи "стерео-слепоты" тоже могут дать что-то полезное, именно в силу того, что, может быть, можно каким-то образом отличить, что такого есть у чувствительных людей, чего нет у них (или наоборот). Но, как я вижу, этот фактор у вас уже тоже учтён)
3Dvideo Автор
24.10.2019 20:40Стараемся). Там еще такой момент — чем человек чувствительнее к определенным проблемам, тем короче нужно время, которое его нужно мучить таким типов видео (там большая проблема, что относительно короткие фрагменты с проблемами человек воспринимает нормально, а если долго — беда). Т.е. работать с такими людьми проще. А сложность в том, что много параметров сложным образом друг на друга влияют.
3Dvideo Автор
24.10.2019 16:36+2закономерный вопрос — почему у меня не болит голова, а у вас болит? Может дело только в вашей голове и стоит обратиться к врачу?
Именно из-за того, что так рассуждали некоторые продюсоры (и прочие принимающие решения лица), да еще рассуждалисдурупросматривая отдельные сцены типа: Что тут ваша студия 4 дня исправляла? «Я НЕ ВИЖУ РАЗНИЦЫ!!!» (с) Короче — ровно поэтому так много треша и шло в кинотеатры. Кушать подано! ) Присаживайтесь поудобнее! У нас все на высшем уровне. Пакетики, если кого вырвет лежат на входе в кинозал!
leshabirukov
24.10.2019 15:01+1А вы сами нейросети еще не пробовали? По идее, конкретно сведение резкости должно на ура решаться.
А ещё, для шлемов надо делать запись полностью резкой, а размывать в динамике при просмотре, в зависимости от направления взгляда, размера зрачка и формы хрусталиков!3Dvideo Автор
24.10.2019 16:39+1А вы сами нейросети еще не пробовали?
Пробовали, конечно. Там нейросеть такую психоделику восстанавливая резкость иногда генерит, что со шлемами в реальном времени использовать точно нельзя, а в офлайне — в некоторых случаях вполне! Местами даже чудеса просто. Только пока человек просматривать должен.leshabirukov
24.10.2019 18:02Да, конечно, сводить резкость для разных глаз в офлайне, в динамике делать эмуляцию размытия в зависимости от карты глубины и направления взгляда. А вот про форму хрусталиков я погорячился — хрусталик-то может только на экране сфокусироваться. Может быть, в далёком будущем, можно будет компенсировать фокус хрусталика мимо экрана адаптивной оптикой.
3Dvideo Автор
24.10.2019 20:42Ох вы замахиваетесь. Тут бы геометрия на снятом для VR контенте не уезжала бы — уже счастье )
leshabirukov
24.10.2019 21:31Ставлю на то, что нейросети в ближайшем будущем начнут исправлять на ура геометрию как и резкость. Разве что, дорисовывать невидимое будут неидеально, остальное дело техники.
3Dvideo Автор
24.10.2019 21:43Не все так просто, к сожалению. Пока прогресс медленный. Даже с банальной геометрией.
С резкостью вопросы серьезнее. Нужно точное сопоставление резкого и нерезкого кадров. А пока сопоставлять резкие-то толком не удается.
Поэтому будущее будет, но не ближайшее. Лет 10 я бы дал минимум исходя из имеющегося печального опыта
inoyakaigor
24.10.2019 15:17в Москве (в отличие от Пекина) почти нет лазерных залов
Значит они всё-таки есть. Огласите весь список пожалуйста!foxyrus
24.10.2019 15:21+1Laser IMAX в ТРЦ Океания
3Dvideo Автор
24.10.2019 21:38Ну в Яндексе никто не забанен, попробуем составить список )
Вот новость за август прошлого года: «Киномакс» открыл уже второй IMAX Laser в Москве
Причем там забавно. Они (в 2018 году) пишут: «В «Киномакс» отметили, что в зале IMAX Laser установлен самый большой в России IMAX-экран шириной 28 метров и высотой 15,6 метров.»
При этом в анонсе 2016 года зала в ТРЦ Океания, видим, что там «установлен самый большой в стране экран IMAX — 18 метров в высоту и 29 метров в ширину».
Как все должны понять, 28 — больше 29, а 15,6 больше 18! )))
В общем — гении маркетинга «Киномакса» пишут в пресс-релизы гон, в расчете, что никто в поисковике не проверит. Возможно, они не только в легко проверяемом месте гонят )))
Кто следующий зал найдет? ) (еще лазерные есть, не IMAX, правда)foxyrus
24.10.2019 22:02Кстати, я очень люблю IMAX и по возможности на 3D ходим именно туда, так вот, по сравнению, изображение (имхо) «старого» цифрового Nescafe IMAX в ТЦ Капитолий, не сильно хуже чем Laser IMAX в ТРЦ Океания, что в 3D что в 2D.
3Dvideo Автор
25.10.2019 09:41У IMAX единственного 2 проектора — это сразу без мерцания и в 2 раза ярче + в свои лампы повышенной яркости + хоть как-то следят за геометрией зала + проекторы качественные и еще много важных мелочей. В залах с RealD или Dolby 3D оборудованием встречаются такие эпичные косяки (я про них в 1 части писал), что просто абзац + тотальная экономия на лампах + тотальная экономия на очках + экономия на экранах + экономия на переделке зала.
Но их тоже можно понять. Пипл на 99% не готов платить за качество (вы — редкое счастливое исключение, к сожалению). В итоге инвестиции в более качественный зал не отбиваются или отбиваются долго…
А 3-й лазерный зал будем долго искать, походу… Не Китай у нас, совсем не Китай, где десяток собственных производителей лазерных проекторов только на внутреннем рынке конкурируют…
А ведь третий зал (как раз с китайским проектором скорее всего) есть! )))
Certik
25.10.2019 13:11снимать две версии картины — с привлечением внимания при помощи резкости и с привлечением внимания при помощи глубины — слишком дорого и сложно
Неужели нельзя на пост-продакшне размыть «ненужные» части кадра для 2D версии? Мне почему-то кажется что это было бы не так уж сложно. Тем более если есть картинка для обоих глаз, то, казалось бы, не так уж сложно полуавтоматически определить средний-дальний-ближний планы и быстренько заблюрить все что надо.drWhy
25.10.2019 13:20Если правильно понимаю, в отснятом материал фон всегда размыт, кроме съёмок пленоптическими камерами или удалённых сцен обычными камерами с телеобъективами.
3Dvideo Автор
25.10.2019 13:33Да, кино любит малую глубину резко изображаемого пространства. Но вопрос был про то, чтобы снять для 3D резко, а потом размыть для 2D, что возможно в теории, но на практике пока не работает (пока нет пленоптики по крайней мере).
3Dvideo Автор
25.10.2019 13:31Неужели нельзя на пост-продакшне размыть «ненужные» части кадра для 2D версии? Мне почему-то кажется что это было бы не так уж сложно.
К сожалению нельзя.
В черновой версии статьи даже был пример, как выглядит реальное размытие при съемке и как выглядит имитация. Но получился и так длинный текст, пришлось такого рода детали безжалостно вырезать. «Некрасивое» размытие там получается, короче. А для кино красота картинки — это критично. И размыть «красиво» стоит реальных денег. В общем «быстренько заблюрить» не получается ) И это проблема.Certik
28.10.2019 15:50Спасибо что ответили. Про неодинаковость размытия — вполне себе неочевидно. А можно все-таки пример?
И кстати, есть ли шанс что со временем програмный блюр «дорастет»? Вон, фото переведенные в ЧБ тоже раньше были «не такие, как ЧБ пленка снимает», а потом появились фильтры для фотошопа, имитирующие разные марки ЧБ пленок. И вроде даже ничего так.3Dvideo Автор
28.10.2019 16:01Про неодинаковость размытия — вполне себе неочевидно. А можно все-таки пример?
Держите из википедии. Справа крайний — Гаусс, тот который «быстренько», в середине — приличный:
В чем сложность — чем более УЖЕ размыт фон, тем сложнее его размыть «правильно».
И кстати, есть ли шанс что со временем програмный блюр «дорастет»?
Всенепременно. ) Особенно с камерами глубины и разными видами пленоптики. Но не сразу, а со временем.
Orange11Sky
26.10.2019 00:04Статья очень интересная.
Даже вспомнил что когда-то ходил на 3D.
Первый раз это действительно был Аватар. А вот второго раза до сих пор не было.3Dvideo Автор
26.10.2019 10:10)))) Спасибо!
Вы типичны. В следующий раз идите на Аватар-2 и обязательно в зал с лазерным проектором. Не прогадаете.
kolu4iy
Слушайте, а в смартфоны сегодня массово поехали TOF-камеры. Их пока не пытаются использовать для съемки, допустим, в 2д + TOF с последующей конвертацией? Ну на фото оно позволяет обойтись без пленоптики, а в видео?
3Dvideo Автор
Про это тоже планируется написать как раз в части про конвертацию. Если кратко, ответ: «пока нет». Но что камеры глубины скоро конвертацию еще сильнее удешевят — это факт (бедная «честная» съемка!). Ибо они очень быстро совершенствуются, я про это подробно писал (Камеры глубины часть 1, часть 2)
rPman
Мне кажется львиная доля проблем с головной болью будет добавлена именно потому что 3d там косвенное, вычисляемое на основе данных от нескольких камер, а это значит БУДУТ АРТЕФАКТЫ и именно там где голове и глазу будет больнее всего.
3Dvideo Автор
На конвертации ___УЖЕ___ артефактов меньше и, что важнее, они менее болезненные (ровно поэтому ее много и становится все больше). А камеры глубины лишь понизят себестоимость этого техпроцесса.