S3D: No pain IS gain




Эта третья статья в цикле “Почему от 3D болит голова”. В первой части речь шла про проблемы кино-оборудования, во второй — общий обзор проблем фильмов, и, наконец, здесь и далее будут разбираться конкретные проблемы. Начнем с самой простой для понимания и одной из самых болезненных для восприятия — перепутанных ракурсов, когда на правый глаз подается картинка для левого, а на левый — для правого. Сложно найти слова для того, чтобы передать ощущения, которые испытывают соответствующие участки нашего мозга, когда видят такую картинку… Но мы все же попытаемся. )


Корни проблем



Когда на левый глаз подается картинка для правого и наоборот, мы видим изображение, совершенно невозможное в реальности, поскольку то, что должно быть дальше видится как близкое и наоборот. Т.е. объекты как будто вывернуты наизнанку. Обычно эта проблема возникает, как ошибка монтажа. При этом очень важно понимать главное: исправить эту конкретную ошибку — элементарно, на порядок проще, чем большинство других ошибок, о которых шла речь во второй части. Эта ошибка не исправляется ровно потому, что если ваш мозг уже достаточно натренирован к плохому стерео, он вполне успешно компенсирует проблему: обычно люди видят картинку даже с элементами “правильной” трехмерности, но субъективно более “плоскую”, чем она должна быть. Т.е. наш мозг стремится максимально распознать “невозможное” изображение и при достаточной тренировке на плохом стерео такие сцены не замечает.

Чтобы были понятны резервы человеческого мозга, расскажу про эксперименты, которые еще в XIX веке проводил в Калифорнийском университете Джордж Стрэттон. У него было много интересных опытов, в т.ч. довольно жесткий, когда изображение благодаря насадке с зеркалами, которая закреплялась на голове, полностью переворачивалось:

Эксперименты проводились по несколько дней и в первые дни даже простейшие операции, например, взять какой-либо предмет или пройти в соседнюю комнату, не задевая мебели, вызывали серьезные затруднения. Но уже на третий день ситуация значительно улучшилась: «При ходьбе в узком промежутке между мебелью мне требовалось значительно меньше внимания, чем до сих пор. Когда я писал, я мог без труда наблюдать за своими руками, не испытывая неприятных ощущений». На пятый день Стрэттон смог гулять вокруг дома и т. д. Интересно, что когда он снял прибор на восьмой день, то потребовалось всего два часа, чтобы зрительная система “адаптировалась обратно” к обычному восприятию. При этом, при повторном надевании прибора время адаптации к “неправильной” картинке также кардинально сократилось. Таких интересных экспериментов было проведено множество, в том числе и позднее в XX веке.

Курица Пфистера с призмами, отклоняющими свет, попадающий в ее глаза.

Также аналогичные эксперименты позднее проводились с различными животными — с цыплятами/курицами, котятами/кошками, обезьянами и т. д. Интересный вывод из них заключается в том, что мозг человека является существенно более адаптивным, чем мозг животных и человек способен намного успешнее приспособиться к “невозможной” картинке даже по сравнению с обезьянами.

Выводы:
  • Профессионалы, натренированные на плохом стерео, перестают испытывать от него серьезный дискомфорт, что приводит к пропусканию части легко исправляемых ошибок в массовые релизы фильмов.
  • Если человеку показывать плохое стерео, то постепенно испытываемый дискомфорт снижается, особенно если “тренировать” бинокулярное зрение с детства. Возможно, этим объясняется большое количество “ужасного” по меркам европеоидов стерео, которое сейчас массово производится и показывается в Китае. В результате этого внутренний рынок Китая, например, наиболее готов к новым автостереоскопическим устройствам, качество изображения которых на первом этапе обречено быть неидеальным.


Алгоритмические сложности


С точки зрения компьютерного зрения задача определения перепутанных ракурсов весьма нетривиальна и интересна. Интересна она в первую очередь тем, что у нее очень простая постановка и, в отличие от многих других областей — элементарно подготовить тестовую выборку. Вы просто берете какой-нибудь стереофильм, делаете короткий простой скрипт, который в каждой второй сцене меняет местами ракурсы и получаете великолепную тестовую базу в 1000 сцен для отладки собственных алгоритмов.

А дальше начинается самое интересное. Если для человека, особенно ненатренированного на плохом стерео, определить перепутанные ракурсы довольно просто, то для программы задача является нетривиальной. Человек знает, как должны выглядеть предметы, и что находится ближе, а что дальше, поскольку у него есть “сверхзнание” о том, какой формы предметы мебели, какой формы дома и т. д. У программы таких знаний нет и, несмотря на регулярные (на протяжении последних 40 лет) победные реляции об очередном прорыве в науке, распознавание предметов и, как следствие, например, зрение роботов пока оставляют желать лучшего. При этом надо понимать, что для того, чтобы корректно определять перепутанные ракурсы, роботы должны условно по информации с одной камеры определять что ближе, а что дальше лучше, чем человек с двумя глазами. Эта задача безусловно будет со временем решена, но не так скоро, как хотелось бы журналистам.

Для ее решения можно использовать всевозможные признаки, например, что снизу скорее всего объекты будут ближе, чем наверху, что объекты переднего плана, как правило, выпуклые и т.д. Но проблема в том, что все эти признаки крайне ненадежны, и, в итоге, на нашей тестовой выборке в 1000 сцен подобные методы будут ошибаться слишком часто.

Более надежный подход заключается в анализе движения. В современных фильмах практически не бывает сцен без движения, при этом практически при любом движении мы можем определить по т. н. областям “открытия-закрытия” где один объект закрывает другой, а значит, какой объект ближе.



На научном языке задача определения глубины объектов по 2D видео называется “depth ordering”, и, как легко заметить, пройдя по ссылке, в этой области ведется довольно много исследований. Забегая вперед, сразу скажу, что их результаты пока оставляют желать лучшего. Безусловно, в статьях вы часто увидите красивые картинки, но если вы посмотрите на независимые тесты или сами попробуете погонять алгоритмы, доступные, например, в исходниках для MATLAB, то вы будете разочарованы качеством их работы и массовостью ошибок.

Далее, необходимо решить более простую задачу определения видимой глубины объектов по стерео, или говоря на научном языке — задачу построения disparity maps. Алгоритмы построения карт диспаритета совершенствуются уже около 30 лет, но там также до сих пор довольно много проблем.



Например, если вы пройдете по этой ссылке, то увидите сравнительный анализ примерно 160 алгоритмов построения карт диспаритета, созданных за последние 15 лет. Отсортируйте табличку и посмотрите на результаты лучших алгоритмов. Что, края неровные? Куски объектов или даже объекты теряют? Что вы говорите! ) А после этого найдите соответствующие статьи для лучших алгоритмов и посмотрите сколько времени они работают. На один кадр. А теперь посчитайте, сколько лет (или какой суперкомпьютер) потребуется, чтобы с этими алгоритмами обработать целиком фильм. Кому лень, там в худшем случаи часы работы на кадр, и, как следствие, десятилетия работы средних компьютеров для того, чтобы обработать фильм целиком. Ровно этим объясняется то, что даже просто работ по определению неправильных ракурсов сегодня не так много.

Это были, как вы догадываетесь, плохие новости. Где же хорошие? Терпение, господа. Хороших новостей несколько. Во-первых, для того, чтобы сказать, что в сцене перепутаны ракурсы нам вообще говоря не нужны все объекты сцены. Достаточно чтобы какой-то один объект (или иногда даже одна граница) достаточно надежно упорядочивались по глубине и из движения, и из карты диспаритета. Это серьезное упрощение, хотя нам все равно требуется строить и ту, и другую карту для всего кадра. Во-вторых, в последние годы экспоненциально растет скорость работы GPU и многие алгоритмы обработки видео, которые еще недавно были слишком медленными для практического использования, обретают вторую жизнь. Ну или первую, если считать таковой не использование в статьях, а использование в практических задачах реальной жизни. И, наконец, в-третьих, существуют способы эффективного ускорения существующих алгоритмов, если мы говорим про обработку фильмов целиком.

Сразу скажу что за последние 5 лет под чутким руководством автора было сделано две серьезных попытки решения этой задачи, и вторую попытку можно (с оговорками) считать успешной, в том плане что построен практический по скорости работы алгоритм, который с приемлемым количеством ошибок дает возможность найти перепутанные ракурсы в реальных фильмах.

Также стоит отметить, что в процессе работы над алгоритмом начали находиться сцены, в которых отдельные объекты (как правило спецэффекты) были наложены на “неправильной” глубине, например, глубже объектов, на которые они накладывались. С точки зрения областей открытия-закрытия по времени и глубине это также невозможная ситуация. Невозможна она и с точки зрения мозга. Мы видим, что объект находится ближе, однако бинокулярное зрение говорит нам, что он находится дальше. Это очень неприятная ситуация, диагностика которой затрудняется тем, что большая часть сцены является “правильной”, и только отдельный объект расположен некорректно. Тем не менее детектировать такие вещи надо. Известен, например, случай, когда в одном низкобюджетном голливудском фильме вообще все спецэффекты наложили перепутав ракурсы. Он прошел в кинотеатрах (бедные зрители!), но на 3D Blu-ray его так и не выпустили (может, чтобы не позориться, а может просто поняв, что дополнительных сборов не будет).

Выводы:
  • Как ни странно это звучит для тех, кто не интересуется компьютерным зрением, но задача определения перепутанных ракурсов на сегодня полностью не решена. Основные сложности в надежном определении границ объектов по движению и по глубине, а также в обработке сцен, где движения нет.
  • Тем не менее, по ряду причин, ровно сейчас появилась возможность создать первые практические алгоритмы такого рода. Практические — означает с приемлемой скоростью позволяющие обрабатывать фильмы целиком.


Как часто встречаются перепутанные ракурсы в жизни


А теперь — самое интересное, результаты анализа 105 фильмов на предмет сцен с перепутанными ракурсами (Channel Mismatch, сокращенно CM). Благодаря скорости работы нашего алгоритма у нас появилась возможность проверять фильмы многими десятками. Это по-прежнему сложно, но это стало возможно! Фактически нашей командой были проверены ВСЕ фильмы, выходившие на Blu-ray, у которых указан бюджет на IMDB.com, т.е. все сколько-нибудь приличные фильмы. Были получены следующие результаты:

Movie name
Release year
Budget, $M
Scenes with CM
Total CM duration, sec
Film duration, sec
CM percentage
The Child's Eye
Глаз ребенка
2010
$4.50
15
57,5
5823
0,987%
The Nutcracker in 3D
Щелкунчик и Крысиный король
2010
$90
9
28,9
6480
0,447%
3D Sex and Zen: Extreme Ecstasy
Секс и Дзен
2011
$2.5
9
23,1
6775
0,341%
Spy Kids 3D — Game Over
Дети шпионов 3: Игра окончена
2003
$39
5
10,3
5063
0,203%
Hugo
Хранитель времени
2011
$170
2
10,2
7581
0,135%
Sharks 3D
Акулы 3D
2004
$5
1
8,9
3073
0,290%
Saw 3D
Пила 3D
2010
$20
3
6,7
5405
0,123%
The Last Airbender
Повелитель стихий
2010
$150
2
6,6
6193
0,106%
Dark Country
Территория тьмы 3D
2009
$4
4
5,7
5287
0,109%
Creature from the Black Lagoon
Создание из Чёрной лагуны
1954
2
5,4
4746
0,114%
Ghost Rider: Spirit of Vengeance
Призрачный гонщик 2
2012
$57
1
4,6
5732
0,081%
Stalingrad
Сталинград
2013
$30
1
4,3
7849
0,055%
Avatar
Аватар
2009
$237
1
3,3
9702
0,034%
Spy Kids: All the Time in the World in 4D
Дети шпионов 4D
2011
$27
1
2,9
5265
0,056%
Harry Potter and the Deathly Hallows: Part 2
Гарри Поттер и Дары Смерти: Часть II
2011
$125
1
2,9
7827
0,037%
The Chronicles of Narnia: The Voyage of the Dawn Treader
Хроники Нарнии: Покоритель Зари
2010
$155
1
2,6
6761
0,038%
Conan the Barbarian
Конан-варвар
2011
$70
1
1,2
6742
0,017%
Step Up 3D
Шаг вперед 3D
2010
$30
1
0,9
6431
0,014%
Clash of the Titans
Битва Титанов
2010
$125
1
0,7
6306
0,011%
Drive Angry
Сумасшедшая езда
2010
$50
1
0,7
6271
0,011%
Bait
Цунами 3D
2012
AUD 30M
1
0,6
5588
0,010%
A Very Harold & Kumar 3D Christmas
Убойное Рождество Гарольда и Кумара
2011
$19
1
0,5
5379
0,009%
The Three Musketeers
Мушкетёры
2011
$75
1
0,5
6632
0,008%

Как видите, в списке есть и “Аватар”, и “Гарри Поттер”, и “Хроники Нарнии”. Также в таблицу попали оба тестировавшихся отечественных фильма — “Сталинград” Бондарчука и “Щелкунчик” Кончаловского-младшего. “Щелкунчик” с 9 сценами почти на полминуты долгое время лидировал в нашем внутреннем рейтинге, до прогонов азиатского “The Child's Eye” с 15 сценами и практически минутой перепутанных ракурсов. Заметим, что в тройке лидеров помимо отечественного фильма два остальных — из Азии, при этом бюджет наиболее дорогого из них в 20 раз (!) меньше заявленного бюджета “Щелкунчика”.

Также характерно, что из 23 фильмов у 13 это всего одна сцена, причем у 12 — эта сцена по длине меньше 5 секунд, а у 6 — меньше секунды. Собственно, ровно поэтому ошибки не заметили. В целом можно говорить о том, что если вы смотрите фильм, выпущенный на Blu-ray, то с вероятностью как минимум 21,9% в фильме будет хотя бы одна сцена с перепутанными ракурсами. Как минимум, поскольку сейчас метрика на данный момент пропускает около 5% сцен. Это плата за разумную скорость работы. Тем не менее уже сейчас можно диагностировать и исправить условно 95% проблем.

Интересно посмотреть, как менялся процент фильмов содержащих перепутанные ракурсы по годам, там довольно показательная статистика. Данные те же, что и в прошлой таблице, но дополнительно учтено, сколько фильмов того же года проверялось всего.

Release year
Number of movies
Movies with CM
Movies with CM, percentage
Scenes with CM
1954-2000
6
1
16,7%
2
2001-2009
15
4
26,7%
11
2010
17
7
41,2%
32
2011
24
8
33,3%
17
2012
20
2
10,0%
2
2013
21
1
4,8%
1
2014
2
0
0,0%
0

Или то же самое нагляднее графиком:


Хорошо видно, что условно в 20 фильмах, выпущенных до 2010 года перепутанные ракурсы встречались соответственно в 16% и 26% фильмов. В 2010 году, сразу после выхода Аватара — был всплеск, из 17 фильмов 41% содержал сцены с перепутанными ракурсами. В 2011 из 24 уже только 33%, но уже в 2012 из 21 — только 4.8%. Т.е. процент брака по данному направлению резко сократился, причем данные вполне статистически значимы. Статистика по 2014 году еще слишком мала, чтобы делать выводы, но с большой вероятностью можно ожидать, что процент брака еще сократится. Предупреждая вопросы, еще раз отмечу, что проверяются релизы, выходящие на Blu-ray, которые обычно выходят с довольно заметным опозданием, кроме того, сами прогоны, несмотря на кардинальное ускорение метрики, все еще занимают значительное время, поэтому мы получаем данные с задержкой. Тем не менее обнаруженная тенденция обнадеживает.

Также под руководством автора в течение последних трёх лет выполнялся технический анализ стереофильмов “Международного московского 3D-стерео кинофестиваля”. Необходимо сразу отметить, что сравнивать фильмы, выходящие на Blu-ray, и фильмы фестиваля не совсем корректно, поскольку в фестивале принимают участие в том числе любительские фильмы и фильмы с очень небольшим бюджетом. Тем не менее, расклад следующий:

Movie name
Release year
Scenes with CM
Total CM duration, sec
Film duration, sec
CM percentage
Путешествие из Берлина в Бремен
2014
42
295,3
1457
20,3%
Синевир
2012
5
23,6
4391
0,5%
Книга гор 3D
2012
8
20,9
1982
1,1%
Второе путешествие Наполеона в Россию
2012
6
14,9
453
3,3%
Страшная сила
2014
1
13,8
4178
0,3%
Закинф остров контрастов
2012
1
7,8
1679
0,5%
Иван Царевич и Серый Волк 3D
2013
4
5,3
5162
0,1%
Древние города Херсонес
2012
1
3,8
1314
0,3%
Школьная дискотека
2012
1
3,7
594
0,6%

Видно, что при в среднем меньшей длине фильмов, суммарная длина сцен с CМ достаточно велика. По счастью, из указанных фильмов в кинотеатрах шел только “Иван Царевич и Серый волк”.

По годам расклад получается такой:
Год
Кол-во фильмов
Кол-во фильмов
с CM

Процент фильмов
с СМ

Кол-во сцен
с CM

Процент фильмов с CМ
на Blu-ray (для сравнения)

2012
21
6
28,5%
22
10%
2013
11
1
9,1%
4
4,8%
2014
26
2
7,7%
43
(0.0%)

В целом по содержательной статистике 2012 и 2013 годов можно говорить о том, что на фестивале вдвое больше вероятность, что в фильме конкурсной программы встретится СМ при большей суммарной длительности сцен с СМ и меньшей длительности самих фильмов. При этом прослеживается довольно четкая тенденция к улучшению ситуации.

Выводы:
  • Плохая новость заключается в том, что если покупать фильмы на Blu-ray (или, что то же самое, качать их с торрентов), то шансы встретить фильм в котором хотя бы в одной сцене будут перепутаны ракурсы около 20%.
  • Также хорошо видно, что 2.7 миллиарда долларов сборов “Аватара”, очевидно “поторопили” многих продюсеров выпустить фильмы в 3D, что резко увеличило процент ошибок. Забегая вперед — не только с перепутанными ракурсами.
  • Хороших новостей несколько. Во-первых, сцена с CM — это, скорее всего, очень короткая сцена. ) Во-вторых, чем новее фильм, тем меньше шанс встретить там такую сцену.
  • По ряду причин мы практически не анализируем отечественные фильмы. Однако во всех трех проанализированных отечественных фильмах, которые шли в кинотеатрах, подобные сцены были найдены. Т.е. по текущей статистике вероятность встретить в отечественном фильме, идущем в кинотеатре, перепутанные каналы 100%, но статистика очевидно не полна. Следует отметить, что судя по тенденции московского стереофестиваля количество отечественных фильмов с такими проблемами в ближайшие годы будет уменьшаться.


Заметность перепутанных ракурсов


Если общаться со зрителями, то они в один голос говорят, что перепутанные ракурсы — это ужасно, но если говорить с авторами, то они не менее дружно говорят, что, во-первых, что проблемы неизбежны, во-вторых, что оставшиеся практически незаметны.

Утверждение, что все люди ошибаются, безусловно бесспорно. ) Но ровно в той же степени бесспорно утверждение, что наработано уже множество систем уменьшения ошибок в производственных процессах. Студии, выдающие на гора большой процент брака, характеризует практически полное отсутствие инструментального контроля качества финального стерео. Т.е. все проверяется исключительно “на глаз”. А человек, если кто помнит начало этой статьи, вполне тренируем на уменьшение дискомфорта при регулярном просмотре плохого стерео. И если в производстве автомобилей от проверки на глаз отошли еще во времена Генри Форда, то в производстве стерео этот процесс идет только сейчас. И, повторюсь, с очень разной эффективностью на разных студиях. И уже можно наблюдать, как студии, работающие “на глазок” покидают этот рынок даже несмотря на демпинг в ценах. Учитывая очень хороший прогресс у китайцев и индусов (которые активно интересуются улучшением своих техпроцессов и даже реально платят за это), есть все основания полагать, что в ближайшие 10 лет таких на рынке не останется.

По поводу “незаметности” проблем расклад следующий. Да, действительно, многие проблемы стерео сами по себе не очень заметны. Но, во-первых, если кто-то чисто физиологически более чувствителен к какой-то проблеме стерео, то ему уже без разницы насколько это незаметно для привычных к плохому стерео. У человека просто начинает болеть голова, и ему хочется выкинуть очки и больше никогда не повторять сей печальный опыт, даже если следующий фильм не содержит вопиющих проблем. Собственно все опросы (пара примеров которых были в первой статье цикла) очень четко показывают, как головная боль от 3D заметно охладила восторги и рост для всей индустрии в целом. Если угодно — для человечества характерно пилить сук, на котором все сидят (тем более, если это позволяет на 3% увеличить прибыль), и мы это регулярно наблюдаем. Во-вторых, если уж возвращаться именно к перепутанным ракурсам — большой вопрос, насколько они действительно незаметны.

Мы решили подойти к этому вопросу практически.

Был изготовлен специальный фильм, в который вошли все 56 реальных найденных сцен с перепутанными ракурсами. Причем показывались не только эти сцены, но и сцены перед и после данной сцены. Т.е. большую часть времени, как и в реальном фильме, человек видел “нормальную” картинку, правда “ненормальной” он видел также довольно много. Для того, чтобы была “точка отсчета” были также добавлены сцены, на которых ракурсы не были перепутаны. После каждого фрагмента давалось время на заполнение формы, в которой фиксировался дискомфорт от сцены по 5-бальной шкале.

Когда мне в итоге показали получившийся “фильм” на полчаса, я буквально через 10 минут попросил остановить показ и снял очки. Ибо это было ужасно, и мой мозг бунтовал. Но нужно было держать лицо и я, мужественно стараясь не выдать своего состояния, начал задавать как бы содержательные вопросы о сути эксперимента, наслаждаясь самой возможностью не смотреть “это”. Отдохнув, удалось продолжить, но вскоре я не выдержал и опять оборвал эксперимент. В общем, остро встал вопрос: где найти достаточное количество добровольцев, чтобы получившиеся данные были статистически значимы? К счастью наша лаборатория находится в университете, а молодые люди в принципе намного более адаптивны к плохому стерео. В итоге, благодаря высокому уровню стойкости и ответственности, изначально присущих студентам МГУ им. М.В.Ломоносова, нам удалось собрать данные с 59 человек по всему получасовому фильму. Ниже приведены столь непросто доставшиеся нам данные (из-за большой длины и большого количества людей прогоны шли несколько недель):



Черточками обозначены доверительные интервалы — чем уже интервал, тем единодушнее была оценка этой сцены. Как хорошо видно на графике, в фильмах действительно встречаются сцены, где перепутанные ракурсы практически незаметны. Это могут быть, например, короткие, практически плоские очень темные сцены. Они на самом деле практически не отличаются от контрольных. Однако, как легко заметить, бывают и сцены типа 53-й. Это сцена из разряда “Куда тут выбросить ваши дурацкие очки?” и обратите внимание, сколь единодушны люди в такой оценке.

Данные результаты позволили оценить заметность СМ по фильмам и отсортировать их более адекватно, чем по общей длине СМ сцен в фильмах. Вот так, например, в более плавном виде выглядит статистика СМ по временной шкале.



Хорошо видно, что благодаря большому числу аккуратных фильмов тренд идет на улучшение, однако “выбросы” встречаются и сейчас.

Не менее интересна и статистика, когда по горизонтальной оси бюджет за минуту фильма:



Легко заметить, что ожидаемо большие шансы встретить серьезные проблемы у фильмов с небольшими бюджетами. Обратите внимание, кстати, что здесь указаны 86 и 94 процентили, т.е. по счастью вероятность встретить проблему не так велика и к тому же снижается.

На основе полученных данных мы сейчас строим метрику оценки заметности CM, для того, чтобы без проведения жестоких экспериментов над людьми длительных замеров получать более адекватную оценку фильма по данному параметру.

Смеем надеяться и в меру сил активно способствуем тому, чтобы в будущем вы больше такого ужаса в кинотеатрах не видели. По крайней мере, продюсеры, серьезно подпилив этот сук, постепенно до этой мысли дозревают.

Выводы:
  • Не все сцены с перепутанными ракурсам одинаково дискомфортны. Если сцена короткая, практически плоская и темная — увидеть ошибку довольно сложно.
  • Большое количество фильмов с ошибками приходятся на релизы 2010-2011 годов, уже с начала 2012 их количество резко снижается, что однозначно свидетельствует о повышении качества контроля фильмов в студиях.
  • В целом можно сказать, что в фильмах с большим бюджетом вероятность встретить заметные перепутанные ракурсы ниже и в последнее время стремится к нулю.
  • И, пожалуй, наиболее интересный вывод — похоже авторам этой статьи первыми в мире удалось создать практическую метрику перепутанных каналов, скорость которой достаточна для прогона фильмов сотнями. Если вы найдете где-то подобные практические результаты (чтобы были проанализированы многие часы видео) — пожалуйста, дайте нам знать.


Благодарности


Хотелось бы сердечно поблагодарить:
  • моих коллег Сергея Лаврушкина, проделавшего львиную долю представленной выше работы, а также помогавших ему Александра Бокова, Алексея Федорова и других членов команды проекта VQMT3D,
  • вице-президента по технологиям и Senior Scientist компании RealD Джона Карафина за веру в наши силы и воодушевляющую поддержку,
  • компании Intel, Cisco и Verizon за серьезную поддержку проекта и то, что им не безразлично качество стереофильмов,
  • Лабораторию Компьютерной Графики ВМК МГУ им М.В.Ломоносова за вычислительные мощности и не только,
  • Артема Казакова, Александра Воронова, Станислава Долганова и особенно Алексея Федорова за большое количество дельных замечаний и правок,
  • ИППИ РАН и доктора биологических наук, профессора Галину Ивановну Рожкову с коллегами — за профессионализм в области исследований бинокулярного зрения, сотрудничество и реальную помощь,
  • и наконец, всех организаторов Международного московского стереофестиваля и лично Олега Николаевича Раева, за то, что они делают для того, чтобы выросло качество стереофильмов в России.


Смотрите также:

Комментарии (39)


  1. ilmen
    04.04.2015 18:22
    +3

    Отличная работа проделана, с удовольствием прочитал, спасибо!

    Теперь вопрос — а с какой вероятностью ваш алгоритм определяет CM? Не увидел в статье ничего о погрешности алгоритма. Любопытно :)


    1. 3Dvideo Автор
      04.04.2015 18:50
      +2

      Отличная работа проделана, с удовольствием прочитал, спасибо!
      Welcome! ) Первые статьи были вводные, чтобы не отвечать на базовые вопросы. А дальше пойдут уже в основном результаты. Это пока малая часть ). В следующей будет результат 4-х наших метрик, так или иначе относящихся к параллаксу. Дальше — остальное по пунктам )

      Теперь вопрос — а с какой вероятностью ваш алгоритм определяет CM? Не увидел в статье ничего о погрешности алгоритма. Любопытно :)
      Все указано. ) Найдите в статье текст: «В целом можно говорить о том, что если вы смотрите фильм, выпущенный на Blu-ray, то с вероятностью как минимум 21,9% в фильме будет хотя бы одна сцена с перепутанными ракурсами. Как минимум, поскольку сейчас метрика на данный момент пропускает около 5% сцен. Это плата за разумную скорость работы. Тем не менее уже сейчас можно диагностировать и исправить условно 95% проблем.»


  1. Arlakz
    04.04.2015 19:29

    «когда изображение благодаря насадке с зеркалами, которая закреплялась на голове, полностью переворачивалось: „

    Нам в школе на биологии рассказывали что на самом деле изображение в глазу проецируется перевернутое, а дальше уже мозг его переворачивает.
    И что были эксперименты по специальным очкам — дня 3 носишь(все видишь перевернутым), а потом все становится “нормально». Но стоит снять очки и снова все перевернуто — еще дня на 3 без очков ходить, пока все в норму вернется…

    так что у вас или не правильный перевод. Или речь про зеркальное изображение, а не перевернутое…


    1. 3Dvideo Автор
      04.04.2015 19:44

      У вас был хороший учитель биологии. )

      В данной области принят термин «перевернутый», посмотрите, например, очень неплохую статью «АДАПТАЦИЯ К ИНВЕРСИИ СЕТЧАТОЧНЫХ ИЗОБРАЖЕНИЙ: НЕПРЕРЫВНОЕ НОШЕНИЕ ИНВЕРТОСКОПА НЕ ЯВЛЯЕТСЯ НЕОБХОДИМЫМ» из рецензируемого журнала «Вопросы психологии»:
      www.voppsy.ru/issues/1981/816/816083.htm там описанный мной кратко эксперимент разбирается более подробно и, в том числе, можно составить представление о принятой в области терминологии.


    1. mayorovp
      04.04.2015 23:17
      +3

      на самом деле изображение в глазу проецируется перевернутое, а дальше уже мозг его переворачивает
      Это не так. В мозгу попросту нет мест, где бы понятие «ориентация изображения» имела смысл. Говорить, что «уже мозг его переворачивает» — все равно что утверждать «на самом деле вольтметр измеряет амперы, а потом уже вычисляет напряжение по закону Ома».

      Но вольтметр ничего не вычисляет — у него шкала проградуирована сразу в вольтах. Так же и мозг распознает объекты непосредственно на перевернутом изображении, не утруждая себя обратным переворотом.


  1. 3Dvideo Автор
    04.04.2015 19:44

    Коллеги, уже второй раз вместо ответа человеку пишу просто комментарий первого уровня. Можно не тот комментарий как-то стереть?


    1. 15432
      04.04.2015 22:40
      +1

      неа. common issue. даже статья была с исследованием частоты комментов «не туда» в постах


    1. mayorovp
      04.04.2015 23:18

      Я обычно в таких случаях редактирую комментарий примерно так:
      (Комментарий был удален)


      1. 3Dvideo Автор
        04.04.2015 23:37

        Спасибо!


      1. HoverHell
        08.04.2015 13:16

        Предлагаю писать чуть иначе – “комментарием попал не туда”, может быть со ссылкой туда.


        1. mayorovp
          08.04.2015 18:05

          Со ссылкой — долго. Можно и не успеть.


  1. Arilas
    04.04.2015 21:46

    Хорошая статья, но вот у меня вопрос:
    У меня косоглазие, и раньше я не мог смотреть фильмы в 3D, все они были такими, как будто я очки и не одевал. После одной болезни на глазах стал видеть фильмы в 3D(в любых очках).
    Можно ли это объяснить?


    1. 3Dvideo Автор
      04.04.2015 23:41

      Думаю, что можно.

      Но вопрос, очевидно, к офтальмологам, а автор — специалист в области алгоритмов обработки и измерения качества видео. )


    1. Meklon
      05.04.2015 15:02
      +2

      Это вопрос рассогласования вашего внутреннего чувства объёма. Из-за того, что вы долго имели не соосное зрение, мозг привык работать с глазами изолированно. А потом почему-то решил попробовать объединить картинку. Возможно адаптационные процессы. Подробнее я писал в своём цикле про коррекцию зрения. Последний раздел — «Проблема разных глаз»


      1. 3Dvideo Автор
        05.04.2015 15:10

        Спасибо врачу за профессиональный комментарий!


        1. Meklon
          05.04.2015 15:22

          Да не за что) самый ад, когда из-за амблиопии мозг асинхронно работает хрусталиками и в итоге даёт разное расстояние по фокусу одновременно.


          1. 3Dvideo Автор
            05.04.2015 15:37

            Да, когда мы начали вникать в тему — стало понятно, что разных хитрых отклонений в бинокулярном зрении намного больше, чем думалось изначально. И дальше шаг влево, шаг вправо — и у человека ощутимый дискомфорт.

            Мы сейчас, кстати, работаем с товарищами, занимающимися измерением деятельности мозга (ЭЭГ + полиграф + опросник + eyetracker). Пробуем поймать дискомфорт на уровне объективных измерений. Добровольцам достается неслабо. :)

            Ощущения в ходе эксперимента были ожидаемы: сухость в глазах, частое
            моргание, кратковременная головная боль в лобной части головы, сильная
            усталость (которая осталась на весь день). Но я знал на что шел :)
            Но результаты будут через полгода-год и там эксперимент намного сложнее, чем с перепутанными ракурсами. Наверное про них напишем позднее.

            А вот про разницу фокуса в фильмах напишем относительно скоро.


            1. Meklon
              05.04.2015 15:39

              Очень рекомендую посотрудничать с детскими офтальмологами, которые занимаются косоглазием, амблиопией и аппаратным лечением всего этого безобразия. Это как раз тесно пересекается с вашими вещами. Особенно аппаратное лечение. Принципы те же, но искажения намеренные с целью тренировки глаз и мозга.


              1. 3Dvideo Автор
                05.04.2015 15:51

                Да, в курсе. В благодарностях в статье выше есть ИППИ и Галина Ивановна Рожкова, которая уникальная тем, что она кандидат физмат наук (и с нами может на одном языке говорить и даже переводить для нас) и, одновременно, доктор биологических наук, причем занимающийся в т.ч. бинокулярным зрением. Как справедливо говорится по ссылке, она «активно взаимодействует с российскими и зарубежными офтальмологами в области разработки и внедрения новых диагностических методов и методов лечения дисфункции бинокулярного зрения, косоглазия, амблиопии и т.д.» В общем — старая гвардия сильна. И даже в режиме перегрузки по делам помогает, а помоложе что-то пока успешного опыта взаимодействия нет.


                1. Meklon
                  05.04.2015 15:53

                  Это да. Тут согласен. Вообще софт и оборудование под эту терапию ещё под DOS часто т рассчитано. А переписать некому. Никто толком не разбирается в тонкостях.


                  1. 3Dvideo Автор
                    05.04.2015 15:59

                    Да, как-то так. Область узкая, весьма наукоемкая. Рынок мал. Галина Ивановна рассказывала (не для печати), что творится даже просто с детскими офтальмологами, там все печально. Тех, кто хорошо разбирается в предмете — единицы.

                    В производстве стереофильмов в России, правда, дела не лучше. ) Так и живем )


                    1. Meklon
                      05.04.2015 16:01

                      Синяя изолента наше все, ага)


                      1. 3Dvideo Автор
                        05.04.2015 16:09

                        Как-то так. )


  1. extempl
    05.04.2015 08:50
    +1

    У меня после прочтения больше возник вопрос — если это сложно проверить и людьми и алгоритмами, неужели так сложно решить (не допустить) эту проблему при работе над фильмом? Если там есть два канала, изначально должно быть известно, какой из каналов какой (левый/правый) — накладывать какой-то маркер на один из каналов и после финальной компоновки его просто убирать (пиксели разных цветов в разных углах, например. Или если возможно наложить поверх с возможностью потом убрать без проблем для изображения под наложением — то вообще что угодно)


    1. 3Dvideo Автор
      05.04.2015 09:20

      У меня после прочтения больше возник вопрос — если это сложно проверить и людьми и алгоритмами, неужели так сложно решить (не допустить) эту проблему при работе над фильмом?
      Выше, фактически, на это дан ответ. В очень большом количестве студий до сих пор все проверяется «на глазок». Доходит до смешного — если им нужно повыше качество и у них блокбастер и больше бюджет — они просто нанимают 7 стереограферов, которые отсматривают картинку глазами. Ну а дальше начинает работать «переобученность» человека на плохом стерео (см. начало статьи).

      Если там есть два канала, изначально должно быть известно, какой из каналов какой (левый/правый) — накладывать какой-то маркер на один из каналов и после финальной компоновки его просто убирать (пиксели разных цветов в разных углах, например. Или если возможно наложить поверх с возможностью потом убрать без проблем для изображения под наложением — то вообще что угодно)
      Вы оптимист. ) Производство кино в отличие от производства машин — это довольно творческий процесс, в котором, как правило, задействовано много студий (в цепочках доходит до 4-х субконтрактором только на отдельные работы). Что-то решают переделать в последний момент. Что-то куда-то быстро отправляют. Те — перенаправляют субконтракторам… Многое — надо «еще вчера». В итоге многие работают в режиме — то, ночуют на рабочем месте, то едут на Гаваи пить пиноколаду. При передаче форматы меняются, все меняется. В Аватаре, например, в единственной сцене, где перепутаны ракурсы используется конвертация из 2D в 3D. Похоже это делала другая студия, возможно — приняли решение сделать конвертацию в последний момент, а дальше не совпали форматы и у 7 нянек дитя осталось как обычно… ;)


      1. extempl
        05.04.2015 09:26

        У меня после прочтения больше возник вопрос — если это сложно проверить и людьми и алгоритмами, неужели так сложно решить (не допустить) эту проблему при работе над фильмом?

        Выше, фактически, на это дан ответ. В очень большом количестве студий до сих пор все проверяется «на глазок». Доходит до смешного — если им нужно повыше качество и у них блокбастер и больше бюджет — они просто нанимают 7 стереограферов, которые отсматривают картинку глазами. Ну а дальше начинает работать «переобученность» человека на плохом стерео (см. начало статьи).


        Так об этом и речь, что проверяют уже пост фактум, а не пытаются не допустить проблему на этапе работы над фильмом. Но ниже вы подробно разложили, насколько это реально.


        1. 3Dvideo Автор
          05.04.2015 09:41

          Так об этом и речь, что проверяют уже пост фактум, а не пытаются не допустить проблему на этапе работы над фильмом. Но ниже вы подробно разложили, насколько это реально.
          Еще раз — они не только пытаются, но и реально действуют и успешно порядок наводят. Ровно поэтому после феерического всплеска 2010 года с CM в 40% фильмов показатель за 2 года снизился почти в 10 раз до 4.8% (замечу, что мы не делали анализа старых фильмов, но есть основания полагать, что 4.8% — рекордный показатель вообще в истории стерео, поскольку про прошлые волны массовых съемок стерео тем же Голливудом сохранились феерические воспоминания ;). В общем — процесс идет. Но в силу объективных причин — изначального творческого беспорядка и сложных цепочек субподрядчиков — не так быстро. Опять же — низкобюджетные фильмы никто не отменял. Они там вообще постоянно балансируют на грани и за гранью. Ошибки неизбежны. Качество будет выше, когда они перестанут все проверять «на глазок», а это будет, похоже, не скоро.


          1. Askell
            15.04.2015 11:13

            Все равно не понимаю, какой должен быть бардак на производстве, что можно перепутать два разных канала видео. Со звуковыми то дорожками почему-то ни у кого проблем не возникает.
            Они что, тупо берут два первых попавшихся куска видео, равной длины и слепляют их в сцену? И нам еще везет, что эти куски хотя бы из одного дубля?


            1. 3Dvideo Автор
              15.04.2015 18:13

              Все равно не понимаю, какой должен быть бардак на производстве, что можно перепутать два разных канала видео
              Обычный творческий беспорядок. ) Вам надо хотя бы раз побывать на съемочной площадке, у вас пропадут такие вопросы. )))

              Творческий беспорядок — это нормально, просто он везде есть, а число ошибок у всех разное.

              Со звуковыми то дорожками почему-то ни у кого проблем не возникает.

              Вы в этом уверены? )))

              Они что, тупо берут два первых попавшихся куска видео, равной длины и слепляют их в сцену? И нам еще везет, что эти куски хотя бы из одного дубля?
              Если бы они так действовали, процент ошибок был бы другим ). Впрочем нам известен 3D фильм, где при конвертации иногда в сценах использовалась глубина от другой сцены… No comments, как говорится… Есть фильм, где все Floating Window отрезали не с той стороны (перепутали ракурсы). Есть фильм, где все спецэффекты наложили, перепутав ракурсы… ))) Короче — бывает весьма эпично! По счастью это все-таки треш (хотя и не всегда треш по бюджету).

              В четвертой части цикла приведена ссылка на интервью с русской студией. Вы его почитайте. Они там начинали с того, что отсматривали свою работу в анаглифе. Там все очень брутально бывает (в плане экономии финансов). Отсюда и косяки.


  1. bazzilic
    05.04.2015 13:05

    А можете дать ссылки ваши публикации на английском по этой теме?


    1. 3Dvideo Автор
      05.04.2015 13:15

      Держите, например, на последний отчет и там ниже публикации: compression.ru/video/vqmt3d/report7/
      Вообще ссылки на каждой картинке. Напрямую много ссылок не даем, ибо это не «Я пиарюсь» и вроде как нехорошо.
      Сами публикации — свободны, а отчеты из-за копирайтных ограничений по подписке.


  1. Vokkz
    08.04.2015 18:04

    Желаю посмотреть этот самый фильм на полчаса.


    1. 3Dvideo Автор
      08.04.2015 19:43

      Мы сейчас новый эксперимент делаем — там будет уже часовой фильм, нужно будет сидеть с ЭЭГ (электроэнцифалографом) на голове:
      image
      и там несколько типов артефактов будет проверяться.

      Будут нужны добровольцы. Много. Готовы? )


      1. vvzvlad
        13.04.2015 08:47

        Я готов.


        1. 3Dvideo Автор
          13.04.2015 10:57

          Хорошо. ) Эти комментарии читает человек, который организует эти замеры. Можете в личку контакты кинуть, позовем!


  1. mrkam
    08.04.2015 20:40

    Последние два графика вызвали у меня определенный диссонанс, количество красного в правой части увеличилось в то время как в тексте в этой части было видно улучшение. Наверное, градиент должен быть постоянен на всем графике и только тренд-линии должны переходить из красной области в зеленую?


    1. 3Dvideo Автор
      08.04.2015 21:01

      Все просто. Цвета сделаны по процентилям, чтобы было удобнее оценивать. Условно — если у какого-то фильма был такой-то средний показатель в 2009 году — это еще ничего, но если у него такой же показатель будет в 2014, он заведомо будет в красной зоне.

      Аналогично по бюджетам. Если для низкобюджетных фильмов нормален довольно большой разброс по качеству, то для высокобюджетных — этот нонсенс и фильм даже со средними для низкобюджетных значениями моментально попадет в красную зону.


  1. Vanderas
    21.04.2015 14:36

    В некоторых компьютерных программах, позволяющих воспроизводить 3D-видео и, по-моему, даже в телевизорах, в настройках 3D есть возможность сменить ракурсы. Это то о чём писалось в этой статье? Т.е. если фильм кажется, что смотрится «наоборот», т.е. фон как бы перед героями фильма, то нужно поменять ракурсы?
    Вы ведёте работу по созданию алгоритмов, которые выявляли бы такие сцены и автоматически перенаправляли кадры этой сцены, так?


    1. 3Dvideo Автор
      21.04.2015 15:32

      В некоторых компьютерных программах, позволяющих воспроизводить 3D-видео и, по-моему, даже в телевизорах, в настройках 3D есть возможность сменить ракурсы. Это то о чём писалось в этой статье?
      ДА! )

      Т.е. если фильм кажется, что смотрится «наоборот», т.е. фон как бы перед героями фильма, то нужно поменять ракурсы?
      Да, очень рекомендуем поменять.

      Вы ведёте работу по созданию алгоритмов, которые выявляли бы такие сцены и автоматически перенаправляли кадры этой сцены, так?
      Да. Но в телевизорах и плейерах они появятся не скоро из-за скорости работы. Сначала — как инструмент контроля в западных компаниях и студиях (только они готовы за это платить).