Я много писал в этом блоге о верности воспроизведения звука, а видео несправедливо обходил стороной и касался лишь косвенно. Решил исправить ситуацию — статья целиком и полностью посвящена проблемам качества изображения, высокой верности воспроизведения видео, а также их связи с человеческим зрением.
В качестве безупречной верности воспроизведения видео можно принять такой технологический уровень, при котором картинку на мониторе будет невозможно отличить от окружающей действительности. Известно, что в настоящий момент ни традиционные телевизоры и проекторы, ни очки и шлемы виртуальной реальности не способны на такое, но уже прослеживаются закономерности и направления, в которых имеет смысл работать. Под катом я постараюсь определить наиболее значимые критерии качества воспроизведения в соответствии с тем, каким образом работает наше зрительное восприятие.
Чтобы понять, насколько значимым является тот или иной критерий, необходимо иметь представление о том, как работает зрение и как мозг распознает и обрабатывает зрительные сигналы. На человеческой сетчатке существует крайне значимый участок — центральная ямка сетчатки. Именно этот участок, составляющий лишь 1 % всей площади зрительного сенсора, способен видеть и передавать изображение высокой четкости и детальности (т.е. обладает для этого достаточным количеством зрительных рецепторов: палочек и колбочек). При этом информация, приходящая от этого участка, загружает работой более половины нейронов зрительной зоны коры головного мозга.
Одномоментно зрительная ямка способна охватить лишь 2 градуса зрительного поля. Более масштабная визуальная картина окружающего мира создается в зрительной зоне коры за счет отдельных “просканированных” участках информации, а также благодаря системе зрительной памяти. Процесс визуального “сканирования” происходит быстро, но всё же занимает определенное время. На данный момент нет единого мнения о том, разницу свыше какого разрешения человеческий глаз не способен определить.
Обработка мозгом зрительной информации происходит быстро и незаметно для нас, но именно эта высокая скорость восприятия и обработки позволяет нам хорошо замечать разницу между разной частотой смены кадров и ряд других особенностей, которые сигнализируют мозгу о том, что изображение липа и не является действительностью. При этом можно сказать, что всё изображение действительности, которое мы видим — это продукт регулярной деятельности мозга, несколько отстающий по времени (на миллисекунды) от событий, происходящих в текущий момент. Значит можно утверждать, что наши глаза живут в очень недалеком прошлом.
Важным аспектом является частота смены кадров. Иллюзия непрерывного движения возникает уже при частоте 13 — 17 кадров в секунду. При этом известно, что человеческое зрение способно фиксировать объекты на экране, появившиеся на доли секунды (от 1/16 до 1/220 секунды). Эта способность индивидуальна и особенно хорошо развита у киберспортсменов и видеоинженеров. По данным профессора Стюарта Энстоса, мозг способен сокращать «задержку» зрительного восприятия до 10-15 миллисекунд.
Палочки практически не восприимчивы к цветам, а колбочки медленнее палочек. Грубо, можно сказать, что «максимальным FPS” в человеческом зрении обладают палочки. В центре сетчатки сконцентрированы как палочки, так и колбочки, что позволяет получать полноценную картинку, при этом “медленные” колбочки формируют в большей степени цветовосприятие, а палочки в основном фиксируют движение.
Основным физическим ограничением скорости визуального восприятия считается инертность рецепторов сетчатки (палочек и колбочек), в основном они определяют временную задержку при передаче информации от глаза к мозгу. Массачусетский технологический измерил минимальную инертность фоторецепторов для передачи визуальной информации — она составила 13 мс (что соответствует 77 fps), подтвердив данные Энстоса. Также известно о минимальной «палочко-колбочковой» инертности, которая составляет 20 мс(что соответствует 50 fps). Говоря проще — физиологическое ограничение скорости зрительного восприятия — 77 fps, а цветового восприятия — 50 fps.
Однако, существуют данные эмпирических наблюдений, свидетельствующих, что картинка 50 fps и, например, 96 fps визуально отличаются интенсивностью цветов и субъективной оценкой четкости изображений. Этой разницей оправдывают создание фильмов и другого контента с частотой выше 77 fps.
Некоторые авторы пишут о том, что мозг снабжен определенным алгоритмом, который обрабатывает зрительную информацию, и даже сравнивают его с алгоритмами обработки камер. В действительности сравнение не корректно, а понятие алгоритм применимо лишь при натягивании сетчатки на глобус. Наш мозг, как многие, полагаю, знают, аналоговая система, и в нем происходят электрохимические и биохимические процессы, определяющие результаты его деятельности. Это можно назвать алгоритмом, но он будет очень далёк от цифровых алгоритмов обработки данных.
Таким образом, критерии, отвечающие за верность воспроизведения, напрямую связаны с тем, каким образом мы получаем зрительную информацию и как её воспринимает и обрабатывает мозг. Справедливо будет утверждать, что секрет реалистичности лежит в плоскости создания такой иллюзии, которую мозг не сможет идентифицировать как фейковое изображение. И тут есть большая проблема, данные о скорости восприятия реального и формирования вымышленного визуального образа изучены недостаточно, могут индивидуально варьироваться в достаточно широких пределах. и зависят от сотен физиологических факторов. По этой причине нормы качественного изображения обычно определяются эмпирически, точнейшим методом научного тыка.
Нередко, люди, только начинающие вникать в проблематику качества цифровой картинки, полагают, что его единственным значимым критерием является разрешение. Отчасти можно с ними согласиться, так как детальность картинки в первую очередь зависит от него. Сегодня ведутся споры о том, насколько в быту нужны форматы с разрешением выше, чем FullHD. При этом понятно, что добиться реализма в видео без высокого разрешения нельзя, хотя оно и не является единственным условием высокой верности воспроизведения.
Из субъективного опыта можно сделать вывод, что если очень долго присматриваться и обращать внимание на детали, особенно когда речь идёт о проекторах и действительно больших диагоналях экрана, использование 4K оправдано. Более того, сегодня 4K превращается в своеобразный стандарт для людей, заботящихся о качестве картинки, мол, с разрешением ниже даже неприлично покупать. Торговые компании и наша в том числе очень рады такому стереотипу — это позволяет нам заработать больше.
Уже сегодня многие покупатели считают 8K необходимымзлом. Как правило, такое желание возникает не от того, что покупателю реально заметна разница. Часто они просто хотят приобрести такое устройство, в котором не будут сомневаться, т.е. ради того, чтобы знать, что купленный телевизор или проектор создан на пределе технологических возможностей своего времени. Особую значимость разрешение приобретает в VR-системах, где стараются добиться погружения пользователя и стремятся создать максимально достоверную иллюзию действительности.
Вопреки прогнозам здравомыслящих, но не очень прозорливых экспертов, вещание в 8K уже началось. В этом формате вещает RED и NHK, а возможно ещё кто-то, кого я не знаю, но эти стали пионерами. Опираясь на исследования в области VR, некоторые прочат 8K будущее и пишут о том, что этот формат имеет большую практическую ценность. Я не разделяю столь откровенного оптимизма, хотя убежден, что рано или поздно смогу обнаружить какие-то отличия от 4K и даже, что 8K не станет последним в гонке разрешений.
Это не от того, что 8K действительно необходимо, но в связи с тем прогресс не должен останавливаться. Технологическая возможность увеличивать разрешение зависит от фактического размера пикселя, логично, что чем последний меньше, тем выше разрешение. Я сомневаюсь, что пиксели можно уменьшать бесконечно, рано или поздно этот процесс дойдет до физического ограничения.
Проблемой высокого разрешения становится постоянно увеличивающийся объем видео, а соответственно, необходимость в постоянном наращивании пропускной способности каналов передачи данных. Если речь идёт о телевидении и регулярном вещании, колоссальные объемы данных высокого разрешения (даже 4K) порой вызывают лаги и искажения, что связано с недостаточным для вещания каналом.
Способности нашего зрения к восприятию света и цветов различной интенсивности, различению большого количества оттенков сформировало ещё один критерий качества видеокартинки — динамический диапазон. Характеристика, фиксирующая отношение наиболее яркого цвета к менее яркому (но ещё не чёрному) в видеоконтенте. Высокий динамический диапазон и технологию его обеспечивающую сегодня принято называть HDR. Принято считать, что человеческий глаз способен определять динамический диапазон в пределах 1 000 000:1, а порой и выше. Такая способность зрения во многом обусловлена необходимостью различать габариты и очертания окружающих нас предметов, даже при не очень хорошем освещении.
Известен эксперимент, отражающий важность динамического диапазона наравне с разрешением. Так, сравнению подверглись изображения 1080p SDR и UHD HDR, а затем 1080p HDR и UHD HDR. В первом сравнении разница была заметна невооруженным взглядом, но для второго случая не была очевидна. Субъективная оценка была таковой, что использование HDR воспринимается как улучшение качества (четкости, детальности, точности) картинки на 90%, по сравнению с SDR.
В нашем блоге мы однажды уже касались вопроса частоты кадров в секунду. Объективно, высокая частота кадров в секунду однозначно делает изображение более реалистичным. Что доказал первый в мире фильм, снятый в 96fps, о котором мы уже писали. Характерно, что фильм был документальный. Не случайно, что именно частоты во много раз выше традиционного для кино 24fps, применяются в лучшей в мире серийной системе виртуальной реальности HTC vive pro. Как я уже упоминал, именно в VR существует острая необходимость в максимально реалистичном изображении.
Рекорд документалки, о которой мы писали, был побит американской картиной «Долгий путь Билли Линна в перерыве футбольного матча» Энга Ли, где использовалась частота уже 120fps. Несмотря на прорывы в области частоты, большинство людей встречают нововведения с негодованием, обвиняя в эффекте “мыльной оперы”, “телевизионности”, “низкой кинематографичности”, “художественной злокачественности“ такой частоты. Мол, убивает нехорошая частота всю “тёплую ламповую магию кино”.
Эффект объясним тем, что подавляющее большинство критиков отождествляют хорошее кино с тем, что уже видели, а видели они хорошее кино в кинотеатрах с 24fps. При этом повышение частоты у большинства ассоциируется с телесериалами, далеко не все из которых отличались сносным качеством. Стандарт настолько укоренился в человеческой культуре, что гарантировано отражается на восприятии и становится одним из критериев качества, хотя объективно таковым быть не должен.
Логичными слагаемыми верности воспроизведения как обычно стали вполне понятные, физически объяснимые характеристики, как и в случае со звуком. При этом по аналогии возникает запрос на архаику (в случае со звуком были теплые лампы) и резкая критика прогрессивного направления развития. Очевидно, должны пройти поколения до момента, когда хорошее кино и прочий видеоконтент будет восприниматься не через призму количества кадров в секунду, но по иным критериям. Возможно, я упустил какой-то из значимых факторов верности воспроизведения. Напишите мне об этом в комментариях. Буду признателен также за ваши личные представления о том, каким может быть видео будущего.
Использован фотоконтент:
www.quora.com/How-come-its-really-hard-to-look-directly-at-something-in-low-light-but-when-we-look-right-next-to-the-object-we-can-see-it-better
data.cyclowiki.org/images/9/90/Centralnaya-yamka-setchatki.jpg
www.provideomontaj.ru/tv-8k-chto-jeto-nuzhno-li-sejchas-pokupat-televizor-8k
Джинса
В нашем каталоге представлен широкий ассортимент проекторов, телевизоров и другого видео оборудования. Посетив наши шоурумы, вы сможете сравнить продукцию различных производителей и отдать свое предпочтение тем моделям, которые соответствуют вашим личным критериям выбора.
В качестве безупречной верности воспроизведения видео можно принять такой технологический уровень, при котором картинку на мониторе будет невозможно отличить от окружающей действительности. Известно, что в настоящий момент ни традиционные телевизоры и проекторы, ни очки и шлемы виртуальной реальности не способны на такое, но уже прослеживаются закономерности и направления, в которых имеет смысл работать. Под катом я постараюсь определить наиболее значимые критерии качества воспроизведения в соответствии с тем, каким образом работает наше зрительное восприятие.
Нейрофизиология зрительного восприятия
Чтобы понять, насколько значимым является тот или иной критерий, необходимо иметь представление о том, как работает зрение и как мозг распознает и обрабатывает зрительные сигналы. На человеческой сетчатке существует крайне значимый участок — центральная ямка сетчатки. Именно этот участок, составляющий лишь 1 % всей площади зрительного сенсора, способен видеть и передавать изображение высокой четкости и детальности (т.е. обладает для этого достаточным количеством зрительных рецепторов: палочек и колбочек). При этом информация, приходящая от этого участка, загружает работой более половины нейронов зрительной зоны коры головного мозга.
Одномоментно зрительная ямка способна охватить лишь 2 градуса зрительного поля. Более масштабная визуальная картина окружающего мира создается в зрительной зоне коры за счет отдельных “просканированных” участках информации, а также благодаря системе зрительной памяти. Процесс визуального “сканирования” происходит быстро, но всё же занимает определенное время. На данный момент нет единого мнения о том, разницу свыше какого разрешения человеческий глаз не способен определить.
Обработка мозгом зрительной информации происходит быстро и незаметно для нас, но именно эта высокая скорость восприятия и обработки позволяет нам хорошо замечать разницу между разной частотой смены кадров и ряд других особенностей, которые сигнализируют мозгу о том, что изображение липа и не является действительностью. При этом можно сказать, что всё изображение действительности, которое мы видим — это продукт регулярной деятельности мозга, несколько отстающий по времени (на миллисекунды) от событий, происходящих в текущий момент. Значит можно утверждать, что наши глаза живут в очень недалеком прошлом.
Важным аспектом является частота смены кадров. Иллюзия непрерывного движения возникает уже при частоте 13 — 17 кадров в секунду. При этом известно, что человеческое зрение способно фиксировать объекты на экране, появившиеся на доли секунды (от 1/16 до 1/220 секунды). Эта способность индивидуальна и особенно хорошо развита у киберспортсменов и видеоинженеров. По данным профессора Стюарта Энстоса, мозг способен сокращать «задержку» зрительного восприятия до 10-15 миллисекунд.
Палочки практически не восприимчивы к цветам, а колбочки медленнее палочек. Грубо, можно сказать, что «максимальным FPS” в человеческом зрении обладают палочки. В центре сетчатки сконцентрированы как палочки, так и колбочки, что позволяет получать полноценную картинку, при этом “медленные” колбочки формируют в большей степени цветовосприятие, а палочки в основном фиксируют движение.
Основным физическим ограничением скорости визуального восприятия считается инертность рецепторов сетчатки (палочек и колбочек), в основном они определяют временную задержку при передаче информации от глаза к мозгу. Массачусетский технологический измерил минимальную инертность фоторецепторов для передачи визуальной информации — она составила 13 мс (что соответствует 77 fps), подтвердив данные Энстоса. Также известно о минимальной «палочко-колбочковой» инертности, которая составляет 20 мс(что соответствует 50 fps). Говоря проще — физиологическое ограничение скорости зрительного восприятия — 77 fps, а цветового восприятия — 50 fps.
Однако, существуют данные эмпирических наблюдений, свидетельствующих, что картинка 50 fps и, например, 96 fps визуально отличаются интенсивностью цветов и субъективной оценкой четкости изображений. Этой разницей оправдывают создание фильмов и другого контента с частотой выше 77 fps.
Некоторые авторы пишут о том, что мозг снабжен определенным алгоритмом, который обрабатывает зрительную информацию, и даже сравнивают его с алгоритмами обработки камер. В действительности сравнение не корректно, а понятие алгоритм применимо лишь при натягивании сетчатки на глобус. Наш мозг, как многие, полагаю, знают, аналоговая система, и в нем происходят электрохимические и биохимические процессы, определяющие результаты его деятельности. Это можно назвать алгоритмом, но он будет очень далёк от цифровых алгоритмов обработки данных.
Таким образом, критерии, отвечающие за верность воспроизведения, напрямую связаны с тем, каким образом мы получаем зрительную информацию и как её воспринимает и обрабатывает мозг. Справедливо будет утверждать, что секрет реалистичности лежит в плоскости создания такой иллюзии, которую мозг не сможет идентифицировать как фейковое изображение. И тут есть большая проблема, данные о скорости восприятия реального и формирования вымышленного визуального образа изучены недостаточно, могут индивидуально варьироваться в достаточно широких пределах. и зависят от сотен физиологических факторов. По этой причине нормы качественного изображения обычно определяются эмпирически, точнейшим методом научного тыка.
Разрешение
Нередко, люди, только начинающие вникать в проблематику качества цифровой картинки, полагают, что его единственным значимым критерием является разрешение. Отчасти можно с ними согласиться, так как детальность картинки в первую очередь зависит от него. Сегодня ведутся споры о том, насколько в быту нужны форматы с разрешением выше, чем FullHD. При этом понятно, что добиться реализма в видео без высокого разрешения нельзя, хотя оно и не является единственным условием высокой верности воспроизведения.
Из субъективного опыта можно сделать вывод, что если очень долго присматриваться и обращать внимание на детали, особенно когда речь идёт о проекторах и действительно больших диагоналях экрана, использование 4K оправдано. Более того, сегодня 4K превращается в своеобразный стандарт для людей, заботящихся о качестве картинки, мол, с разрешением ниже даже неприлично покупать. Торговые компании и наша в том числе очень рады такому стереотипу — это позволяет нам заработать больше.
Уже сегодня многие покупатели считают 8K необходимым
Вопреки прогнозам здравомыслящих, но не очень прозорливых экспертов, вещание в 8K уже началось. В этом формате вещает RED и NHK, а возможно ещё кто-то, кого я не знаю, но эти стали пионерами. Опираясь на исследования в области VR, некоторые прочат 8K будущее и пишут о том, что этот формат имеет большую практическую ценность. Я не разделяю столь откровенного оптимизма, хотя убежден, что рано или поздно смогу обнаружить какие-то отличия от 4K и даже, что 8K не станет последним в гонке разрешений.
Это не от того, что 8K действительно необходимо, но в связи с тем прогресс не должен останавливаться. Технологическая возможность увеличивать разрешение зависит от фактического размера пикселя, логично, что чем последний меньше, тем выше разрешение. Я сомневаюсь, что пиксели можно уменьшать бесконечно, рано или поздно этот процесс дойдет до физического ограничения.
Проблемой высокого разрешения становится постоянно увеличивающийся объем видео, а соответственно, необходимость в постоянном наращивании пропускной способности каналов передачи данных. Если речь идёт о телевидении и регулярном вещании, колоссальные объемы данных высокого разрешения (даже 4K) порой вызывают лаги и искажения, что связано с недостаточным для вещания каналом.
Динамический диапазон
Способности нашего зрения к восприятию света и цветов различной интенсивности, различению большого количества оттенков сформировало ещё один критерий качества видеокартинки — динамический диапазон. Характеристика, фиксирующая отношение наиболее яркого цвета к менее яркому (но ещё не чёрному) в видеоконтенте. Высокий динамический диапазон и технологию его обеспечивающую сегодня принято называть HDR. Принято считать, что человеческий глаз способен определять динамический диапазон в пределах 1 000 000:1, а порой и выше. Такая способность зрения во многом обусловлена необходимостью различать габариты и очертания окружающих нас предметов, даже при не очень хорошем освещении.
Известен эксперимент, отражающий важность динамического диапазона наравне с разрешением. Так, сравнению подверглись изображения 1080p SDR и UHD HDR, а затем 1080p HDR и UHD HDR. В первом сравнении разница была заметна невооруженным взглядом, но для второго случая не была очевидна. Субъективная оценка была таковой, что использование HDR воспринимается как улучшение качества (четкости, детальности, точности) картинки на 90%, по сравнению с SDR.
Частота кадров в секунду
В нашем блоге мы однажды уже касались вопроса частоты кадров в секунду. Объективно, высокая частота кадров в секунду однозначно делает изображение более реалистичным. Что доказал первый в мире фильм, снятый в 96fps, о котором мы уже писали. Характерно, что фильм был документальный. Не случайно, что именно частоты во много раз выше традиционного для кино 24fps, применяются в лучшей в мире серийной системе виртуальной реальности HTC vive pro. Как я уже упоминал, именно в VR существует острая необходимость в максимально реалистичном изображении.
Рекорд документалки, о которой мы писали, был побит американской картиной «Долгий путь Билли Линна в перерыве футбольного матча» Энга Ли, где использовалась частота уже 120fps. Несмотря на прорывы в области частоты, большинство людей встречают нововведения с негодованием, обвиняя в эффекте “мыльной оперы”, “телевизионности”, “низкой кинематографичности”, “художественной злокачественности“ такой частоты. Мол, убивает нехорошая частота всю “тёплую ламповую магию кино”.
Эффект объясним тем, что подавляющее большинство критиков отождествляют хорошее кино с тем, что уже видели, а видели они хорошее кино в кинотеатрах с 24fps. При этом повышение частоты у большинства ассоциируется с телесериалами, далеко не все из которых отличались сносным качеством. Стандарт настолько укоренился в человеческой культуре, что гарантировано отражается на восприятии и становится одним из критериев качества, хотя объективно таковым быть не должен.
Итог
Логичными слагаемыми верности воспроизведения как обычно стали вполне понятные, физически объяснимые характеристики, как и в случае со звуком. При этом по аналогии возникает запрос на архаику (в случае со звуком были теплые лампы) и резкая критика прогрессивного направления развития. Очевидно, должны пройти поколения до момента, когда хорошее кино и прочий видеоконтент будет восприниматься не через призму количества кадров в секунду, но по иным критериям. Возможно, я упустил какой-то из значимых факторов верности воспроизведения. Напишите мне об этом в комментариях. Буду признателен также за ваши личные представления о том, каким может быть видео будущего.
Использован фотоконтент:
www.quora.com/How-come-its-really-hard-to-look-directly-at-something-in-low-light-but-when-we-look-right-next-to-the-object-we-can-see-it-better
data.cyclowiki.org/images/9/90/Centralnaya-yamka-setchatki.jpg
www.provideomontaj.ru/tv-8k-chto-jeto-nuzhno-li-sejchas-pokupat-televizor-8k
Джинса
В нашем каталоге представлен широкий ассортимент проекторов, телевизоров и другого видео оборудования. Посетив наши шоурумы, вы сможете сравнить продукцию различных производителей и отдать свое предпочтение тем моделям, которые соответствуют вашим личным критериям выбора.
Xo4y_3uMy
Я не могу совместить два ваших утверждения
и Так 220 или 77 fps?Sound_cULT Автор
220 — предельное значение у физиологически тренированных (геймеры, монтажеры, видеоинженеры и т.п.)
77 — значение зафиксированная в исследовании MTI
77 условно можно считать пределом для среднестатистическго homo sapiens, не занятого специфическими видами деятельности.
eboyar
Но почему я без проблем вижу разницу между 75Гц моего монитора и 120Гц дисплея iPad Pro? Ни разу не геймер, не монтажер, не видеоинженер
Sound_cULT Автор
От того, что заметить нечто в одном из 77 кадров или 120 кадров в секунду и определить разницу в частоте мерцания — это разные вещи.
eboyar
А в чем тогда смысл этого теста на частоту мерцания, если он всё равно не отражает реального положение дел?
Ощущения > циферки, а по этим ощущениям условные 120Гц определенно приятнее, чем 77
Sound_cULT Автор
«А в чем тогда смысл этого теста на частоту мерцания?»
Это вы его проводите и говорите о том, что замечаете разницу, мне откуда знать в чем его смысл?
Такие субъективные тесты должны быть «слепыми», т.е вы не должны знать где какое устройство и какая у них частота обновления. Тогда можно говорить о его ценности. Я предполагаю, что 120 действительно субъективно приятнее, но сам тест не корректен.
eboyar
А, неправильно понял ваши слова
Но даже если я и не смогу заметить что-то на кадре длительностью менее 1/77 секунды, так ли это важно? Одиночных кадров не бывает, а движения и анимации в своей сути являются плавными. И вот уже для них повышение фпс уменьшает разрывы между кадрами, делая картинку приятнее
Достаточно лишь сходить в любой магазин электроники к стенду с ноутбуками :)
arheops
Вы используете эффект параллакса.
Тоесть технически вы не можете отличить отдельные кадры, но за счет смещения вашего глаза вы можете «заметить», что что-то поменялося(что — сказать не можете).
Это нужно было для выявления хищников в листве джунглей. Разницы в контенте по факту никакой, но мозг вам «намекает», что что-то не то.
Fedorkov
На интерфейсах можно и 200 Гц отличить: если поводить мышью, курсор распадётся на повторяющиеся изображения, расстояние между которыми зависит от частоты обновления. Вас же не удивляет, что вы видите молнию продолжительностью 50 микросекунд?
Вот если в интерфейсах сделают motion blur, отличить 75 и 120 станет гораздо сложнее.
AlexTOPMAN
Видите в динамике (видео) или именно в статике, когда никаких действий с iPad не производите?