S3D: No pain IS gain
В апреле этого года Google анонсировала технические детали нового формата для VR-видео — VR180. Спецификации формата были выложены в репозиторий Google на GitHub, производителям камер было предложено делать специальные камеры, формат стал поддерживаться на YouTube.
Основная идея довольно проста. В «обычном» VR-видео — 360-видео — можно вертеть головой во всех направлениях по горизонтали, при этом основное действие происходит, как правило, с какой-то одной стороны, а на устройство транслируется весь поток, что приводит к передаче и хранению избыточной информации. По факту в подавляющем большинстве случаев нет необходимости в реализации просмотра на 360 градусов — для достижения того же эффекта вполне достаточно и 180 градусов. При этом «вторая половина» кадра используется для второго ракурса, то есть получается стерео.
Таким образом, предложенный формат обеспечивает даже большее ощущение погружения, чем от 360-видео, является более дешевым в производстве, более простым в съемке и не имеет проблем со стичингом.
Как такое возможно, и что же предложили в Google?
Кому интересно VR-видео ближайшего будущего — добро пожаловать под кат!
Введение в VR180
Сначала о хорошем.
VR180 заметно проще снимать, чем 360-видео. Для съемки качественного 360-видео используется до 17 камер (пример от Xiaomi ниже), что порождает массу проблем с размером рабочего видео, частичным отказом, перегревом, нестабильным фокусом камер и т. д. При этом, с точки зрения простого пользователя, лучшими признавались камеры с двумя fisheye объективами (раз, два, три).
Источник
Новый формат снимается также двумя камерами. Это заметно снижает стоимость конечного устройства. При этом техника съемки сильно упрощается, поскольку остаются актуальны все приемы работы с обычной камерой (только результат получается потенциально более зрелищным и с большим погружением). Для успеха формата важно, чтобы им легко могли воспользоваться каждая домохозяйка и каждый школьник. Поэтому, чем проще — тем лучше.
Далее, в VR180 пропадают проблемы так называемого стичинга (склейки) — крайне заметные артефакты в местах, где сшивались картинки с двух камер. Еще недавно казалось, что пройдет немного времени, и проблемы стичинга будут решены. Увы, они оказались гораздо сложнее. Если на границе склейки есть быстро движущийся или полупрозрачный объект, то на нынешнем уровне развития алгоритмов обработки видео в автоматическом режиме проблема не решается. Безусловно, алгоритмы автоматического матирования развиваются, однако отсутствие артефактов не гарантируется даже с Deep Learning методами. В VR180 стичинга нет, а значит, в принципе нет и связанных с ним проблем.
И, наконец, почти всегда снятое 360-видео является плоским. То есть с точки зрения бинокулярного зрения картинка воспринимается висящей на некотором экране перед глазами, что зачастую уменьшает «вау-эффект» и эффект погружения, а VR180 изначально и по умолчанию — стереоформат.
Все эти моменты выглядят весьма многообещающе с точки зрения прогноза успеха формата. Как следствие, производители довольно активно начали выпускать камеры, специально ориентированные на VR180, например:
Тот факт, что на рынок VR180 вышла Xiaomi, безусловно, внушает оптимизм.
Также появились решения, позволяющие самому собрать камеру для съемки VR180 из двух обычных камер с fisheye-объективами. Иногда достаточно только напечатать или купить крепление, чтобы начать эксперименты (ниже примеры c GoPro, цифровыми «мыльницами», зеркалками Sony):
Источник
Источник: http://products.entaniya.co.jp/en/products/equipment-for-3d-stereo-180-vr/
Кроме того, появились забавные решения, когда одна камера поддерживает съемку в форматах и VR180, и видео 360 (это «раскладушка», которая в свернутом состоянии снимает 360, а в развернутом — VR180):
Источник
Помимо прочего, открылись новые горизонты экспериментов по съемке VR-видео (на фото YI Horizon VR180 camera от Xiaomi):
Количество новых устройств для съемки в VR180 весьма велико, и это заметно способствует популярности нового формата.
Внедрение VR180
Сегодня компании пытаются внедрить VR везде, где только можно, хотят сделать формат более популярным и распространенным. А главное — дешевым. Google не исключение. Все помнят их бюджетное решение по внедрению «шлемов виртуальной реальности» (англ. Head Mounted Display, HMD) в широкое пользование — Google Cardboard.
Его функционал, конечно же, никак не сравнится с дорогими HMD, но основная цель достигнута: сделать VR доступнее и превратить каждый смартфон в шлем виртуальной реальности при дополнительных затратах менее $1.
Развивая успех, Google запускает новый формат VR180 с поддержкой загрузки на YouTube и со специальным фильтром для поиска:
Так выглядит кадр видео нового формата «изнутри»:
В MP4 добавлены специальные мета-данные, которые превращают видео в сферическое. Вообще говоря, если просто перейти по ссылке, то скорее всего вы увидите обычное плоское видео Это связано с тем, что помимо VR180 видео на сайт загружена еще проекция одного из ракурсов (левого) на обычный прямоугольник. Чтобы увидеть картинку как на рисунке выше, нужно, например, скачать видео именно в чистом MP4 формате. В основном, они имеют разрешение 4K. Возможность движения камеры гарантированно появляется при просмотре на мобильном устройстве с приложением Cardboard (Google Play, AppStore). Ну и, конечно же, в полноценном HMD.
Съемка таких видеороликов, по аналогии с картонными шлемами, тоже должна была получиться достаточно дешевой для широкого распространения среди пользователей. Камера, снимающая видео в таком формате, стоит в районе 300 долларов. По сравнению с дорогими стереоригами это абсолютно новый уровень. Казалось бы, все прекрасно. Однако проблема в том, что новый формат — это стереоформат, а у стерео, как известно, существует масса сложно решаемых проблем.
Качество стерео в VR
Как только речь заходит про стерео (в просторечии 3D), сразу вспоминаются головные боли от походов в 3D кинотеатры. Мы рассматривали причины такого дискомфорта в большом цикле статей (раз, два, три, четыре, пять, шесть, семь) гораздо более подробно, но применительно к стереофильмам. Если коротко, то по некоторому ряду причин многие 3D фильмы снимаются (или конвертируются) так, что чувствительным к артефактам стереовидео зрителям остается только заблаговременно брать с собой цитрамон. К сожалению, большинство проблем в 3D фильмах связаны со стереоскопическими артефактами, которые также встречаются в VR180. Значит, все факторы, вызывающие дискомфорт в таких фильмах, также будут вызывать дискомфорт и при просмотре видео в виртуальной реальности. Даже базовая проверка качества контента VR180 показала, что оно сопоставимо с качеством обычных стерео примерно середины прошлого века…
Другими словами, энтузиасты будут в восторге, но массовый зритель будет жаловаться.
Для анализа качества стереовидео использовался проект VQMT3D, разрабатываемый в видеогруппе лаборатории компьютерной графики и мультимедиа на факультете ВМК, МГУ. Его предназначение — предоставить авторам стереофильмов возможность отслеживать возникновение всех возможных артефактов на этапе post-production. А поскольку VR180 — тоже стерео, то де-факто проект применим и к этому формату с некоторыми оговорками. В приведенных далее примерах информация по кадрам получена с помощью VQMT3D.
Искажения цвета
Данная проблема — самая простая для понимания и относительно простая для исправления. Закройте один глаз и посмотрите на какой-нибудь объект. Теперь сделайте то же самое с другим глазом и ответьте на вопрос: меняются ли цвета при смене глаза? В общем случае — нет. Так и в стереовидео не должно быть различий в цвете одних и тех же объектов для левого и правого ракурсов. Однако вот что мы видим в реальных видео, взятых на YouTube (обратите внимание на однотонные области, например, на небо или на воду):
Ссылка на видео
Искажения цвета могут возникать по многим причинам, например, из-за различной калибровки камер, нагрева их матриц или при засветке края объектива. Поэтому, даже при идентичных параметрах съемки для одинаковых камер, цвета могут заметно разойтись.
Наиболее удобно визуализировать этот артефакт с использованием «шахматки», когда правый ракурс приводится к левому с помощью компенсации движения, а затем выбираются блоки из левого и приведенного правого ракурсов в шахматном порядке.
Ниже пример, когда источники света попадают в кадр:
Ссылка на видео
Мало того, что сами источники света сильно различаются на ракурсах, так они еще и бликами искажают цвета на всем изображении.
Более жесткий пример, когда солнце попадает в кадр:
Ссылка на видео
По причине неудачной постановки камеры напротив солнца, возникает жуткий артефакт в виде красного блика на матрице. Искажения цвета достаточно редко встречаются в реальной жизни, а артефакты указанного выше типа не встречаются вообще, что в итоге приводит к накоплению усталости при просмотре. К сожалению, у наиболее чувствительной части зрителей усталость переходит в головную боль.
Различия по резкости
Еще одна проблема, возникающая при съемке стереовидео, — различия в резкости в левом и правом ракурсах. В реальной жизни данная проблема встречается довольно часто. Например, если вы просидите 10–12 часов за компьютером, напряженно всматриваясь в экран (согласитесь, такое бывает), то в конце дня правый и левый глаз могут заметно разойтись по фокусировке, и легкая близорукость/дальнозоркость до вечера обеспечена. При этом мозг достаточно успешно компенсирует эту проблему. Условно говоря, мы получаем четкие детали изображения с правого или левого глаза для далеких/близких объектов. Т. е., говоря инженерным языком, проблема штатно решается встроенными средствами. А утром, как правило, зрение восстанавливается. И все бы хорошо, но в реальном стереовидео фокусировка может «скакать» от сцены к сцене. Получается, что «дальнозорким» становится то правый глаз, то левый, а иногда оба видят хорошо, что приводит к заметному дискомфорту при просмотре. Особенно для людей в возрасте, у которых глаза уже «стационарно» разошлись по резкости.
Примеры расхождений для VR180, где для лучшей наглядности представлены увеличенные фрагменты одной и той же области для двух ракурсов:
Ссылка на видео
Вот другой фрагмент этого кадра:
Ссылка на видео
Появление данного артефакта связано с расхождением фокусировки камер по техническим причинам. А из-за отсутствия профессиональной постобработки даже «вырвиглазные» сцены попадают на YouTube.
Ссылка на видео
Почти все надписи на увеличенном изображении различаются по резкости. Обратите внимание на надпись «12 CH», которая будет дискомфортно «стробить» при просмотре.
Сдвиг по времени
Как ни странно, хотя ядра компьютеров давно и успешно синхронизируются на миллионные доли секунды, стереокамеры при съемке до сих пор расходятся во времени на сотые, а то и на десятые доли секунды. Один глаз видит события, которые еще не произошли для другого глаза! Нельзя даже придумать аналог для этой проблемы в реальном мире. И этот артефакт также был найден в VR180.
Обратите внимание на окно с неоновой вывеской в правой части кадра:
Ссылка на видео
Данный сдвиг по времени был замечен случайно при анализе расхождения по цвету, которое тут тоже присутствует. Мерцающая вывеска бросается в глаза даже без использования специальных метрик, направленных на нахождение временного сдвига. Просто-напросто левый кадр отстает от правого!
Вот еще пример из той же сцены. Посмотрите на стопы пешеходов:
Ссылка на видео
Тут отчетливо видно, что на правом кадре нога передвинута дальше, чем на левом, будто бы один кадр отстает от другого на несколько мгновений, хотя они должны были быть сняты ровно в один и тот же момент. Мы проводили эксперимент, в рамках которого показали 302 зрителям короткие фрагменты стереофильмов с разными артефактами и просили после каждого фрагмента со смартфона/ноутбука заполнять форму с указанием уровня болезненности. Сдвиг во времени показал себя как наиболее болезненный артефакт — это невозможная для головного мозга ситуация и попытка ее «обработать» приводит к явному ощутимому дискомфорту. К сожалению, чаще всего распространен сдвиг менее, чем на 1 кадр, и его не так просто исправить.
Кстати, на примере выше невооруженным глазом виден еще и поворот кадра между ракурсами (особенно в левом нижнем углу), который также весьма дискомфортен, но исправляется намного проще. Впрочем, другие артефакты — это отдельная большая история, к которой мы еще, надеюсь, вернемся.
Google «накосячил»?
Вполне могло показаться, что данные артефакты присущи видео, полученным при любительской съемке, и при правильном использовании те же камеры смогут дать хорошее изображение. К сожалению, это не так. Вот рекламный видео-ролик формата VR180, который расположен на официальной страничке по VR180. Казалось бы, он должен задавать эталон качества. Но если присмотреться…
Расхождения по цвету:
Абсолютно во всех точках есть искажение цвета. Как будто на одном из ракурсов ошибочно выставлен немного больший баланс белого.
А здесь уже большая часть кадра без искажений. Но правый нижний угол все равно заметно расходится по цвету, что вызывает характерное визуальное «стробление» при просмотре.
Примечательно, что искажение цвета на дороге тоже было замечено без специальных средств для анализа стерео. Его обнаружили просто при покадровом просмотре видео (похоже на обработку видео с разными параметрами).
Различия в резкости:
Здесь расхождение заметнее всего на полу и на швах дивана. Наибольшее различие в резкости — именно на границах объектов.
Заключение
Что мы имеем в итоге?
VR, в т. ч. 360-видео, активно распространяется. Технология привлекает пользователей и выглядит очень перспективной. Но техническое качество текущей реализации вызывает дискомфорт от просмотра. В итоге какое-то количество людей, заинтересованных в том, чтобы попробовать новый формат, получает головную боль, а при неудачной съемке (как правило, при резком движении камеры) — вдобавок головокружение и тошноту, что приводит к разочарованию в формате.
Что с этим можно сделать?
В данный момент многими (в том числе и нами) разрабатываются инструменты по контролю качества, а также по исправлению проблем стерео.
Вот, например, примеры исправления цвета:
Слева — исходные ракурсы, справа — скорректированные по цвету с помощью нашего алгоритма. Засвеченный ракурс целиком исправлен.
Цвет на потолке пришел в норму.
Больше примеров автоматического исправления цвета смотрите в отдельной статье, посвященной искажению цвета в стерео.
Всего на данный момент детектируется порядка 20 типов артефактов снятого и сконвертированного стереовидео, большинство из которых актуальны и для VR180. В дальнейшем планируется расширение методов контроля и улучшения качества VR видео:
- адаптация текущих методов контроля качества под VR
- дополнение и реализация методов исправления артефактов
- составление автоматических отчетов по видео с предсказанием болезненности, вызванной просмотром, дабы предостеречь пользователей и отрейтинговать контент производителей, мотивировав их внимательнее относиться к качеству
Каковы перспективы формата в целом?
Очевидно, что текущие проблемы — проблемы младенчества технологии и они будут активно решаться. Можно ожидать, что:
- производители камер в комплекте с камерой будут поставлять софт, решающий часть базовых проблем
- со временем (при наличии спроса) появится профессиональный софт для исправления артефактов
- весьма вероятно, что на YouTube будет реализовано исправление части артефактов автоматически при загрузке VR180 видео, примерно так же, как сейчас автоматически исправляется дрожание и интерлейсинг старых добрых 2D видео
Из забавного: сейчас возникла мода на смартфоны с 3-4 камерами с задней стороны, которые обеспечивают кардинальное повышение качества фотографий.
Источник: Samsung Galaxy A7 (2018) & Samsung Galaxy A9 (2018)
Логично ожидать, что при росте популярности VR180 его поддержка «из коробки» будет встроена во все основные модели смартфонов.
Да, скорее всего угол зрения будет не 180°, а меньше.
Да, скорее всего качество будет хуже, чем у специализированных камер.
Да, съемка стереовидео потребует сжатия больших потоков информации (на что сегодняшние смартфоны все еще слабо рассчитаны).
Да, нужно будет ставить две широкоугольных камеры на бо?льшем расстоянии.
Но технически сегодня нет серьезных препятствий для реализации поддержки VR180 во флагманских моделях. Вопрос только в росте популярности формата, чтобы спрос стал массовым, создав стимул к этому.
И понятно, что, когда съемку VR180 начнут поддерживать топовые смартфоны, количество соответствующих роликов на YouTube начнет расти лавинообразно.
Также на выставках можно видеть автостереоскопические дисплеи смартфонов и планшетов, которые с повышением разрешения показывают все более и более интересное качество. По крайней мере, его не сравнить с тем, что можно было массово наблюдать в 2010–2011 годах во время прошлой волны. Во время написания этой статьи был анонсирован RED Hydrogen One — первый СЕРИЙНЫЙ смартфон с 3D экраном нового поколения, так что появилась возможность купить то, что профессионалы видели на выставках. Процесс идет и, поскольку растет разрешение экранов, заведомо будет идти все быстрее. Основное препятствие — это недостаток контента.
Очевидно, что эта проблема «курицы и яйца» скоро будет решена.
Общие выводы:
VR180 обладает следующими существенными плюсами:
- Заметно выше погружение в 3D для VR180 по сравнению с 360-видео
- Отсутствуют артефакты стичинга (склейки) видео с нескольких камер
- Камеры для съемки VR180 достаточно дешевы и будут дешеветь
- Съемка VR180 заметно ближе к съемке обычной камерой и намного проще для непрофессионалов, т. е. огромной массе любителей будет относительно просто снимать свое видео в формате VR180
- Можно ожидать поддержки VR180 в смартфонах через какое-то время
- Можно ожидать появления дешевых качественных автостереоскопических дисплеев смартфонов, которые позволят просматривать VR180 без очков и шлемов (на данный момент такие решения уже можно увидеть на выставках, и от массового выпуска их отделяет отсутствие контента)
Минусы VR180:
- Дешевые камеры сейчас снимают плохое стерео, которое вызывает дискомфорт при просмотре
- На данный момент отсутствуют доступные программы постобработки полученных видео VR180 и исправления артефактов. Проблемы можно решить с помощью профессиональных программ для исправления снятого стерео, но у них низкая доступность, высокая сложность использования, и массово они не применяются…
Итого:
- Будущее VR180 очень сильно зависит от того, насколько оно будет болезненным при просмотре, поскольку, как показал опыт, головная боль от стерео может «убить» весьма многообещающие проекты
- При увеличении популярности VR180 многие «детские проблемы», в том числе связанные со стерео, можно будет относительно легко решить даже без участия пользователей, просто на сервисе при заливке видео. Алгоритмически это уже возможно
- Популярность формата упирается в проблему «курицы и яйца»: должно появиться достаточно устройств для съемки и просмотра. При этом в отличие от 360-видео VR180 технически скоро можно будет легко снимать на любом смартфоне. И если Google Pixel 5 XL будет поддерживать VR180 «из коробки» — это будет закономерно
- Как следствие: в перспективе 10 лет VR180 обречен на популярность!
Всем поменьше головной боли!
Ваши Константин Кожемяков и Дмитрий Ватолин
P.S. Благодарности
Хотелось бы сердечно поблагодарить:
- наших коллег из видеогруппы, благодаря которым представленные выше алгоритмы были созданы, а результаты посчитаны,
- компанию Google за артефакты рекламного ролика VR180, а также за то, что она продвигает новые форматы несмотря ни на что,
- Лабораторию Компьютерной Графики ВМК МГУ им. М.В.Ломоносова за вычислительные мощности и не только,
- Виталия Людвиченко за разработанный алгоритм исправления цвета в стереовидео,
- и, наконец, Александра Плошкина, Сергея Лаврушкина, Егора Склярова, Айдара Хатиуллина, Ивана Молодецких и Евгения Ляпустина за большое количество дельных замечаний и правок, сделавших этот текст намного лучше!
Смотрите также:
- Почему от 3D болит голова / Часть 1: Недостатки оборудования
- Почему от 3D болит голова / Часть 2: Дискомфорт из-за качества видео
- Почему от 3D болит голова / Часть 3: Перепутанные ракурсы
- Почему от 3D болит голова / Часть 4: Параллакс
- Почему от 3D болит голова / Часть 5: Геометрические искажения в стерео
- Почему от 3D болит голова / Часть 6: Искажения цвета
- Почему от 3D болит голова / Часть 7: Сдвиг во времени между ракурсами
Комментарии (55)
Thoth777
12.11.2018 14:21А вот такой ламерский вопрос: а что бы не взять, например, матрицу, увеличить ее в 2 раза по, например, ширине, и не пускать на нее изображения с правой и левой линзы? Таким образом, не надо будет а) синхронизировать кадры между камерами, не будет расхождения между цветами(если срабатывает автокоррекция)?
DrZlodberg
12.11.2018 14:33+1Собственно так работают некоторые плёночные стереокамеры. Но вообще тут можно и просто 2 матрицы поставить. Дешевле будет.
Kriminalist
12.11.2018 15:29+1Для стерео решает база — меж«зрачковое» расстояние. Пускать изображения на одну матрицу с разных оптических осей при большой базе — задача с одной стороны тривиальная (стереотруба), а с другой готовых таких матриц нет широких, и призм под это дело тоже нет.
А я бы для 360 предложил ставить три камеры с фишаем ромашкой, и быстро вращать эту ромашку вокруг своей оси.3Dvideo Автор
12.11.2018 16:54А я бы для 360 предложил ставить три камеры с фишаем ромашкой, и быстро вращать эту ромашку вокруг своей оси.
Вопрос, какое количество проблем каждым инженерным решением решается и сколько привносится )
3Dvideo Автор
12.11.2018 16:53А вот такой ламерский вопрос: а что бы не взять, например, матрицу, увеличить ее в 2 раза по, например, ширине, и не пускать на нее изображения с правой и левой линзы? Таким образом, не надо будет а) синхронизировать кадры между камерами, не будет расхождения между цветами(если срабатывает автокоррекция)?
Если вы погуглите Stereo 70, то даже существовали даже профессиональные подобные аналоговые системы и специальные объективы для них.
Вполне возможно через какое-то время развитие пойдет по спирали и мы увидим что-то подобное в цифре )
Плюсов одной матрицы действительно довольно много.
Thero
14.11.2018 01:40в том что для синхронизации нам нужно будет считывать с матрицы данные левого верхнего пикселя для одного глаза одновременно с левым верхним пикселем для другого… ЕМНИП матрицы сейчас всё ещё опрашивают пиксели по порядку, поэтому нам проще иметь две идентичные синхронизированные на уровне тактового генератора и симметричной топологии пути сигнала по плате матрицы( хотя возможно это уже перебор и заметно будет только на высокоскоростной съёмке но вроде как устраняет потенциал разрыва полностью)
3Dvideo Автор
14.11.2018 09:10К счастью сегодня эта инженерная проблема уже решена )
Thero
14.11.2018 13:45вот я тоже подумал что вроде нет никакой сложности это сделать… просто большинство даже не осознало что это нужно делать.
3Dvideo Автор
14.11.2018 13:55Вы обижаете производителей ).
Сейчас проводится очень много разных экспериментов, в т.ч. весьма прикольных (буквально сегодня общался коллегами, работающими в крупном производителе смартфонов), просто чтобы технология выстрелила должно сойтись довольно много звезд. Большинство технологий морозятся и остаются максимум патентами. Это нормально.Thero
15.11.2018 04:17я скорее про тех кто контенткриэйтит чем про тех кто для них делает инструменты… у создателей инструментов всегда понимание нужд на три шага вперёд…
3Dvideo Автор
15.11.2018 08:52Создателям контента, особенно если это пользователи (да и профессиональным, если честно), нужно довольно много условий, чтобы процесс был достаточно простым и проходимым (для профессиональных). В этом плане гугл с поддержкой VR180 на YouTube очень сильный шаг сделала. Дальше железо и софт. Возможно с софтом гугл поможет.
foxyrus
12.11.2018 16:20Большое спасибо за статью, заждался от вас статей.
Планируете ли статьи модных нынче технологий улучшения изображений HDR, HDR+, Dolby Vision?3Dvideo Автор
12.11.2018 17:20Большое спасибо за статью, заждался от вас статей.
Приятно слышать)
Планируете ли статьи модных нынче технологий улучшения изображений HDR, HDR+, Dolby Vision?
Мы все больше про видео. И там есть о чем писать. Например, о том, как пленоптическое видео пробивает себе дорогу в жизнь. Или про камеры глубины. И еще много интересного. Надеюсь, дойдут руки. )
datacompboy
12.11.2018 16:51А мне кажется, или прямо верхний кадр приведённый в статье стереокартинки, уже расплывшийся? Я если развожу глаза чтоб совместить кадры, результат мерцает аж мама не горюй…
3Dvideo Автор
12.11.2018 17:24Большинство кадров можно открыть в полный размер.
Проверять стерео разведением глаз крайне не рекомендуется ) (это как расхождение по цвету оценивать в анаглифе))). Лучше посмотрите видео по ссылке через google cardboard, благо они недороги (особенно на алиэкспресс).datacompboy
12.11.2018 17:36Почему не рекомендуется? Для стереокартинок же работает :D
я понимаю, что искажения по углам не выровнены и тд… А cardboard на работе валяется, дома нету =)) пытался посмотреть что там3Dvideo Автор
12.11.2018 21:05+1Тут картинка будет странная. Это же fisheye, у него у стерео максимальная стереобаза в центре и она сходит на ноль к краям кадра, при этом на краях довольно сильные искажения. Когда вы смотрите это все в кардборде, вам вырезается кусок кадра, который примерно соответствует привычному углу зрения, при этом если вы смотрите ближе к краю — края начинают стробить и вы интуитивно смотрите вперед и вокруг и все ок. А когда смотреть на стерео fisheye как на кадр, это слишком необычно для мозга )
Т.е. основное — угол зрения.
Whuthering
12.11.2018 17:32+1Закройте один глаз и посмотрите на какой-нибудь объект. Теперь сделайте то же самое с другим глазом и ответьте на вопрос: меняются ли цвета при смене глаза? В общем случае — нет.
Эм… у меня меняются. Что со мной не так?3Dvideo Автор
12.11.2018 21:14Масса вариантов ). Начиная от аккомодации глаз по цвету (зависит даже от того, насколько разное время вы держали глаза закрытыми), через варианты дальтонизма и далее дейтераномалия, протаномалия… Точно может сказать окулист. Но наиболее вероятно, что просто разное время держали глаза закрытыми или они были уставшими )
shalm
12.11.2018 20:57Суть технологии — старой доброй 3д камере увеличили угол обзора ( даже и это не ново, на моём дроне такая от boscam давно стоит). И кстати старый cyberlink powerdvd может при просмотре 3д фоток делать эффект типа «вертеть головой», только там камера сама по себе движется, не было в те годы гироскопов в очках
3Dvideo Автор
12.11.2018 21:17Конечно подобные вещи делали еще с аналоговыми фотоаппаратами. Суть в том, что гугл уже поддержал этот формат на YouTube, а Xiaomi уже выпустила недорогую камеру, т.е. потенциально возможно создание достаточно массового формата.
shalm
12.11.2018 21:31как бы технология практически выдохлась и стала не модной — 3д телеки никто не выпускает
3Dvideo Автор
12.11.2018 22:01У 3D телевизоров шансов по нескольким причинам практически не было (подробно писал в комментариях тут). Контент для их размера диагонали почти не снимался.
А так — каждая технология проходит несколько этапов. В VR сейчас многое делается столь же ужасно, как в стерео-3D. Поэтому эта попытка гугла вполне может быть неудачной, но последней она точно не будет ) И скорость совершенствования технологий очень неплохая.shalm
13.11.2018 07:43я думаю индустрия замерла в ожидании каких-то совершенно иных технологий способных воспроизводить объёмные фото-видео материалы, а стерео rip, для гиков немного делают, но на массовый спрос не рассчитывают
3Dvideo Автор
13.11.2018 08:29То, что я вижу — компании активно развивают сразу несколько направлений объемного захвата и воспроизведения видео. Это и пленоптика, это и мощнейшая реинкарнация стерео на мобильниках (пока используется для вытягивания максимума из 2D фото, но они все строят карту глубины, которая критически полезна для AR), это и новые эксперименты с лентикуляром и параллаксным барьером. Другое дело, что видят это все пока в основном на выставках и в лабораториях компаний. И чтобы технология стала массовой — нужно решение пачка инженерных и алгоритмических задач. Что не быстро. А так — несколько революций готовятся )
Alter2
12.11.2018 21:43Возможно ли получить всеракурсное стереоизображение от камер светового поля вроде Lytro? Принцип построения картинки там схож с голограммой, на готовом снимке возможно фокус менять например.
3Dvideo Автор
12.11.2018 22:04Да, конечно. Насчет всеракурсности там ограничения, конечно, но тем не менее.
Google купила Lytro примерно полгода назад. И очень хороший вопрос, как гугл технологии Litro использует.
Там много интересного.
Tachyon
13.11.2018 13:45Похоже с камерами в смартфонах та же история как в своё время с лезвиями у бритвенных станков: два, нет три, нет пять, кто больше ??? Размер дисплея упёрся в фронтальный размер лопатофона, а тот в свою очередь в то что руки пользователей не так быстро эволюционируют как бредни дизайнеров и минетжеров. Похоже кол-во камер тоже упрётся в размер тыльной стороны лопатофонов… Ох, не хотелось бы…
3Dvideo Автор
13.11.2018 18:00Camera array (и съемка светового поля, как следствие) — тема крайне интересная, но до нее дойдет не скоро, а 3-5 камер реально заметно улучшают качество картинки. Почему не хотелось бы?
Ktulkhu_Triediniy
15.11.2018 15:53Очень приятно, что вы вернулись!
И вдвойне приятно, что новая статься такая же интересная, как и старые-добрые.
Надеюсь, что впредь интервалы между статьями будут поменее, чем между последней и предпоследней. =)3Dvideo Автор
15.11.2018 16:04Приятно такое читать) Разного прикольного материала много, времени на все не хватает ). Но постараемся, еще для пары статей очень многое готово.
DrZlodberg
Не совсем понятно, как оно 360 если оно только стерео. Или формат предполагает ИЛИ 360 или стерео? В стерео же головой крутить не получится и оно не совсем ВР. Или я вообще ничего не понял…
По поводу автоматической коррекции цвета — в последнем примере исправлено небо, а вот дерево по прежнему мигает. Визуально — там ошибка экспозиции и надо было глобально править, а не локально.
Пример с пешеходами — это вообще общая проблема самоделок, которые сложно синхронизировать. Хотя гопра, кажется, умеет синхронизироваться с соседями, но нужен спец-кабель. Мыльницы же ± пол-кадра фиг сведёшь.
domix32
Если уменьшить диапазон камер с 360 до 150 и количество до пары камер, то получите вот эти вот самые проблемы левого/правого глаза. C 360 эта проблема только усиливается
Thero
у нас тут две широкоугольные камеры захватывающие 180 градусов, в обычном стерео вы захватываете кажется 120 градусов или вообще 90. поэтому некуда вращать головой. в 360 вы захватываете сразу всю панораму… и не обязательно в стерео… на самом деле большинство 360 видео пока плоские…
проблемы синхронизации никуда не денутся пока обе матрицы не будут распаяны на одной плате с паралельной синхронизацией частот питания и опроса данных.( тоесть у них должен быть один тактовый генератор)
DrZlodberg
Т.е. там можно не крутить башкой, а так… покручивать слегка?
360 в стерео разве есть? IMHO это нереально. Хотя… если сделать блин, на котором закреплены камеры достаточно большим, и поставить много камер, то можно будет использовать не ту камеру, которая направлена в нужную сторону, а 2 смещённые от неё в разные стороны. Но хз что там будет с качеством, да и при повороте головы параллакс будет плавать.
По поводу синхронизации — гопра (вроде как) умеет работать по внешней синхре с помощью своего хитрого кабеля. Подробностей, к сожалению, не знаю.
SpaceEngineer
360 в стерео есть, но я видел только синтетику на Unreal Engine:
www.unrealengine.com/en-US/blog/capturing-stereoscopic-360-screenshots-videos-movies-unreal-engine-4
Там хитрый способ рендера узкими вертикальными полосками для левого и правого глаза. В IRL этому действительно могут соответствовать плотно расположенные по кругу камеры с узким горизонтальным (~5°) и широким вертикальным (180°) полем зрения.
Но опять же, стоит наклонить голову на бок…
Thero
есть кстати надежда что с появлением четырёхкамерных квадратов у нас и по вертикали будет строится «стерео»… но вероятно для отображения этого понадобится новый способ рендера… без нейросетей точно не разберёмся… ну хоть пригодятся тензорные блоки в видеокартах…
3Dvideo Автор
Это т.н. разреженный световой поток — Sparse Light Field. Эта тема сейчас довольно глубоко прокапывается, там много интересного можно делать даже просто с фотографиями.
ProLimit
Именно так и делается — если расстояние между камерами по периметру равно стереопаре, то будет стерео во всем диапазоне 360 по горизонтали.
DrZlodberg
Будет. Но как быть с промежуточными положениями головы?
ProLimit
Да так же как и в предложенном VR 180… там же тоже стереопара камер не крутится при повороте головы, и фактически при виртуальном повороте на 90 вырождается в 0. Или достраивать алгоритмически, или перескакивать на следующую стереопару при угле зрения больше порога.
DrZlodberg
Т.е. запасаться аспирином. Понятно :(
3Dvideo Автор
Профессиональный способ решения проблем — это по горизонтали ставится минимум 16 камер. При этом «перескок» становится меньше, а значит кардинально меньше артефактов. И меньше аспирина )
Любители снимают с 2-мя fisheye — там только моно, но проблемы со стичингом только в 2 местах (правда большие)).
DrZlodberg
Вот, кстати, проблемы со сведением мне непонятны. Камеры же зафискированны друг относительно друга. Почему нельзя их один раз откалибровать по сетке и дальше морфить геометрию под эту калибровку? Небольшая проблема с параллаксом у ближних объектов — это да, но часто видны явные перекосы.
3Dvideo Автор
Попробуйте снимать в суровой реальности. Камеры роняют, их неравномерно нагревает солнце, иногда что-то умудряется надавить на объектив, когда камера в сумке и т.д. и т.п. А разрешение большое и сдвиг на доли градуса — это уже пиксели, при том, что глаз может видеть даже сдвиг на полпикселя. По факту необходимо регулярно делать калибровку (что и делается с профессиональными камерами).
ProLimit
А это обязательно :) Очень уж много артефактов будет, которые тут описаны, так что обмануть зрение не получится. Да даже если ВСЕ решить — откуда взять параллакс при микроперемещениях головы в пространстве? В 3D очках его хоть достраивают, а тут взять неоткуда. Хотя, если будут использовать алгоритмы декомпозиции в карту глубин по стереопаре, оттуда до псевдо 3Д уже недалеко. Но блин это все сложно, не вяжется с любительским VR 360
3Dvideo Автор
DrZlodberg
Всё, что сейчас «любительское» когда-то было очень дорогим и сложным, так что ждём :)
Кстати подумалось тут, что проблему наклона головы можно частично решить если сделать круговую матрицу с массивом линз. А лучше сферическую. Этакий глаз стрекозы. Не знаю, на сколько это реалистично и на сколько возрастёт сложность вычислений, но потенциально это может дать возможность совершать любые повороты.
3Dvideo Автор
Попыток было много, пока это слишком сложно и технически, и алгоритмически.
ProLimit
Захват светового поля (как у Litro), но равномерно размазанный по сфере — ну технически возможно, только ОЧЕНЬ дорого. А формат хранения страшно даже представить. Думаю, пока революции тут ждать не стоит. Google молодцы, выбрали самый нормальный вариант из легко осуществимого и продвигают его. А за счет своих алгоритмов и нейросетей могут попытаться вытянуть и более-менее правильный параллакс.
3Dvideo Автор
Но и эффект погружения больше. Поэтому при рендеринге часто делают в Video-360 стерео, лично видел как люди заморачивались с экскурсиями video-360 стерео (больше эффект погружения) и т.д.
Профессиональное Video-360 в стерео конвертируют, это дороже, но сегодня конвертация довольно неплохо отлажена и то качество, которое еще недавно было только в блокбастерах, сегодня стало вполне доступно.
3Dvideo Автор
SpaceEngineer
180 же, не 360.
3Dvideo Автор
Именно!)