Проблемы с передержанными фотографиями навсегда уйдут в прошлое, если разработка специалистов из Массачусетского технологического института окажется так хороша, как её описывают на сайте института. А это вполне возможно: не зря научная работа заняла почётное второе место на Международной конференции по вычислительным методам в фотографии (2015 International Conference on Computational Photography).
Новая фотокамера Modulo Camera с расширенным динамическим диапазоном (High Dynamic Range) делает отличные снимки независимо от условий освещения. Самые тёмные и самые светлые объекты в кадре будут одинаково хорошо детализированы.
Методы HDR широко применяются и сейчас, особенно в смартфонах с «умным» программным обеспечением. Обычно HDR-снимок компонуется из нескольких фотографий, сделанных с разной выдержкой. У такого подхода есть серьёзный недостаток: для съёмки нескольких кадров требуется время. Если рука дрогнула или в кадре быстро перемещается какой-то объект, то ничего не получится. Снимок выйдет смазанным. Другими словами, этот метод подходит разве что для пейзажной фотосъёмки.
В отличие от такого подхода, Modulo Camera генерирует HDR-фотографию из одного-единственного кадра.
Разработанному MIT в сотрудничестве с Сингапурским институтом технологий и дизайна, фотоаппарату требуется всего один снимок, чтобы вычислительными методами восстановить значение каждого пикселя на фотосенсоре, как если бы съёмка осуществлялась со сверхкороткой выдержкой.
Как бы фотограф ни засветил кадр, Modulo Camera всё равно определит оригинальные значения, см. примеры на иллюстрации.
«Фокус» происходит благодаря необычной конструкции пикселей на светочувствительной матрице. У них работает нечто вроде «обратной связи»: как только количество фотонов достигает максимального значения, которое способен зарегистрировать фотоэлемент, пиксель «обнуляется» и начинает заново регистрировать фотоны. Затем результаты обрабатываются и восстанавливается изначальный цвет «засвеченного» объекта.
Такой подход не только позволяет расширить сферу использования HDR-фотографии за пределы одной лишь пейзажной фотографии, но открывает двери перед HDR-видео! Это может быть совершенно фантастическая технология для кинематографа.
Даже начинающие фотографы начнут делать снимки, ещё больше похожие на профессиональную работу. Хотя горизонт у них будет завален по-прежнему.
Комментарии (17)
a5b
25.08.2015 23:13+1
sulnedinfind
26.08.2015 15:29а как работает hdr в человеческом глазе?
gluck59
28.08.2015 11:23Там каждый «пиксель» изменяет «чувствительность» независимо от остальных.
Когда то же самое научатся делать в матрицах, эпоха ЛДП закончится сама по себе.
Loki3000
27.08.2015 13:42Как я понимаю, получится восстановить если в кадре две разных яркости. То есть с нормально экспонированного участка получаем сигнал N, а с пересвеченного M, который представляет собой M+(max*X). Множитель X неизвестен и его подбираем опытным путем (собственно, этим и занимается софт). Но если у нас в кадре окажутся несколько объектов с кратно различающейся яркостью, то этих множителей может быть несколько для разных областей кадра.
DjOnline
А что если не просто обнулять фотоэлемент, а добавить некий счётчик рядом? Получиться двойной связанный фотоэлемент, способный хранить большие значения пересвета. И теперь если большой фотоэлемент чередовать с обычными фотоэлементами, то получим… точно, Fuji S3/S5.
evocatus
Мантисса и экспонента ))
mwizard
Вы могли бы пояснить для тех, кто не разбирается в модельном ряду Fuji — упомянутые вами действительно модели работают лучше, чем предлагаемый концепт modulo camera? Т.е. хранится еще и счетчик?
Если так, то тогда непонятно, в чем революционность решения modulo camera, если подобные вещи не то, что вышли из состояния прототипа, а уже давно коммерчески эксплуатируются.
Imposeren
насколько я понял у fuji всё проще: там 2 вида сенсоров, один более чувствительный, другой менее. Благодаря этому диапазон чувствительности увеличивается. Если провести аналогии как на видео, то у fuji 2 стакана: маленький и большой, а у modulo стакан постоянно опрокидывается. Получается что modulo может обработать абсолютно любые засветки сохраняя адекватные соотношения яркости между соседними пикселями. Однако непонятно как точно восстановить яркости этих «переполненных» пикселей — наверняка как-то отталкивается от «нормальных» незасвеченных пикселей (которые тоже определяются алгоритмически). Так-что потенциальных проблем масса: на «полностью» засвеченной фотографии может будет множество вариантов «восстановленных» снимков и не всегда получится автоматически выбрать лучший вариант. Так же могут быть проблемы с контрастными элементами — подозреваю что алгоритм может решить что внезапная темная область на самом деле засвеченная область.
Итого:
* modulo камера НИКОГДА не будет выдавать «засвеченные» снимки
* fuji s3/s5 — просто имеют расширенный диапазон за счет сенсоров разной чувствительности
* «финальный» снимок в modulo восстанавливается алгоритмически и зависит от «незасвеченных» пикселей, соотношений между яркостями соседей и т.д. — качество снимка зависит исключительно от алгоритма, так-что трудно сказать насколько хороши будут результаты/
вот тут:
web.media.mit.edu/~hangzhao/posters/ICCP15_Poster.pdf
Можно очень хорошо «догадаться» как работает и камера и алгоритм:
* синежелтый график горы высотой от 0 до 1023 режется на сегменты каждые 255 единиц, потом эти сегменты «утапливаются » к нулю. Даже «на глаз» можно понять что порезанную «гору» можно восстановить обратно в цельную с большой точностью. Проблемы начнуться когда в «рельефе» появятся пики (блики), ущелья (темные полоски рисунка, трещины), плато разных высот (границы объектов).
В документе они, кстати, пишут что из пары снимков результаты получаются гораздо проще и лучше и даёт меньше артефактов чем восстановление hdr снимков из нескольких фоток обычных камер
Imposeren
Вот пример проблемной сцены, которую из одного снимка восстановить не получилось, а из двух — нормально:
evtomax
Искусственный пример, который будет восстановлен некорректно: фотография невосстановленной фотографии.
wormball
Ну разве что ежели очень точно выставить экспозицию, чтобы уровень обнуления точно соответствовал тому, что на фотографии.
wormball
А ежели сделать modulo camera с пикселями, различающимися по площади в иррациональное число раз, можно будет восстановить вообще всё! И за один снимок.
mwizard
Во взаимно простое :)
Killy
Читая статью, я сразу подумал про phase unwrapping:
Странно, что для этого термина не нашлось статьи в Википедии.
Зато гугл подсказывает, что алгоритмы 2d phase unwrapping представляют научный интерес. В поиске картинок есть красивые примеры.
В статье, как я понял (пробежавшись глазами по заголовкам), описывается их алгоритм 2d
phaseimage unwrapping.