Учёные из Университета Райса в Хьюстоне (штат Техас) создали прототип фотоаппарата принципиально нового типа — он лишь ненамного толще самого оптического сенсора. В отличие от условно “плоских” фотоаппаратов, построенных по принципу фасеточного глаза насекомых, в камере FlatCam вообще не применяются ни обычные, ни миниатюрные линзы. Показанные на видео ниже тестовые снимки имеют разрешение 512 на 512 пикселей. Фотографии сделаны внутри помещения без дополнительных источников света с выдержкой в 1/50 — 1/100 секунды, цифровая обработка каждого кадра на серийном ноутбуке занимает от 75 миллисекунд, что даёт возможность работать в реальном времени с видео с частотой кадров порядка 10-15 FPS.
Для прототипа учёные взяли производимую серийно ПЗС-матрицу Sony ICX285 CCD (pdf). Изображение формируется с помощью кодирующей апертуры — специально подобранного узора прозрачных и непрозрачных областей на поверхности кварцевой пластины, прикреплённой непосредственно к сенсору. Это напоминает камеру обскуру, но не с одним, а с множеством отверстий. Их общая площадь может составлять порядка 50% от площади сенсора, что на несколько порядков больше площади единственного отверстия пинхол-камеры. Поэтому светосила FlatCam сравнима со светосилой традиционных камер. При массовом производстве создание сенсора и кодирующей апертуры можно совместить в единой технологической операции — с конвейера завода-производителя матриц могут выходить уже готовые камеры.
Так выглядит узор кодирующей апертуры
Сам принцип кодирующей апертуры не нов — его уже давно применяют в рентгеновской и гамма-астрономии. Дело в том, что для этих диапазонов электромагнитных волн невозможно или очень трудно создать зеркала и линзы. В оптическом диапазоне до недавнего времени такие камеры безнадежно проигрывали обычным, так как во-первых, у них гораздо хуже соотношение сигнал-шум, а во-вторых, они требуют значительных вычислительных мощностей для обработки изображения.
Развитие малошумных чувствительных сенсоров с одной стороны и рост производительности процессоров с другой наконец-то дали возможность создать фотокамеру с кодирующей апертурой, которая имеет приемлемые характеристики. Через десяток-другой лет качество и скорость обработки изображения с таких камер может возрасти многократно, как это было с обычными цифровыми камерами. Вот, для сравнения, один из первых экспериментальных цветных цифровых снимков, сделанный Брайсом Байером в 1974 году:
Источник фотографии
Практически нулевая толщина и перспектива очень дешевого массового производства могут радикально изменить наши представления о возможностях видеокамер. Например, система наблюдения из многих сотен малозаметных камер, от которых невозможно будет спрятаться в мертвых зонах, и отключить которые можно будет разве что мощным электромагнитным импульсом. Или сверхлёгкие и компактные системы компьютерного зрения для миниатюрных дронов и медицинских зондов. Или гибкая плёнка с сетью оптических сенсоров, которой можно будет придать любую форму.
Комментарии (76)
rPman
18.02.2016 18:03+1Интересно, сколько осталось времени до появления голографической камеры, ведь то что описывает статья ее увеличенный вариант!
kumbr_87
18.02.2016 20:55+3Если я правильно понял то это тот же пинхол, только вместо одного отверстия их множество, пачки отверстий засвечивают пачки пикселей, дальше процессор додумывает картинку, плюс в отличии от пинхола — большая светосила. Из минусов судя по всему — матрица должна быть гораздо большего разрешения чем эффективное разрешение матрицы. Грубо говоря чтоб получить нормальную картинку 512х512 скорей всего потребуется матрица 5120х5120. Соотношение приведено для примера хотя что то мне подсказывает что потребуется еще больший размер. Скорей всего это приведет к необходимости АА фильтрации результирующей картинки. Ну и наверняка всякого рода аберрации вылезут. А еще учитывая что 512х512 обрабатывается 75мс можно представить что типичные 10 МП (5000х2000) будут обрабатываться в 40 раз дольше т.е. 3 секунды. А если еще прикинуть что для более качественной картинки понадобится гораздо более высокое разрешение, даже если в 5 раз большее по каждой стороне то время увеличится еще в 25 раз что уже 75 секунд. Можно конечно сказать что спец процессоры будут справляться с этим быстрее, но я пока настроен скептически к сложности вычислений, напрямую проглядывается квадратичная зависимость сложности обработки картинки в зависимости от детализации (угловой разрешающей способности)
Хотя конечно будет здорово если из этого что то дельное выйдет.rPman
18.02.2016 23:56С голограммой технология будет абсолютно иной но технически похожей — необходима запись интерференционной картины, т.е. устанавливаем экран, скорее всего с особым рисунком (обычная сетка не подошла бы по тем же причинам что и в этой ситуации) или даже динамически изменяемым, пусть, к примеру, сотни раз за кадр, думаю даже расчеты тут будут похожими, только матрица должна быть большего разрешения, на несколько порядков (зато моно).
Paskin
19.02.2016 00:08Там в алгоритме скорее всего просто большое количество операций с матрицей. Соответствующий вычислитель можно прямо на логических элементах синтезировать, тем более что размерность и рисунок маски не меняются — так что производительность процессора явно не будет ограничителем.
kumbr_87
20.02.2016 21:27В том то и дело что меняются. Чем лучше необходимо качество изображения тем больше нужна маска и тем большее количество пикселей необходимо обработать для получения одного пикселя итоговой картинки, причем т. к. для повышения качества обрабатываемую область для одного итогового пикселя надо увеличивать одновременно по ширине и по высоте то зависимость является квадратичной. Квадратичная зависимость очень быстро увеличивает сложность вычислений. И даже если картинку обрабатывать на специализированных ИМС то легко достигнуть предела т. к. данные вычисления придется провести для каждой точки. Даже для простейшей мыльницы в 5МП это уже будет непосильная задача требующая мощностей рендерфермы. Для примера на видео в статье фотографии 512х512 имеют реальное разрешение порядка 32х32 пиксела.
Paskin
24.02.2016 20:10Я имел в виду — не меняются для конкретной матрицы. Не совсем понял ход ваших рассуждений — яркость результирующего пикселя по каждому каналу это сумма линейных или квадратичных функций от каждого пикселя матрицы, коэффициенты которых зависят от только от формы сетки. Таким образом, имея блок из сумматоров и умножителей и ПЗУ коэффициентов получаем нужную картину. Результирующие пиксели друг от друга не зависят, таким образом процесс хорошо параллелится и конверизуется.
TrurlMcByte
18.02.2016 21:23Для начала (и окупаемости) можно лепить дешёвые мультифокусные и стерео-камеры, и, постепенно, двигаться в сторону полноценной голосъемки. Причём там теперь больше возни с подбором апертуры и разработкой электроники для обработки всего этого «мусора».
rPman
19.02.2016 00:00Думаю параллельно с видеосъемками будет развиваться построение трехмерной модели 'записи', а уже с ней можно вести постобработку гораздо более удобным инструментарием...
Не удивлюсь, если профессиональное оборудование из одинокой камеры превратится в комплекс устройств (серию камер, и не только классическая оптика но и лазерные и/или ультразвуковые сканеры), которые к тому же необходимо будет разнести подальше друг от друга, для получения большей информации о сцене, со всех сторон.
MELCHIOR1
18.02.2016 19:18для повышения качества надо бы наверно Бленду, от боковой засветки, но это прибавит толщину
или поляризатор, или он уже стоит? или маска сама как поляризатор работает?
А вот если матрицу сделать на гибкой подложке, то можно делать панорамные снимки0serg
19.02.2016 10:46Качество в любом случае будет паршивым. Много шума, низкое разрешение. Выгода только в размерах и стоимости
magamos
18.02.2016 19:28-1Из-за того, что отражающая способность дырочной решетки будет отличаться от поверхности самой матрицы, будет происходить дифракция, которую можно фиксировать и тем самым обнаруживать замаскированные плоские камеры.
magamos
18.02.2016 19:42А можно ли в дальнейшем будет плоскую камеру встроить во внешнюю поверхность контактной линзы, а на внутреннюю поместить дисплей?
Jamato
19.02.2016 10:16Снимать в ИК-диапазоне, делать AR, фокусировать изображение вместо контактной линзы? Было бы круто, но эта штука жрала бы энергию, как не в себя. Пока вопрос с питанием не решат, можно не ждать.
rPman
21.02.2016 12:55Для контактных линз с электроникой единственная на текущий момент проблема — отвод тепла,… сама то энергия не проблема, извне подводить, но сгенерированное тепло выводить уже сложнее.
tormozedison
18.02.2016 21:47Разве детище старика Френеля не позволяет добиться того же?
TrurlMcByte
18.02.2016 22:23нет, это внешне похожий, но совсем другой принцип, масштабируемый и вносящий значительно меньше неисправимых искажений.
tormozedison
18.02.2016 23:03Понятно, что другой, но ведь тоже камеру сделать плоской позволяет. Или в случае с линзой Френеля нужен зазор между линзой и матрицей, а тут нет?
TrurlMcByte
20.02.2016 16:21Линза вносит конкретные неустранимые искажения, особенно при большой площади. И не позволяет больше ничего делать с изображением, например вытаскивать стерео из одной картинки. Хотя для такого можно попытаться разработать новый тип линзы, но это сильно сложнее и дороже. Да и сами линзы для более-менее качественного изображения весьма дороги. Проще уж фасеточные делать, они не толще линзы Френеля и масштабируются на порядок лучше.
aksion
18.02.2016 22:31+1Надо же одновременно как. Про небольшой, но прорыв в миниатюризации камер (линзы):
innogest.ru/m?na=14632rPman
19.02.2016 00:08О боже, оптика без хроматических аберраций… полагаю и сферические тоже побеждены, ведь работает не изгиб а внутренняя микроструктура.
p.s. миллион возможностей, например шлем виртуальной реальности с экраном во весь обзор (углы 120-150 градусов) и размером с обычные очки, когда, где?!
il--ya
24.02.2016 22:51Нечто похожее изобрели 4 года назад. http://lenta.ru/news/2012/09/19/superlens/
Equin0x
19.02.2016 00:16+1Т.е. следующий шаг профанации профессиональной фотокамеры — беззеркально-безлинзовая )
Cr558
19.02.2016 01:26А как со съемкой на большом расстоянии или наоборот, макро? Без линзы здесь сложновато.
0serg
19.02.2016 11:01В принципе там перефокусировку можно цифровую сделать, но каждое фокусное расстояние надо отдельно калибровать и смысла в этом немного — качество у такой камеры все равно паршивое.
unwrecker
19.02.2016 11:06+1О! Теперь есть куда с умом пристроить безумные мегапиксели современных матриц для телефонных камер. Более того, можно будет теми же темпами наращивать мегапиксели без ущерба здравому смыслу, и размеры матрицы без ущерба толщине. Новый виток прогресса. И это хорошо.
potan
Интересно посмотреть на сырые данные с матрицы. Там просто много фотографий низкого разрешения, из которых восстанавливается одна высокого?
0serg
Нет. Там картинка похожая на шум. Идея в том что изображение на сенсоре формируется сверткой "идеального" изображения с изображением апертуры камеры. Свертка — операция в принципе обратимая, но ей мешают потеря информации на краях кадра и чувствительность к шуму. Здесь апертура и матрица подобраны так чтобы эту операцию обращения упростить. В посте есть ссылка на оригинальную статью в arXiv, там есть и картинки с сенсора и результаты обработки.
http://arxiv.org/pdf/1509.00116v2.pdf