Сравнение обычного изображения с разрешением 12 мегапикселей (слева) и кадра, снятого с нового сенсора IMX586 с разрешением 48 мегапикселей (справа)
Компания Sony представила IMX586 — первый в мире КМОП-сенсор для смартфонов с эффективным разрешением в 48 миллионов пикселей. Это значит, что сенсор сможет фиксировать кадры размером 8000?6000 пикселей без программной интерполяции! Раньше такой размер был доступен только на дорогих профессиональных камерах, и то не на всех.
Ну а снимать видео со скромным разрешением 4K (4096?2160) для такого сенсора проще простого. Он это делает на скорости 90 кадров в секунду.
Технические характеристики сенсора весьма впечатляют. Судя по всему, камеры на 48 мегапикселей очень скоро станут главным козырем топовых смартфонов. Компания обещает начать массовые поставки IMX586 уже в сентябре 2018 года.
Как Sony добилась такого кардинального увеличения разрешения? Что ж, без определённых хитростей здесь не обошлось. IMX586 сочетает в себе две ключевые технологии:
- Очень маленький размер светочувствительных элементов (очень высокое разрешение)
- Обработка сигнала цветным фильтром Quad Bayer с несколькими алгоритмами для повышения разрешения
Концептуальная диаграмма пиксельной решётки нового сенсора (Quad Bayer Array) и схема её преобразования с помощью оригинального алгоритма обработки сигналов (справа)
Физический размер сенсора составляет 1/2" или 6,4?4,8 мм. Это большой размер — самый большой, какой только ставят в смартфоны, за редким исключением. Обычно в телефонах используют сенсоры формата 1/3", то есть почти вдвое меньшего размера. Но 48 мегапикселей никак не втиснешь в 1/3", а вот с форматом 1/2" такой фокус получился.
Если посчитать на калькуляторе, то можно прикинуть физический размер каждого из 48 миллионов светочувствительных элементов на сенсоре 6,4?4,8 мм. Получаются пиксели со стороной около 0,8 микрометра.
Теперь об оригинальном цветовом фильтре Quad Bayer. Его работа показана на диаграмме выше. Он работает так, что у каждого блока 2?2 пикселей одинаковый цветовой фильтр. Это позволяет по-разному обрабатывать данные, в зависимости от условий.
В условиях плохого освещения данные с четырёх фотоэлементов объединяются — и они работают фактически как единый элемент с размером стороны 1,6 мкм. В этом случае разрешение сенсора снижается в четыре раза и он «превращается» в стандартный сенсор на 12 мегапикселей, только наверное с меньшим уровнем теплового шума.
Ну а в условиях хорошего освещения, когда тепловой шум незаметен, а энергии фотонов более чем достаточно, сенсор работает в полную силу, каждый фотоэлемент независимо от других фиксирует сигнал — и в результате получается качество, которое показано на КДПВ от Sony. Но это всё-таки не совсем честные 48 миллионов пикселей, а некое приближение к ним после цифровой обработки сигнала. Очень интересно будет посмотреть, как этот сенсор работает на самом деле и насколько в реальности заметна разница между кадрами на 12 и 48 МП. Если всё работает как обещано, то такой смартфон можно использовать как своеобразный «бинокль» — не фотографировать, а многократно зуммировать картинку на экране, чтобы разглядеть невидимые глазу детали далёких объектов.
В своём пресс-релизе Sony говорит, что у нового сенсора динамический диапазон в четыре раза больше, чем у обычных сенсоров. По мнению экспертов, здесь используется такая же система, как в сенсоре IMX294, где часть пикселей работает с неполной выдержкой, защищаясь от засветки, но в то же время записывая детали в тенях. По крайней мере, структура фильтра Quad Bayer хорошо подходит для такого метода работы.
Получается, что сенсор работает в трёх режимах: низкая освещённость (12 МП),
высокое разрешение (48 МП) или увеличенный динамический диапазон в высококонтрастных сценах. Это интересный подход, который чем-то напоминает технологию Fujifilm Super CCD EXR.
Скорее всего, новый сенсор сначала увидит свет в смартфоне Sony, а потом и в смартфонах других производителей. С высокой вероятностью его поставят в Sony Xperia XZ3, запланированном к выходу в сентябре.
Комментарии (37)
HerrDirektor
25.07.2018 17:58+7По сути идея совсем не нова. Еще 5 лет назад выпускалась Люмия 1020 с 41 мегапикселом на борту. На нее даже кино какое-то снимали помнится :)
Punk_Joker
25.07.2018 18:06+3А до нее в далеком 2012 была Nokia 808 PureView. Но оба варианта скорее вчсего использовали и программые трюки для получения снимков
khim
25.07.2018 19:27+1Nokia 808 как раз была фактически фотоаппаратом в форм-факторе смартфона.
А вот Lumia 1020 — тут уже вопросы.
Am0ralist
26.07.2018 15:57Но оба варианта скорее вчсего использовали и программые трюки для получения снимков
Я аж чаем поперхнулся… Как обладатель 1020.
Вы предпочитаете гадать по какому способу? По заварке или по звездам? Не, ну если простой факт вместо проверки предпочитаете выдумывать…
HenryPootle
27.07.2018 08:41А в 2007 была Nokia N93i, на которую сняли, ЕМНИП, какой-то фильм для МТВ о премии «Каннские львы». Честный оптический зум, 480@30фпс
zuborg
25.07.2018 18:11+7Кадры размером 8000?6000 пикселей при размере сенсора 6,4?4,8 мм — это 1250 пикселей на милиметр (625 пар линий на миллиметр). Где они возьмут объективы с хотя бы близкой разрешающей способностью — я не знаю.
Mogwaika
25.07.2018 18:39Может они будут делать хитрую постобработку используя характеристики конкретного объектива?
Lexi
25.07.2018 21:49+1Помнится, теория говорит, что для объектива с относительным 1/1.8, радиус кружка Эри будет около микрона (1.22*0.54*1.8).
Да тогда он не сможет полностью реализовать разрешение такой матрицы, нужно ещё светосильней.Mirn
26.07.2018 09:01+2в реальности всё ещё сложнее.
в матрице в каждом пикселе нет всех RGB компонент,
красный синий и зелёный расположены в разных соседних пикселях,
поэтому при интерполяции цвета вылазят цветовые артефакты где цвет меняется,
их в минус бесконечность децибел задавить нереально,
поэтому ставят физический НЧ фильтр после линз, чтоб разница между цветами между блоками пикселей 2х2 — 6х6 (в случае фуджифильма и экзотики) была минимальной.
поэтому можно предположить что вместо НЧ фильтра уменьшение размера пикселя — ещё один способ обойтись простой MHC или улучшеной билиниариальной интерполяцией которая требует 10-20 операций на пиксель а не тысячи — десятки тыщь на пиксель как в нормальных алгоритмах обработки RAW изображений — дешевле ДСП процессор и возможно это позволит упростить сам процессор так что станет дешевле вся система в целом.
При этом фактическое разрешение объектива не сильно важно как «натуральность картинки», после агрессивных алгоритмов цветовой интерполяции вылазит много артефактов уже не цветовых — края усиливаются и появляются каёмки, цвета уползают а в мелких деталях исчезают вообще, картинка в целом блеклая а после обратного усиления цветов выглядит немного странно если первоисточник сравнивать, алгоритмы интеполяции «додумывают картинку», 1 может стать L, 8 в 0, появляются узоры и «лабиринты», «лестницы» на ровном фоне, и вообще видит иллюзии прям из занимательной нейрооптики. И чем сильнее алгоритм цветовой интерполяции давит цветовые артефакты тем больше он «додумывает» и больше ему видится иллюзий, либо в тыщи раз больше вычислений.
В нашей компании берут часто матрицы 8-16мегапикселей и делают из их данных 2-4 мегапиксельный SDI выход — это проще и дешевле в разы чем делать сложный DSP проц на тыщи FPS.
но это только мои догадки на основе только опыта только моего работодателя.
добавлю уточнение термина: цветовые артефакты они же false color или ?? (на работе используется только японский)
DGN
27.07.2018 02:58У самсунга уже есть объектив со светосилой 1/1.5 и в целом, еще есть куда стремиться, скажем в 1/1.4 нет ничего невероятного, и уж он то разрешит эту матрицу, пусть и только в центральной области.
dimkss
25.07.2018 20:46+5Можно свой вариант?
beeruser
25.07.2018 21:30И что вы этим хотите показать? Для современных фильтров такой шум не представляет никаких сложностей.
mistergrim
25.07.2018 22:33+1Сделать из шума мазню для них нет сложности. Что на любом смартфонном снимке и видно.
Dvlbug
25.07.2018 22:42К тому же, снимок сделан в тоже мгновение. Волны одинаковы
tormozedison
25.07.2018 23:01+3Первый сделан из второго.
DGN
26.07.2018 09:19Это мог быть просто постер. Было бы странно куда то ездить что бы сфоткать корабль, тащить лабораторное оборудование…
AVI-crak
25.07.2018 21:52+12Я всё понимаю, прогресс и всё такое…
Но лично мне не интересно чего они сейчас продают, мне интересно как они смогли нагнуть законы физики!
Ведь получается что через дырочку диаметром в 1мм тусклый свет делится ещё на 48 миллионов, + ещё на 90 (кадров в секунду), после чего получается яркая презентабельная картинка… бред сумасшедшего менеджера.
А размер пикселя? Каким образом светочувствительный элемент равный длине волны может различать (фильтровать) отдельную частоту???
И ещё.
С такими выкрутасами над бедной физикой, в продаже просто обязаны появиться монстры для гиков, в формате больших и тяжёлых зеркалок. Способных фотографировать бактерии на расстоянии в сотни метров.
Однако зеркалки есть, но бактерии они не видят. У них ведите-ли запрет на нарушение физики.Wernisag
26.07.2018 05:44+1Скорее всего изначально надо понимать, что есть матрица на 12 МП + софт, который доводит картинку до уже нужных 48 МП. В рекламах уже не раз были замечены снимки сделанные на топовые зеркалки, которые в будущем выдавали за снимок со смартфона.
beeruser
27.07.2018 03:27Статью не читай, комментарий пиши =)
Там не 12, а 48 миллионов элементов, которые сгруппированы по 4 штуки под одним фильтром.
namikiri
26.07.2018 11:51>в продаже просто обязаны появиться монстры для гиков, в формате больших и тяжёлых зеркалок
Ну, не зеркалка, конечно, но тоже нечто странное.
DGN
27.07.2018 03:03Собственно берем телескоп, делаем к нему адаптер а ля макролинза (иначе не сфокусируется), адаптер для цифрозадника и вперед, снимать бактерии с предметного стекла за 100м. Солнце выступит подсветкой. ;-)
mphys
25.07.2018 22:33Обработка сигнала цветным фильтром Quad Bayer с несколькими алгоритмами для повышения разрешения
Мне кажется, или «с несколькими алгоритмами» это и есть «программная интерполяция», просто не силами ПО смартфона а силами контроллера камеры?tandzan
26.07.2018 02:37Как вариант, купили технологию у nvidia
deep learning и все такоеZettabyte
26.07.2018 04:13+14Подготовил для Sony аутентичный маркетинговый материал, демонстрирующий характеристики сенсора IMX586:
UberSchlag
26.07.2018 09:14+2В блоке с болтом надо было поместить целую портянку с шутейкой про Enhance.
betrachtung
26.07.2018 05:34+1Физический размер сенсора составляет 1/2" или 6,4?4,8 мм. Это большой размер — самый большой, какой только ставят в смартфоны
Это, мягко говоря, неправда.
В качестве примеров можно привести как продающийся в данный момент Huawei P20 Pro с матрицей 1/1.7", так и старенькую Nokia 808 с матрицей 1/1.2".
Leathertooth
26.07.2018 09:29Лучше бы что-нибудь с шумами бы сделали и размером матрицы, а то толку от этих мегапикселей в сумерках.
Barsuk
Какой объектив использовался при съемки КДПВ? Обычный смартфонный или специальный высокого качества?
dbagaev
У меня тот же вопрос.