В мире дикой природы полно удивительных существ, коим долгие тысячи лет эволюции подарили уникальные способности, необходимые для выживания и сохранения своего вида. Развитие науки и технологии позволило нам воссоздавать некоторые из этих природных инструментов в виде искусственных аналогов. Ученые из KAIST (Корейский институт передовых технологий, Южная Корея) разработали высокоскоростную и высокочувствительную камера, вдохновленную фасеточными глазами насекомых. Из чего состоит супер-камера, как именно она работает, и где может быть полезна? Ответы на эти вопросы мы найдем в докладе ученых.

Основа исследования

Зрение «быстроглазых» насекомых, таких как Drosophila и Odonata, играет важную роль в избегании угроз, поиске пищи и навигации в различных условиях освещенности. Глаза насекомых отчетливо используют несколько оптических каналов, называемых омматидиями, в отличие от однокамерных человеческих глаз. Зрительные стимулы из отдельных оптических каналов обрабатываются отдельно и параллельно через пластинку и продолговатый мозг в зрительной доле. Эта параллельная обработка в соответствующих чувствительных нейронах эффективно увеличивает скорость обновления для обнаружения движения в комплексе лобулы (состоит из зрительных нейропилей высшего порядка зрительной доли, пластинки лобулы и лобулы). Тем не менее каждая маленькая фасеточная линза в омматидиях препятствует захвату достаточного количества фотонов. В частности, некоторые ночные и сумеречные насекомые, такие как Bombus, отчетливо используют временное суммирование зрительных сигналов для повышения светочувствительности для отдельных оптических каналов. Они интегрируют зрительные сигналы с течением времени, чтобы улучшить визуальную надежность в темноте за счет артефактов движения. Обе уникальные особенности помогают быстроглазым насекомым процветать за счет высокой чувствительности к фотонам в условиях слабого освещения.

Компактные камеры, имитирующие зрение насекомых, демонстрируют широкое поле зрения (FOV от field-of-view), низкую аберрацию, высокое временное разрешение и многофункциональную визуализацию. Искусственные сложные глазные камеры имеют сферическое расположение нескольких оптических каналов для заметного широкого FOV. Ультратонкие микролинзовые матричные камеры (MAC от microlens array camera), вдохновленные зрением Xenos peckii, демонстрируют высокое разрешение и высокую чувствительность изображений. Отличительные оптические особенности в нескольких каналах зрения насекомых приводят к созданию поляризационных или многоспектральных камер. Несколько апертур глаз насекомых далее вдохновляют высокоскоростные камеры за счет последовательного получения подкадров из одного кадра, снятого с помощью датчика изображения комплементарного металл-оксид-полупроводника (CMOS от complementary metal-oxide semiconductor) с подвижным затвором. Этот подход дает преимущества по сравнению с традиционными высокоскоростными камерами с громоздкими размерами или сложными схемами в машинном зрении, даже в нейробиологии и здравоохранении. Однако эти камеры имеют технические ограничения для существенного увеличения частоты кадров на порядки величин и по-прежнему страдают от искажений скользящего затвора при высокоскоростной съемке. Они также испытывают трудности с захватом фотонов в условиях низкой освещенности из-за малой апертуры. Эти особенности создают проблемы для достижения высокоскоростной и высокочувствительной съемки.


Изображение №1

В рассматриваемом нами сегодня труде ученые рассказывают о высокоскоростной и высокочувствительной MAC (HS-MAC), вдохновленной зрением насекомых. Быстроглазое насекомое обнаруживает быстро движущиеся объекты на расстоянии в тусклом свете, при этом отраженный свет последовательно активирует фоторецепторы в дискретных оптических каналах (1A). Серия визуальных стимулов, собранных с каждого канала, подвергается параллельной обработке и временной суммации при прохождении пластинки и мозгового вещества зрительной доли. Параллельная обработка обеспечивает высокую скорость обновления для высокоскоростной визуализации, а временная суммация дополнительно повышает светочувствительность в условиях низкой освещенности.

Подобно зрению насекомого, HS-MAC выполняет высокоскоростную и высокочувствительную визуализацию, объединяя фрагментацию каналов, временную суммацию и процесс реконструкции сжатого кадра (1B). Смещенные микролинзовые матрицы (oMLA от offset microlens array), упакованные с одним датчиком изображения CMOS с подвижным затвором, позволяют получать высокоскоростные изображения. oMLA в оптических каналах проецируют быстро движущиеся объекты на смещенные шаблонные каналы с низким отношением сигнал/шум (SNR от signal-to-noise ratio) в условиях слабого освещения. Последовательная построчная экспозиция датчика изображения с вращающимся затвором делит отдельные каналы на дискретные фрагментированные массивы, что определяется как фрагментация канала. Пространственная информация в сверхкоротком событии сохраняется фрагментированными массивами, намного превышая обычную частоту кадров. Затем каждый фрагментированный массив временно суммируется в течение периода перекрытия с соседними массивами, что дает фрагментированные изображения каналов с высоким SNR из-за наложения временной информации.

Фрагментированные изображения каналов (a, b и c) на одном фрагментированном изображении массива содержат различную пространственную информацию о быстро движущихся объектах из-за oMLA и сшиваются вместе, образуя один кадр. Процесс реконструкции сжатого изображения дополнительно устраняет размытость кадров путем сегментации перекрывающейся информации. Микролинза с малым смещением обеспечивает точную фрагментацию канала и существенно повышает частоту кадров более чем на три порядка в пределах ограниченной полосы пропускания. Кроме того, временное суммирование и реконструкция сжатых кадров повышают чувствительность камеры в условиях низкой освещенности за счет наложения временной информации, устраняя компромисс между SNR и частотой кадров.

Результаты исследования

Изображение №2

HS-MAC была полностью упакована с oMLA (расстояние смещения: 15.5 мкм) и одним датчиком изображения CMOS с вращающимся затвором (SONY IMX 477) в компактном размере (1.53 мм × 8.35 мм × 10.5 мм; 0.3 г) (2A). oMLA с различными расстояниями смещения также были интегрированы в HS-MAC для захвата изображений массива (2B). Каждая микролинза была спроектирована и изготовлена для предотвращения перекрытия изображений.

Размер изображения уменьшается по мере уменьшения расстояния смещения, что позволяет выполнять точную фрагментацию каналов и повышать частоту кадров. Производительность HS-MAC сравнивалась с производительностью MAC без смещения. Никакой коррекции искажений или процесса устранения размытия не применялось, за исключением минимальной обработки изображения для реконструкции кадра, для сравнения HS-MAC и MAC.

Требуемые вычислительные ресурсы не были заметно разными. Ученые также определили рабочее расстояние камеры для захвата изображений в среде без различий между микролинзами, тем самым игнорируя информацию о глубине. Как MAC, так и HS-MAC были установлены на одинаковое рабочее расстояние. Частота кадров HS-MAC и MAC — оба демонстрируют размеры элементарной ячейки 750, 493 и 284 мкм — представлены на 2C. HS-MAC показывает существенно высокую частоту кадров, поскольку размер элементарной ячейки уменьшается по сравнению с MAC. В частности, HS-MAC достигает 9120 кадров в секунду, что превышает частоту кадров MAC (480 кадров в секунду) в 19 раз. Частота кадров HS-MAC составляет 91200 кадров в секунду, где расстояние смещения равно размеру одного пикселя. И HS-MAC, и MAC используют датчики изображения с вращающимся затвором, которые часто вызывают искажение. HS-MAC демонстрирует значительно меньшее искажение вращающегося затвора в отличие от MAC (2D).

Свободно падающий шар диаметром 78 мм был запечатлен HS-MAC и MAC с одинаковой выдержкой, где время экспозиции является обратной величиной частоты кадров MAC. Искажение рассчитывалось по отношению большой оси к малой оси захваченного шара. Отношение большой оси к малой оси HS-MAC ближе к идеальному значению единицы по сравнению с MAC, и по мере уменьшения размера элементарной ячейки отношение приближается к единице. Средняя абсолютная процентная погрешность HS-MAC составляет 4%, когда размер элементарной ячейки составляет 284 мкм, что указывает на значительное уменьшение более чем на 50% по сравнению с ошибкой MAC (10%).

Этот экспериментальный результат подразумевает, что HS-MAC различает шар как почти сферическую форму. Это связано с тем, что HS-MAC захватывает один кадр за более короткое время по сравнению с MAC, точно фрагментируя датчик изображения с использованием смещения.

Качество изображения также сравнивалось между HS-MAC и MAC. Тем не менее изображения перца были получены с использованием обеих камер с размером элементарной ячейки 284 мкм при постоянном времени экспозиции (2.08 мс) (2E). Коэффициент корреляции Пирсона (PCC от Pearson correlation coefficient) между захваченными изображениями составляет 0.99, что указывает на высокую степень сходства. Производительность визуализации HS-MAC эквивалентна производительности MAC с точки зрения измеренной функции передачи модуляции (MTF от modulation transfer function), как показано на 2F. HS-MAC демонстрирует высокоскоростную визуализацию с низким искажением и сопоставимым качеством изображения с MAC.


Изображение №3

HS-MAC использует временное суммирование, которое существенно улучшает светочувствительность при постоянной частоте кадров. Обычные высокоскоростные камеры с одним объективом ограничивают максимальное время экспозиции до одной частоты кадров, поскольку фотодетектор останавливает экспозицию перед захватом последующего кадра. Напротив, HS-MAC нарушает этот компромисс между частотой кадров и временем экспозиции и, таким образом, повышает светочувствительность, перекрывая время экспозиции на последующих кадрах для временного суммирования. Фактор временного суммирования (TSF от temporal summation factor) определяется как отношение времени экспозиции HS-MAC τ_e к максимальному времени экспозиции камеры с одним объективом при той же частоте кадров τ_c (3A). Алгоритм реконструкции сжатого изображения использовался для восстановления размытых кадров f ∈ R^d×(mn) из размытых временно суммированных (размытых TS) кадров g ∈ R^c×(mn), где размер кадра равен m × n, а количество кадров равно d и c соответственно. g выражается как линейная прямая модель следующим образом: g = Ht, где H ∈ R^c×d — матрица зондирования (3B). Восстановление f непосредственно из g является сложной задачей из-за нестабильности плохо обусловленной задачи. Вместо этого f получается путем решения задачи оптимизации следующим образом:

где R — функция регуляризации, а μ — параметр регуляризации. Для регуляризации использовалась общая вариация (TV от total variation) на основе нормы L1. Для решения задачи оптимизации, связанной с f, где значения пикселей лежат в определенном динамическом диапазоне [l, u] использовалась ограниченная модель TV-размытия с методом переменного направления множителей. Задача оптимизации формулируется следующим образом:

где θ и y обозначают вспомогательные переменные. Расширенная функция Лагранжа (4.3) определяется следующим образом:

где T обозначает транспонирование вектора.

Эффективность визуализации при слабом освещении HS-MAC анализировалась путем измерения эквивалентной шуму освещенности (NEI от noise equivalent irradiance) (3C). Небольшой белый светодиод был помещен на расстоянии от HS-MAC в темной камере, выступая в качестве точечного источника света, а oMLA проецируют точечные узоры на датчик изображения. NEI определялся как освещенность при SNR 1 путем постепенного уменьшения источника света. SNR рассчитывался на основе интенсивности изображения в ярких и темных областях. Интегрированный спектральный диапазон освещенности составляет от 245 до 812 нм, что выходит за пределы длины волны точечного источника, чтобы предотвратить недооценку NEI. NEI двух HS-MAC с 3040 и 9120 кадрами в секунду линейно уменьшаются по мере увеличения TSF в логарифмическом масштабе для обоих случаев, демонстрируя обратно пропорциональную зависимость между TSF и достижимой интенсивностью света. Обе камеры достигают минимального NEI 0.43 мкВт/см² для максимального времени экспозиции 30 кадров в секунду CMOS-датчика изображения, т. е. 1/30 секунды, в то время как NEI был измерен как 9.68 мкВт/см² для 3040 кадров в секунду и 16.99 мкВт/см² для 9120 кадров в секунду без временного суммирования. Для сравнения, HS-MAC показал 23× и 40× более низкие значения NEI с временным суммированием для соответствующих частот кадров, подчеркивая его выдающуюся чувствительность.

Замедленное видео цветного диска, вращающегося со скоростью 1953±3 об/мин (4A–4D), снятое с помощью HS-MAC с частотой 9120 кадров в секунду и временным коэффициентом суммирования 5. Видео было записано в течение 32.658 мс. Частота кадров была изменена до 60 кадров в секунду.

Вращающийся диск был захвачен с помощью HS-MAC на скорости 9120 кадров в секунду при увеличении TSF для проверки алгоритма устранения размытия (3D). Интенсивность всех захваченных изображений была нормализована для сравнения. Увеличение TSF постепенно делает форму диска в кадрах TS более четкой за счет захвата большего количества света, в то время как кадр без временного суммирования (TSF = 1) очень восприимчив к шуму из-за недостаточного количества фотонов. Тем не менее кадры TS становятся размытыми по мере увеличения TSF, что является результатом чрезмерного времени экспозиции. Напротив, изображение пчелы, напечатанное на диске, различимо после устранения размытия с помощью реконструкции сжатого изображения, даже при TSF = 100. Полное сходство эталонного изображения между размытыми TS и размытыми кадрами было оценено PCC (3E). В качестве эталонного изображения использовался неподвижный диск. Размытый кадр TS демонстрирует наивысшее сходство изображения (PCC = 0.93) при TSF = 10, которое заметно уменьшается выше TSF = 10 из-за артефактов движения, вызванных чрезмерной временной суммацией. Напротив, размытый кадр сохраняет относительно высокое сходство изображения (PCC = 0.96) даже выше TSF = 10, оставаясь относительно постоянным для более высоких значений TSF. Экспериментальные результаты показывают, что HS-MAC эффективно фиксирует подробную информацию об объектах в условиях слабого освещения, используя временную суммацию и реконструкцию сжатого кадра.


Изображение №4

HS-MAC запечатлел вращающийся диск на скорости 9120 кадров в секунду с TSF = 5 (4A–4C). Диск диаметром 135 мм вращался со скоростью 1953 ± 3 об/мин с сегментами в шести разных цветах (4A). Часть проецируемого изображения массива и одноканальное изображение, полученные HS-MAC, показаны на 4B. Одноканальное изображение содержит изогнутую черную стрелку из-за эффекта скользящего затвора. Последовательные кадры были реконструированы из набора фрагментированных изображений массива (4C).

Замедленная видеосъемка пламени (4E–4G), снятая HS-MAC с частотой 1013 кадров в секунду и временным коэффициентом суммирования 1, 20 и 30 соответственно. Фильтр нейтральной плотности (оптическая плотность = 0.0, 1.3, 3.0) уменьшает количество света от пламени. Видео было записано в течение 303.088 мс. Частота кадров была изменена до 60 кадров в секунду.

HS-MAC отчетливо наблюдал черную стрелку, вращающуюся против часовой стрелки с течением времени без искажений скользящего затвора. Скорость вращения диска измерялась путем анализа интенсивности пикселей на краю диска с течением времени (4D). Измеренная скорость вращения составляет 1950 об/мин.

HS-MAC также преуспел в захвате процесса сужения пламени (0.88 люкс) в условиях ослабленного освещения (4E–4G). Пламя было захвачено на расстоянии 20 см от HS-MAC, чтобы устранить несоответствие изображения. Фильтры нейтральной плотности (ND от neutral density) с оптической плотностью (OD от optical density) 0, 1.3 и 3.0 использовались для ослабления интенсивности света пламени (4E). Цикл мерцания пламени был захвачен HS-MAC со скоростью 1020 кадров в секунду в течение 71.7 мс через различные фильтры ND (4F). Каждый кадр, захваченный через различные OD, был нормализован для сравнения. SNR захваченных кадров уменьшается с увеличением OD при TSF = 1, что приводит к появлению шумных кадров из-за недостатка света. Форма пламени даже исчезает при OD 3.0. Однако временное суммирование исключительно улучшает чувствительность изображения, собирая фотоны в течение более длительного периода времени. HS-MAC четко наблюдает набор покадровых изображений для отрыва пламени даже при OD = 3.0 (880 мклк) с TSF = 33. Процесс отрыва пламенного кармана (OD = 3.0, TSF = 33) также фиксируется с 59.28 до 65.02 мс, как показано на 4G. Отрыв кончика пламени приводит к отделению пламенного кармана. Очевидно, HS-MAC успешно фиксирует точный момент отрыва пламенного кармана (63.10 мс) даже в условиях значительного снижения освещенности.

Для более детального ознакомления с нюансами исследования рекомендую заглянуть в доклад ученых и дополнительные материалы к нему.

Эпилог

В рассмотренном нами сегодня труде ученые рассказали о супер-камере, способной снимать с частотой кадров 9120 даже при критически низком уровне освещенности.

Обычные высокоскоростные камеры отлично справляются с захватом быстрого движения, но их чувствительность снижается с увеличением частоты кадров, поскольку сокращается время, доступное для сбора света. Для решения этой проблемы ученые обратились к природе, а именно к глазам насекомых, где используется несколько оптических каналов и временное суммирование. В отличие от традиционных монокулярных систем камер, вдохновленная насекомыми камера использует структуру, похожую на фасеточный глаз, которая позволяет параллельно получать кадры из разных временных интервалов. В ходе этого процесса свет накапливается в течение перекрывающихся периодов времени для каждого кадра, увеличивая соотношение сигнал/шум. Исследователи продемонстрировали, что созданная ими камера может захватывать объекты до 40 раз более тусклые, чем те, которые обнаруживаются обычными высокоскоростными камерами.

Дополнительно была реализована система разделения каналов, позволяющая достигать более высокой скорости съемки, а устранение размытого изображения осуществлялось посредством восстановления сжатого кадра.

Созданная камера толщиной менее 1 мм, при этом она способна захватывать 9120 кадров в секунду, обеспечивая четкие изображения в условиях низкой освещенности. В будущем ученые намерены расширить спектр возможностей своей разработки. В частности они планируют создать алгоритмы обработки 3D-изображений и изображений со сверхвысоким разрешением, нацеленные на применение, к примеру, в биомедицинской визуализации и мобильных устройствах.

Немного рекламы

Спасибо, что остаётесь с нами. Вам нравятся наши статьи? Хотите видеть больше интересных материалов? Поддержите нас, оформив заказ или порекомендовав знакомым, облачные VPS для разработчиков от $4.99, уникальный аналог entry-level серверов, который был придуман нами для Вас: Вся правда о VPS (KVM) E5-2697 v3 (6 Cores) 10GB DDR4 480GB SSD 1Gbps от $19 или как правильно делить сервер? (доступны варианты с RAID1 и RAID10, до 24 ядер и до 40GB DDR4).

Dell R730xd в 2 раза дешевле в дата-центре Maincubes Tier IV в Амстердаме? Только у нас 2 х Intel TetraDeca-Core Xeon 2x E5-2697v3 2.6GHz 14C 64GB DDR4 4x960GB SSD 1Gbps 100 ТВ от $199 в Нидерландах! Dell R420 — 2x E5-2430 2.2Ghz 6C 128GB DDR3 2x960GB SSD 1Gbps 100TB — от $99! Читайте о том Как построить инфраструктуру корп. класса c применением серверов Dell R730xd Е5-2650 v4 стоимостью 9000 евро за копейки?