Привет, Хабр! Всем давно известно, что мы в Smart Engines занимаемся компьютерной томографией (КТ) и развиваем Smart Tomo Engine (STE) - программу для томографической реконструкции и визуализации.

Результирующее томографическое изображение в КТ получается с использованием вычислительно затратных алгоритмов реконструкции, которые применяются к набору зарегистрированных двумерных рентгеновских изображений. Однако сегодня мы хотим рассказать не об алгоритмах КТ, а о том, как можно попытаться обойтись без них, но все же увидеть объемное реконструированное изображение внутренней структуры изучаемого объекта. В статье мы расскажем, как с помощью правильно выбранных двумерных проекций построить в голове человека трехмерное изображение. А исходить мы будем из физических принципов восприятия человеком объемных изображений. Картинки прилагаются! По ним можно не только убедиться, что теория работает, но и вспомнить детство со стереопарами и анаглифом. Запасайтесь попкорном и 3D очками. Приятного прочтения!

Как устроено получение трёхмерного изображения в рентгеновской томографии

Процесс получения трехмерного изображения в рентгеновской  можно разделить на несколько этапов:

1. Сканирование: Источник рентгеновского излучения (рентгеновская трубка) вращается вокруг объекта, посылая лучи в разных направлениях. Объект остается неподвижным, а рентгеновская трубка вращается с определенной скоростью.

2. Детектирование: Лучи, проходящие через объект, регистрируются детекторами, преобразующими рентгеновское излучение в электрические сигналы, которые затем передаются на компьютер для обработки.

3. Обработка данных: Полученные данные обрабатываются с помощью специальных алгоритмов, которые рассчитывают трёхмерную структуру объекта по серии двухмерных проекций.

4. Визуализация: Полученное трехмерное изображение может быть визуализировано с помощью различных программных средств, которые позволяют вращать изображение, увеличивать его и т.д.

Таким образом, рентгеновская томография позволяет получить трехмерное изображение объекта на основе данных, полученных при сканировании объекта в различных направлениях. И тут с томографией играет злую шутку этимология её названия: томогра́фия (др.-греч. τομή — сечение и γράφω — пишу) — получение послойного изображения внутренней структуры объекта.

Именно анализ двумерных срезов реконструированного объема чаще всего анализируется специалистами, чтобы изучить трёхмерный объект.

Все эти вычислительно затратные операции реконструкции трёхмерного объёма были сделаны только для того, чтобы опять смотреть на плоские картинки? Тем более, что их интерпретация требует большого опыта и умения строить объёмные изображения у себя в голове.

Конечно, мы знаем, что существуем множество способов трёхмерной визуализации томографических данных, чтобы помочь нашему мозгу увидеть трёхмерную картинку. Вот примеры таких визуализаций, реализованных в Smart Tomo Engine.  

И тут мы задумались, а какие ещё есть техники построения трёхмерного изображения по набору двумерных картинок. И обнаружили у себя уже встроенный в человека зрительный аппарат, который по двум изображениям умеет построить в нашем мозгу трёхмерную картину окружающего нас пространства. Но для начала давайте вспомним, …

Как устроено человеческое зрение и восприятие объемных картинок 

Наше зрение — это невероятно точный инструмент, который в процессе эволюции стал помогать нам ориентироваться в пространстве. Это комплексная система, но сейчас давайте сосредоточимся на физике, лежащей в основе нашего зрения, в частности, на восприятии расстояния и объема.

Наши глаза работают как маленькие фотоаппараты, улавливая световые сигналы. Каждый глаз оснащен хрусталиком, который фокусирует поступающий свет на сетчатку - слой светочувствительных клеток в задней части глаза. Сетчатка подобна биологическому экрану, преобразующему световые картины в электрические сигналы, которые воспринимаются нашим мозгом.

Но как эта система позволяет нам воспринимать расстояние и объем?

Секрет кроется в бинокулярном зрении — наличии у нас двух глаз, разделенных небольшим расстоянием, примерно 6,5 см между зрачками у взрослого человека. Это разделение создает два немного разных изображения мира. Представьте себе, что вы держите палец перед лицом и попеременно закрываете то один, то другой глаз — вы заметите, что палец скачет из стороны в сторону. Эта диспропорция, известная как бинокулярный параллакс, является основным инструментом оценки расстояния до объекта. 

Наш мозг воспринимает эти два слегка различающихся вида и объединяет их в единое изображение. Возникающее при этом восприятие глубины позволяет нам оценивать расстояния и воспринимать мир в трех измерениях. Это достигается за счет оценки точки пересечения исходящих лучей света от объекта как показано на рисунке ниже [1].

На основе положения точек на сетчатки глаза мозг вычисляет положение объектов в пространстве. Также на рисунке F - точка пересечения линии фокуса глаза с сетчаткой. L, R - точки пересечения световых лучей из точки Q с сетчаткой глаза.  Различие взаимного положения точек, отображаемых на сетчатках левого и правого глаза называется диспаратностью. Именно диспаратность изображений лежит в основе неосознаваемых психофизиологических процессов бинокулярного и стереоскопического зрения. Тут важно кратко отметить, что зрительный аппарат это не только глаза (хард), но и софт, который, натренированный в процессе эволюции, позволяет почти мгновенно определять пространственное расположение объектов по информации с сетчатки.

Кроме того, наш мозг использует различные дополнительные подсказки: относительный размер объектов (более крупные объекты, как правило, находятся ближе), схождение линий и плоскостей вдали, распределение света и тени и даже наши предварительные знания о размерах знакомых объектов.

Технология стереопары

Основываясь на известных принципах нашего зрения, были разработаны различные технологии, позволяющие создать ощущения объема на плоском экране. Одной из таких технологий является стереопары.

Стереопара представляет собой два изображения одной и той же сцены, снятые с разных точек зрения, подобно тому как левый и правый глаза видят мир с двух разных точек зрения. Когда левый и правый глаз воспринимают только одно из двух изображений, то мозг может объединить их в единое трехмерное восприятие.

Физика стереопары связана с бинокулярной диспропорцией — тем же принципом, который лежит в основе нашего восприятия глубины. Когда мы смотрим на стереопару, каждый глаз видит немного разное изображение. Мозг пытается согласовать эти диспропорции, создавая иллюзию глубины.

Для просмотра стереопары необходимо использовать стереоскоп или применять специальную технику работы с глазами, известную как "свободное наблюдение".

При "свободном просмотре" человек перекрестно или параллельно рассматривает стереопару, заставляя каждый глаз фокусироваться на другом изображении. При перекрестном просмотре зритель слегка перекрещивает глаза, чтобы изображения накладывались друг на друга и образовывали третье, центральное изображение, которое кажется трехмерным. При параллельном просмотре зритель расслабляет глаза, устремляя взгляд в бесконечность до тех пор, пока два изображения не наложатся друг на друга.

Стереопары позволяют визуализировать трехмерный мир на двухмерном носителе. Они находят применение в различных областях, включая картографию, медицинскую визуализацию, микроскопию и даже развлечения - вспомните 3D-фильмы, для просмотра которых требуются специальные очки!

Технология анаглиф

Другой технологией является анаглифные изображения. Анаглифные изображения - это привычные картинки, которые ассоциируются с винтажными 3D-очками - с красной и голубой линзами.

Анаглиф - это, по сути, стереопара, объединенная в одно изображение, но с уникальным цветовым кодированием каждого изображения, чтобы направить каждый глаз в нужную перспективу.

Каждая "половина" стереопары окрашивается в разные цвета (традиционно в красный и голубой). 3D-очки, которые вы носите, содержат линзы тех же цветов. Красная линза пропускает только красный свет, блокируя голубой, и наоборот  голубая пропускает только голубой свет. Таким образом, каждый глаз видит только предназначенное для него изображение, создавая бинокулярную диспропорцию, необходимую для восприятия глубины.

Цвета, используемые в анаглифических изображениях, не являются произвольными. Красный и голубой цвета выбраны потому, что они являются комплементарными, то есть противоположными друг другу на цветовом круге. Таким образом, они идеально подходят для фильтрации изображения, не предназначенного для каждого глаза, что позволяет каждому глазу видеть именно то изображение, которое предназначено для него.

Технология анаглифа нашла свое применение в развлечениях, научной визуализации и даже в космических исследованиях: НАСА использовало анаглифы для создания трехмерных карт Марса и других небесных тел.

Анаглиф и стереопары в томографии

Можно попробовать использовать данную технологию для построения трехмерного томографического изображения, для предварительной оценки результата томографии.

Давайте разберемся, как это работает.

Как и в стереограммах или анаглифах, два рентгеновских снимка делаются под разными углами. Каждое изображение представляет собой различный "вид" внутренних структур пациента. Когда эти два изображения воспринимаются правильно, мозг может выполнить своего рода "биологическую компьютерную томографию", объединив эти два изображения в единое трехмерное восприятие

Но тут надо притормозить и вспомнить, что наш мозг не привык смотреть на “полупрозрачные” изображения, которыми являются рентгеновские проекции. На таких проекциях зачастую нет особых точек, за которые могут ухватиться внутренние алгоритмы распознавания. Ответить на этот вопрос нам помогли две наши недавние работы, в которых исследовались эффективности работы детекторов особых точек на традиционных и рентгеновских изображениях [2, 3]. Наши исследования показали, что алгоритмы компьютерного зрения работают достаточно хорошо на рентгеновских снимках, так может и мозг сможет?

Изучение литературных источников вывело нас на публикацию в Nature 2018 года [4], которая описывает реализация рентгеновского стереоскопического зрения в режиме реального времени во время хирургических процедур. В этой работе предлагается снимать две проекции объекта и транслировать их на очки хирургу. Вот предлагаемая схема стереовидения из этой статьи и авторы утверждают, что такой подход является рабочим.

В компьютерной томографии дела обстоят ещё лучше. Нам не надо ничего дополнительно измерять. У нас уже есть изображения объекта, полученные под разными углами, т.к. источник рентгеновского излучения и детектор вращаются вокруг пациента, получая серию двумерных рентгеновских изображений (или "проекций"). Каждая проекция соответствует набору лучей, проходящих через тело пациента, а полученное изображение представляет собой линейный интеграл внутренних линейных коэффициентов ослабления пациента вдоль этих лучей. 

При одновременном просмотре двух таких рентгеновских проекций, скомпонованных в анаглиф или стереограмму, наш мозг может составить их трехмерное представление о внутренних структурах пациента. 

А теперь перейдем к тестированию человеческого компьютера!

Роза

Заяц

Банан

Вместо заключения

Человек может воспринять стереопару менее чем за секунду. Компьютер пока никак не научился вразумительно воспринимать структуру объекта всего по двум близлежащим проекциям. Человек победил машину? В этом смысле да, так как человек может быстрее машины оценить структуру объекта. Однако для решения многих задач без точной метрологии не обойтись. Описанный подход может стать хорошим подспорьем для ранней диагностики, где зачастую используют всего несколько проекций. А ощущение глубины позволит повысить точность в таких задачах. Вот и мы в наш томографический продукт добавили компоненту Virtual Reality для просмотра томографических проекций анаглиф и стереопар. Эта оригинальная система визуализации позволяет быстро пронаблюдать "глазами" трёхмерную структуру объекта, что особенно актуально на больших объёмах данных, где процедура реконструкции занимает значительное время. Так как зачастую по одной проекции нельзя определить, имеют ли данные характерный дефект или нет, например, перекрещиваются ли трещины или лежат на разных глубинах, а вот псевдо-3D легко справляется с данной задачей.