Методическое пособие.

Фатеев Д.А., Фатеев О.Д.

ftvmetrics.com

Москва, январь 2021

ver 1.0

Интересные задачи присылайте в Инстаграм Direct

Методическое пособие можно скачать. Для просмотра необходимо загрузить бесплатный плеер WolframCDF.

Методическое пособие состоит из 3-х частей.

Часть 1 из 3 - ОБРАБОТКА ИЗОБРАЖЕНИЙ (124 Мб)

Часть 2 из 3 - МОРФОЛОГИЧЕСКАЯ ОБРАБОТКА (146 Мб)

Часть 3 из 3 - ОБЩИЕ ОПЦИИ (112 Мб)

Все части вместе zip архивом (283 Мб)

Сложности автоматизации в медицине и биологии связаны с экспериментальным и творческим характером работы, когда специалисты изначально не знают, что ищут и что могут найти. Поэтому непонятно, какие операции можно поставить «на поток» автоматизации.

По факту самым востребованным методом работы является итерационное чередование компьютерного и биологического зрения. На УЗИ врач исследует прибором подозрительные участки, которые фиксирует биологическим зрением (глазами) на получаемых компьютерных образах (мониторе).

В медицине и биологии работа с изображениями, полученными с помощью микроскопии, УЗИ, МРТ, тепловизоров, обладает существенными особенностями. Они связаны с необходимостью извлечения из изображений свойств, полезных для представления и описания изучаемых объектов (выделение контуров, остовов, выпуклых оболочек, мелких объектов).

Кроме того, для анализа изображений, полученных непосредственно с прибора, необходима их предварительная обработка для подавления внешних шумов, снижения уровня помех, возникших в результате дискретизации и квантования.

Применение машинного обучения в данной сфере ограничено малым количеством имеющихся примеров и спецификой каждого отдельного случая. В общем случае также неизвестно, на чем основывается то или иное решение искусственного интеллекта (невозможно восстановить логику). Можно либо соглашаться, что искусственным интеллектом принимаются удовлетворительные решения или нет. Такая ситуация еще больше затрудняет использование нейросетей.

В идеале желательно иметь возможность совмещать достижения современных информационных технологий и практического опыта и интуиции специалистов. Решением в данной ситуации является формирование промежуточных образов, которые одновременно могут восприниматься биологическим зрением специалистов и использоваться в вычислительных процедурах (в том числе, в нейросетях).

Математическая морфология позволяет создавать такие образы: выделять интересные объекты, используя различные формы их представления.

Особые перспективы математической морфологии связаны с началом применения тепловизоров при лапроскопических операциях: в ходе операции необходимо сопоставлять исходный рентген с патологией по якорям (особенностям) с изображением тепловизора для точного определения места патологии, поскольку операции под рентгеном запрещены.

Существует широкий набор функций для анализа и обработки 2D и 3D изображений, позволяющие решать реальные задачи: распознавать образы, описывать и выделять их детали, проводить морфологический анализ, вычислять их свойства, восстанавливать утраченные признаков и др.

Ниже представлен список некоторых возможных процедур обработки изображения и некоторых функций математической морфологии, с помощью которых можно их осуществить.

Далее приведены примеры использования операторов математической морфологии при обработке изображений, а также представлена структура и основные разделы Методического пособия.

Предварительная обработка изображения включает, в том числе, его базовый анализ, бинаризацию, фильтрацию, изменение размерности. Пороговая обработка позволяет изменить яркость и контрастность.

Для облегчения обработки изображения часто уменьшают количество цветов, используемых для его представления с помощью оператора ColorQuantize, как представлено для изображения гистологического препарата нейронов спинномозгового узла.

Увеличение контрастности и яркости изображения поздней бластулы лягушки проведено с помощью оператора Threshold:

Изображение пылевого клеща очищено от пыли с помощью оператора GeodesicOpening:

Удаление фона изображения мазка крови:

Выделение объектов в изображениях с помощью оператора ReplacePixelValue:

Псевдоколоризация изображений клеток кожицы лука и рентгеновских снимков.

Псевдоколоризацию изображения КТ головного мозга определяет чистая функция:

Сегментирование изображений:

Выделение интересуемой области изображения рентгена грудной клетки собаки, заданной с помощью бинарного изображения, с использованием HighlightImage[image,{RGBColor[0,0,1,1], Binarize[image]}] отдельно и совместно с оператором EdgeForm, сглаживающим границы:

Выделение указанных объектов:

Сегментация УЗИ-изображения с помощью RegionBinarize[image,mask,…]:

Выделение различных областей на изображении:

Изучение изображения мазка крови: разделение клеток крови и кокков:

Разделение компонентов гинекологического мазка:

Для выбора компонентов изображения с конкретными желаемыми характеристиками используют оператор MorphologicalComponents. Выбор может быть выполнен по расположению компонентов, их формам, свойствам интенсивности. Оператор используется для фильтрации нежелательных частей изображения, включая маленький или большой размер, касания границ, специфические формы компонентов.

С помощью оператора SelectComponents находят на изображении представляющие интерес объекты и свойства.

C помощью оператора HighlightImage на изображении можно выделить представляющие интерес компоненты. На правом рисунке выделены клетки больших размеров, не связанные с границей, найденные через вычисление центроидов и радиусов эквивалентных дисков.

С помощью оператора ComponentMeasurements вычисляют свойства объектов:

Вычисление некоторых свойств изображения нейтрофила:

Выделение сегмента изображения с помощью заданного алгоритма SelectComponents[DeleteSmallComponents[MorphologicalComponents[image,…]]] через установление представляющего интерес размера объекта:

Определение границ объектов:

Математические свойства объектов изображения:

Нахождение скелетона изображения и его опорных точек:

Построение графа изображения c помощью оператора MorphologicalGraph:

Отображение связанных областей канальцевой системы почек с помощью цвета:

Анализ взаимосвязей в микоризе:

Другие примеры обработки изображений:

Обработка изображения МРТ головного мозга:

Представление изображения в разных цветовых схемах:

Обработка изображения культуры дрожжей:

Стержневая корневая система:

Выделение морфологического периметра объектов изображения:

Обработка изображения микроскопического препарата с грибом рода Aspergillus:

Выделение интересуемой области для последующего её анализа в 3D реконструкции коленного сустава (из ExampleData):


СОДЕРЖАНИЕ

Глава 1. Файл 1: ОБРАБОТКА ИЗОБРАЖЕНИЙ

Характеристики цифрового изображения

Типы изображений

Цветовая модель

Получение изображения

Характеристики изображения

Многоканальное изображение как массив пиксельных данных

Интерфейс

ImageAssistant

Системы координат

Index Coordinates

Image Coordinates

Преобразование систем координат

PixelValue

PixelValuePositions

ReplacePixelValue

Основные манипуляции с изображением

Изменение размеров изображения путем обрезки или заполнения

Обрезка заданной области изображения

ImageTake

Удаление граничных пикселей из изображения

ImageCrop

Извлечение областей из изображения

ImageTrim

Расширение изображения на границах

ImagePad

Изменение положения и размеров изображения через пересчет

Изменение размерности изображения

ImageResize

Уменьшение изображения

Thumbnail

Реверс изображения

ImageReflect

Поворот изображения вокруг центра

ImageRotate

Арифметические операции с изображениями

Сложение изображений

ImageAdd

Вычитание изображений

ImageSubtract

Умножение изображений

ImageMultiply

Глава 1. Файл 2: ОБРАБОТКА ИЗОБРАЖЕНИЙ

Точечные операции

Гистограммы изображений

Подсчёт количества значений пикселей

ImageLevels

Нахождение глобального порогового значения интенсивности

FindThreshold

Замена значений яркости, связанная с пороговым значением

Threshold

Построение гистограммы значений пикселей

ImageHistogram

Изменение контраста

Осветление

Lighter

Затемнение

Darker

Получение негативов

ColorNegate

Настройка изображения через контрастные растяжки и степенные преобразования

ImageAdjus

Настройка изображения через точечное преобразование

ImageApply

Операции с цветом

Преобразование цвета

ColorConvert

Квантование цвета

ColorQuantize

Преобразование многоканальных изображений в бинарные

Бинаризация

Binarize

Морфологическая бинаризация

MorphologicalBinarize

Локальная адаптивная бинаризация

LocalAdaptiveBinarize

Бинарная сегментация

RegionBinarize

Двухуровневая сегментация

ChanVeseBinarize

Операции на областях изображения

Линейные и нелинейные операторы

Конволюция изображения с заданным структурирующим элементом

ImageConvolve

Фильтрация через применение функции к окрестности пикселя

ImageFilter

Глава 2. Файл 3: МОРФОЛОГИЧЕСКАЯ ОБРАБОТКА

Математическая морфология

Основные понятия

Структурирующий элемент

BoxMatrix[r]

DiskMatrix[r]

IdentityMatrix[n]

DiamondMatrix[r]

CrossMatrix[r]

Операции математической морфологии

Основные операции

Морфологическое расширение

Dilation

Морфологическая эрозия

Erosion

Морфологическое размыкание

Opening

Морфологическое замыкание

Closing

Морфологические преобразования

Трансформация “удача-промах”

HitMissTransform

Морфологическая трансформация “дно шляпы”

BottomHatTransform

Морфологическая трансформация “верх шляпы”

TopHatTransform

Нахождение минимумов в областях изображения

MinDetect

Нахождение максимумов в областях изображения

MaxDetect

Заполняющая трансформация

FillingTransform

Морфологическая трансформация

MorphologicalTransform

Дистанционная трансформация

DistanceTransform

Инверсионная дистанционная трансформация

InverseDistanceTransform

Скелетон-трансформация

SkeletonTransform

Морфологическая реконструкция

Геодезическая дилатация

GeodesicDilation

Геодезическая эрозия

GeodesicErosion

Геодезическое замыкание

GeodesicClosing

Геодезическое размыкание

GeodesicOpening

Морфологический анализ

Морфологическое утончение

Thinning

Морфологическое усечение

Pruning

Морфологический граф

MorphologicalGraph

Выделение точек ветвления скелетона

MorphologicalBranchPoints

Вычисление морфологического числа Эйлера

MorphologicalEulerNumber

Вычисление морфологического периметра

MorphologicalPerimeter

Сегментационный анализ

Морфологические компоненты

MorphologicalComponents

Сегментирование изображения по цветовому сходству объектов

ImageForestingComponents

Кластеризация компонентов

ClusteringComponents

Сегментация изображения с помощью трансформации водораздела

WatershedComponents

Сегментация изображения с помощью концепции клеточного аппарата

GrowCutComponents

Удаление фона

RemoveBackground

Анализ компонентов

Определение свойств компонентов

ComponentMeasurements

Выбор компонентов с заданными характеристиками

SelectComponents

Удаление маленьких компонентов

DeleteSmallComponents

Обработка объектов, связанных с границей изображения

DeleteBorderComponents

Колоризация компонентов

Colorize

Выделение представляющего интерес объекта изображения

HighlightImage

Глава 3. Файл 3: ОБЩИЕ ОПЦИИ

Указание конфигурации окрестности

CornerNeighbors

Указание на способ определения расстояния между точками

DistanceFunction

Указание на используемый метод вычисления

Method

Указание на способ заполнения при расширении за пределы исходных данных

Padding

Стандартная спецификация последовательностей в аргументе

Список возможных цветовых градиентов