Во время изучения градиентных фильтров у меня возникало множество вопросов. Почему фильтр сделан именно так, а не иначе? В чём разница между разными фильтрами? В данной статье я собрал найденные мной ответы на эти вопросы. Предполагается, что читатель знаком с формулами на уровне чтения википедии, и поэтому я не объясняю, как применять матрицу фильтра к матрице изображения, просто чтобы не раздувать текст.

Важно: используется индексация пикселов, принятая в сообществе linux, когда пикселы нумеруются от левого верхнего угла изображения, ибо это правильно)

Пикселизация изображения

Теория цифровой обработки изображений в некотором смысле довольно сложна, потому что объектом изучения является точечная интенсивность света как функция координат изображения , которая вполне может быть гладкой функцией, разложимой в ряд Тейлора, но у нас никогда нет значений этой функции. При начальном знакомстве с теорией можно обмануть себя и сказать, что мол мы всё же знаем значения функции, но только на дискретном наборе точек (пикселов). Но если остаться на этом уровне понимания, то смысла в формулах Собеля нет (центральные разности должны были бы дать лучший результат).

Итак, значение пиксела — это НЕ значение функции в некоей дискретной точке , а среднее значение интенсивности, взятое по площади пиксела:

где — это ширина (она же высота) пиксела.

И это если мы забудем о том, что на настоящей цветной фотографии нет идеального деления на квадратные пикселы. Вместо этого у нас фильтр Байера, состоящий из двух зелёных, одного красного и одного синего квадратиков. Но давайте остановимся на этой формуле (1), чтобы обсудить важное, не утонув в математике.

Как видим, в формуле (1) есть две составляющих. Одна составляющая — это усреднение, когда вместо значения функции в точке мы знаем её среднее значение в квадратной области вокруг этой точки. Вторая составляющая — это дискретизация, когда даже средние значения функции мы знаем не в любой точке, а только на дискретном наборе точек . Задача вычисления градиента изображения состоит в том, чтобы по сеточной функции вычислить производные оригинальной функции и .

Давайте посмотрим, какие проблемы вносит дискретизация, а какие — усреднение.

Вычисление градиентов: влияние дискретизации

Чтобы посмотреть, какие эффекты вносит дискретизация, мы проигнорируем влияние усреднения. Другими словами мы хотим посмотреть, что получилось бы, если бы яркости пикселов были бы равны значениям функции в точках сетки . Эту, настоящую, интенсивность мы, как уже говорили, считаем хорошей функцией координат. Это значит, мы можем оценить точность численного вычисления производных с помощью разложения выражений в ряд Тейлора.

Вычисление производной по оси в точке (Рис. 1) с помощью "правой разности" даёт оценку

где — это порядок ошибки численного приближения.

Более высокую точность даёт центральная разность

В этом случае ошибка приближения будет порядка , однако есть проблема: у нас были значения интенсивности в точках сетки и , а значение производной по оси мы получили в точке , которая НЕ лежит на нашей сетке.

"Ну и что?" — скажете вы — "У нас просто появилась новая квадратная сетка со значениями производной по оси ".

Однако в двумерном мире изображений появляется ещё одна проблема. Нам нужны производные по обеим осям, но аналогичное вычисление производной по оси , даст производную в точке ,

которая не только не лежит на оригинальной сетке, но и не попадает на сетку значений производной по оси . То есть мы не можем вычислить градиент с точностью в одной и той же точке. В итоге мы имеем три разных сетки: значения интенсивности, значения производных по оси и значения производных по оси .

И тут пришёл Лоуренс Робертс (Lawrence Roberts), который решил проблему вычисления градиента в одной и той же точке. Решению дали весьма печальное название — "крест Робертса" (Roberts cross).

Лично я плАчу, когда читаю объяснение смысла креста Робертса в википедии. Там пишут про психофизические представления в теории изображений, хотя главное достижение Робертса в том, что он провёл новую систему координат , наклонённую к оригинальной под углом в (Рис. 2), что дало возможность вычислить с помощью центральных разностей обе производные в одной и той же точке

Длины отрезков между парами точек выросли: вместо в формулах (3) и (4), а значит и точность меньше, именно поэтому двойка в выражении . Тем не менее по-прежнему второй порядок точности. Вычисление градиента по отношению к оригинальным осям координат можно выполнить по формулам пересчёта координат вектора при повороте системы координат на

В матричной форме операторы будут выглядет следующим образом (общие множители обычно не используются)

Небольшое отклонение от темы. Раньше я думал, что вирусная идея использовать изображения из Плейбоя была запущена инженерами из Университетя Южной Калифорнии в 1973-м году фотографией Лены Шьёблом (боже... как же она, бедняжка, жила с такой фамилией?). Но нет, в 1961 году, то есть за 12 лет до Лены, Робертс в своей статье использовал картинки из Плейбоя (википедия утверждает, что и в своей диссертации тоже), правда тогда они были без обнажёнки. Многие из нас прошли период мастурбации на девочек из мужских журналов, но как-то никому из моих знакомых не приходило в голову вставлять эти картинки в научные статьи. Поэтому популярность изображения Лены среди образованной публики не перестаёт меня удивлять. И если вдруг кто-то не знает... Лену урезали, её полное изображение можно найти тут.

Но довольно невтемщины, подведём предварительные итоги. Выше мы показали, что прямолинейный подход (3) с центральными разностями даёт градиенты в одних точках, а градиенты — в других, в то время как подход Робертса хоть и даёт чуть худшую точность, но зато позволяет вычислять градиенты и в совпадающих точках сетки, а именно в углах пикселов.

Однако у Робертса всё ещё есть проблема, что значение интенсивности у нас дано в центрах пикселов, а значение градиентов — в углах. Возникает вопрос, а можно ли сделать так, чтобы значение градиента вычислялось для центра пиксела? Ответ да,
правда снова за счёт ухудшения точности.

В соответствии с Рис. 3 мы можем написать

Формулы (9) полностью решают поставленную задачу. Точность имеет порядок , то есть как мы и хотели, квадратична по , но множитель стал больше, ибо расстояние между вычитаемыми точками увеличилось.

Вычисление градиентов: усреднение

Пришло время вспомнить, что значение пиксела — это не только дискретизация пространства, но и усреднение значений интенсивности в пределах пиксела (1).

Чтобы увидеть, какие проблемы оно несёт, вернёмся к подходу Робертса. Для проверки его формул мы создадим изображение, состоящее из двух областей с интенсивностями и , разделённых прямой линией (Рис. 4). Выше линии границы (по оси ) функция будет равна , а ниже линии границы — . Чтобы формулы давали наилучшую точность, мы проведём линию границы через точку (на рисунке она образует положительный угол с осью ).

Теперь можно вычислить интенсивности пикселов по тому, какая часть площади каждого пиксела будет освещена, и получить значение градиента Робертса по формулам (6) и (7). Если обозначить угол, который вектор градиента образует с осью как , то понятно, что в идеале мы должны получить . Давайте проверим.

При угле наклона световой границы :

Пиксел будет освещён полностью,
Пиксел будет полностью тёмным, .
Пиксел будет освещена частично,
Пиксел будет освещен частично,

Тогда по формулам (6) и (7) можно найти

Откуда

Как видим, значение угла (10), вычисленное по формулам Робертса, не даёт нам . График функции (10) изображён на Рис. 5.

Как видно из рисунка, формула Робертса даёт точные значения наклона вектора градиента только для углов , (а также , и так далее), для остальных углов ошибка вычисления доходит примерно до . Для описания данной проблемы используют термин "неизотропность оператора", подразумевая, что при использовании изотропного оператора вращение изображения должно приводить к такому же повороту вектора градиента. Именно эту проблему и пытался решить Ирвин Собель в своём докладе об операторе, получившем позже его имя (а не проблему усреднения шумов, как иногда пишут).

Объяснения логики вывода, которые опубликовал Собель через 46 лет после своего доклада, можно кратко описать так: он хотел сделать изотропный оператор, поэтому усреднил 4 возможных направления, а для проверки точности они с Гарри Фельдманом зрительно (!) проверили, что всё выглядит хорошо. Несмотря на такой фривольный подход, оператор получился весьма приличный, что мы покажем ниже. Но сначала объясним логику вывода.

Вспомним, что для вычисления градиента по формулам Робертса мы использовали 4 точки, через которые можно провести линии, под углами , , , и так далее. То есть как раз под углами, при которых формулы Робертса дали нам правильный угол наклона градиента. Поэтому можно предположить, что если точек, используемых для вычисления будет больше, чтобы появилось больше возможных направлений, то и точность вычисления угла будет больше. То есть для начала нужно взять сетку большего размера.

На Рис. 6 изображена сетка размером 3 на 3.

Логика Собеля была следующей (смотри левую часть изображения). Мы можем вычислить градиент в точке как центральную разность

Однако можно точно также сказать, что давайте проведём оси координат через точки и . Тогда можно вычислить центральные разности в новой координатной системе как

Формулы (11) и (12) — это два различных приближённых вычисления одной и той же величины. Чтобы сделать вычисления более изотропными, мы просто усредним результаты (11) и (12). Единственное, что усреднение нужно сделать правильно, так как нам нужно найти среднее от двух векторов, заданных в разных системах координат. Поэтому сначала нужно пересчитать вектор (12) в системе с помощью формул поворота координатной системы на , а потом уже сложить их. Подробный вывод приводить не буду, чтобы не раздувать текст, а результирующие матрицы вы наверняка видели в википедии (в них снова избавились от общих множителей)

Интересно, что формулы (13) можно получить, используя логику вывода отличную от логики Собеля. Для этого рассмотрим правую часть Рис. 6. Мы можем вычислить градиент в угловой точке по формулам Робертса (8), используя интенсивности в точках , , и . Аналогично по формулам Робертса можно вычислить градиенты в угловых точках , , . После этого градиент в точке можно вычислить как среднее от градиентов в 4-х угловых точках , , , и , окружающих её. Результат будет идентичен формуле (13).

Чтобы проверить изотропность оператора Собеля-Фельдмана, мы повторим схему, описанную для оператора Робертса (смотри Рис. 4 и описание к нему). А именно, мы будем проводить линии границы света через точку , вычислять освещённости пикселов, далее по значениям освещённости пикселов вычислять угол наклона градиента, который даст оператор Собеля-Фельдмана, и сравнивать его с углом наклона линии границы света.

На Рис. 7 изображены результаты такого вычисления величины ошибки для различных схем вычисления градиента.

Для оператора Собеля-Фельдмана можно было бы написать аналитические формулы, аналогичные формуле (10), но я немного облегчил себе работу и вычислял освещённости пикселов, генерируя случайные наборы точек, поэтому графики получились немного шумными.

Кроме упомянутых схем Робертса и Собеля, мы также добавили результаты для операторов Шарра и Прюитта, как наиболее часто упоминающихся. Давайте кратко опишем смысл этих операторов.

Подход Шарра замечателен тем, что он, в отличие от Собеля не оценивал качество результатов на глазок, а предложил интересный подход для выбора наиболее оптимальных коэффициентов фильтра. Для этого нужно генерировать изображения плоских волн под разными углами. Настоящий градиент для такой волны известен. Можно получить градиент с помощью фильтра, а потом выбрать такие коэффициенты фильтра, которые минимизируют отличие вычисленного градиента от аналитического результата. Один из результатов оптимизации выражается формулами (14)

С подробностями можно ознакомиться в его диссертации (правда только на немецком языке). Теоретически он должен быть наиболее изотропным из всех возможных. Однако, как видно на Рис. 7, оператор Шарра на моей схеме проверки точности даёт худшие результаты, чем Собель. Основательного ответа, почему так случилось, у меня нет. Могу только заметить, что я использовал не синусоиды, а ступенчатые функции.

Что на самом деле использовала Джудит Прюитт для своего фильтра, сказать трудно. Оригинальной статьи в открытом доступе нет. Википедия даёт формулу (15), но если посмотреть историю изменений, то создаётся ощущение, что криворукие редакторы порядком испоганили изначальный текст и на самом деле Прюитт делала не градиентный фильтр, а оператор детектирования границ.

Для этого, по-видимому, использовалось 8 операторов, каждый из которых был наиболее чувствителен к углам 0, 45, 90 и так далее. То есть в каждой точке применялось 8 фильтров, и тот, который давал максимальный результат, определял один из 8-ми углов границы в данной точке. Сейчас википедия даёт нам только два оператора, вертикальной и горизонтальной границ, и предлагает использовать их как вычислялки для компонент вектора градиента.

Наша модель вычисления ошибки (Рис. 7) показывает, что этот подход почти так же плох, как оператор Робертса.

В заключение хочется сказать, что если встаёт задача выбора фильтра, то я бы порекомендовал Собеля или Шарра. Я видел людей, которые выбирали фильтры, просматривая в википедии картинки велосипеда, обработанные разными фильтрами, и, как Собель с Фельдманом, визуально пытаясь понять, какая из картинок выглядит красивее. Выше я показал, что точность вычисления — это точность вычисления угла наклона градиента, и по картинкам велосипедов это точно не оценишь.