На прошлом уроке мы научились превращать набор особых точек, найденных специальным детектором особых точек, в граф. Там же я объяснил, зачем это вообще надо. Сегодня мы будем изучать такую область науки о компьютерном зрении, как нахождение областей интереса на изображении. Как правило, это вторая часть этапа обработки изображений (см. первый урок). И так, предположим, нам надо найти на изображении дорожный знак. Пусть мы пока ограничимся только поиском знаков «кирпич». Вот наша рабочая картинка:

Как мы можем сузить место поиска, чтобы найти знак «кирпич». Бросается в глаза, что он ярко красный. Может, попробуем выделить красный канал (ниже вы увидите, почему так делать не надо):

import cv2
my_photo = cv2.imread('bricks\\dsc_0263.jpg')
red_channel = my_photo[:,:,2]
cv2.imshow('MyPhoto', red_channel)
cv2.waitKey(0)

cv2.destroyAllWindows()

Вот такую картинку мы получили:

Что делаем дальше? Давайте попробуем применить порог:

import cv2
import numpy as np
my_photo = cv2.imread('bricks\\dsc_0263.jpg')
red_channel = my_photo[:,:,2]
bin_img = np.zeros(my_photo.shape)
bin_img[red_channel > 200] = [0, 0, 255]
cv2.imshow('MyPhoto', bin_img)
cv2.waitKey(0)

cv2.destroyAllWindows()

И что же у нас получилось? А вот что:

Казалось бы, ура, мы нашли знак. Как локализовать скопление ярких точек, другой вопрос. Тут проблема в другом. Сработает ли наш метод так же хорошо на другой картинке, например, вот на такой:

Применяем ту же программу, с тем же эмпирически найденным порогом:

Вот это подстава, да? Программа среагировала на шум, но не «увидела» знак.

А если попробовать преобразовать в формат HSV и выделить именно красный цвет? Напомню, что значит этот формат. Канал H обозначает цвет. В зависимости от числа меняется оттенок. Канал S – насыщенность, при минимальном значении это белый цвет, при максимальном – цвет, соответствующий значению канала H. Канал V – это яркость. Минимальное значение – черный, максимальное – цвет, соответствующий комбинации H и S.

Попробуем выделить канал H:

import cv2
import numpy as np
my_photo = cv2.imread('bricks\\White1.jpg')
img = cv2.cvtColor(my_photo, cv2.COLOR_BGR2HSV)
h_channel = my_photo[:,:,0]
bin_img = np.zeros(my_photo.shape)
bin_img[(h_channel < 40) * (h_channel > 20)] = [0, 0, 255]
cv2.imshow('h_channel', h_channel)
cv2.imshow('result', bin_img)
cv2.waitKey(0)

cv2.destroyAllWindows()

Вот что у нас получилось:

У нас попали в наш диапазон черные стволы деревьев, видимо, они имеют чуть заметный красноватый оттенок. Можно попробовать выделить по яркости:

import cv2
import numpy as np
#my_photo = cv2.imread('bricks\\dsc_0263.jpg')
my_photo = cv2.imread('bricks\\White1.jpg')
#my_photo = cv2.imread('bricks\\videlenka(24).jpg')
img = cv2.cvtColor(my_photo, cv2.COLOR_BGR2HSV)
h_channel = my_photo[:,:,0]
v_channel = my_photo[:,:,2]
bin_img = np.zeros(my_photo.shape)
bin_img[(h_channel < 70) * (h_channel > 20) * (v_channel>100)] = [0, 0, 255]
cv2.imshow('v_channel', v_channel)
cv2.imshow('result', bin_img)
cv2.waitKey(0)

cv2.destroyAllWindows()

Вот что у нас получилось:

Относительно неплохо. «Дыры» можно заделать морфологическими операциями (операция закрытие):

kernel = np.ones((5,5),np.uint8)
closing = cv2.morphologyEx(bin_img, cv2.MORPH_CLOSE, kernel)

И вот что у нас получится в итоге:

У нас остался шум. Тоже можно убрать методом морфологии, на это раз применим операции открытие:

opening = cv2.morphologyEx(bin_img, cv2.MORPH_OPEN, kernel)

Если сначала применить открытие, а потом закрытие, то получим вот что:

Шум исчез, но получилось не очень красиво. А если наоборот:

Тут не получилось убрать шум.

Ладно, шум, если что, можно будет убрать другим способом. Вот полный текст программы:

import cv2
import numpy as np
my_photo = cv2.imread('bricks\\1.jpg')
img = cv2.cvtColor(my_photo, cv2.COLOR_BGR2HSV)
h_channel = my_photo[:,:,0]
v_channel = my_photo[:,:,2]
bin_img = np.zeros(my_photo.shape)
bin_img[(h_channel < 70) * (h_channel > 20) * (v_channel>100)] = [0, 0, 255]
cv2.imshow('h_channel', h_channel)
cv2.imshow('v_channel', v_channel)
cv2.imshow('my_photo', my_photo)

kernel = np.ones((5,5),np.uint8)
opening = cv2.morphologyEx(bin_img, cv2.MORPH_OPEN, kernel)
closing = cv2.morphologyEx(opening, cv2.MORPH_CLOSE, kernel)

cv2.imshow('result', closing)
cv2.waitKey(0)

cv2.destroyAllWindows()

А сейчас проверим, а сработает ли наш метод на другой картинке:

Как видим, сработал. Еще одна картинка:

А тут не увидел. Зато среагировал на знак «Остановка запрещена». Кстати, а как быть, если мы хотим не «Кирпич» детектировать, а другой знак? Может, попробовать как-то реагировать на форму? Давайте попробуем поискать круглые объекты.

Для начала, вспомним, как выделять контур:

import cv2
import numpy as np

my_photo = cv2.imread('bricks\\White1.jpg')
img_grey = cv2.cvtColor(my_photo,cv2.COLOR_BGR2GRAY)

#set a thresh
thresh = 100

#get threshold image
ret,thresh_img = cv2.threshold(img_grey, thresh, 255, cv2.THRESH_BINARY)

#find contours
contours, hierarchy = cv2.findContours(thresh_img, cv2.RETR_TREE, cv2.CHAIN_APPROX_SIMPLE)

#create an empty image for contours
img_contours = np.zeros(my_photo.shape)

# draw the contours on the empty image
cv2.drawContours(img_contours, contours, -1, (255,255,255), 1)

cv2.imshow('origin', my_photo) # выводим итоговое изображение в окно
cv2.imshow('contours', img_contours) # выводим итоговое изображение в окно

cv2.waitKey()
cv2.destroyAllWindows()

Посмотрим, как будет выделяться контур на разных картинках:

В обоих случаях окружность видна, но много шума. Как отделить от шума? В OpenCV есть замечательная функция HoughCircles (в нее, судя по всему, уже встроен детектор контуров, так как она работает с самим изображением):

import cv2
import numpy as np

my_photo = cv2.imread('bricks\\1.jpg')
#my_photo = cv2.imread('bricks\\White1.jpg')
img_grey = cv2.cvtColor(my_photo,cv2.COLOR_BGR2GRAY)

rows = img_grey.shape[0]
circles = cv2.HoughCircles(img_grey, cv2.HOUGH_GRADIENT, 1, rows / 8,
                          param1=100, param2=30,
                          minRadius=1, maxRadius=100)

res = np.zeros(my_photo.shape)
if circles is not None:
    circles = np.uint16(np.around(circles))
    for i in circles[0, :]:
        center = (i[0], i[1])
        # circle center
        cv2.circle(res, center, 1, (0, 100, 100), 3)
        # circle outline
        radius = i[2]
        cv2.circle(res, center, radius, (255, 0, 255), 3)

cv2.imshow('origin', my_photo) # выводим итоговое изображение в окно
cv2.imshow('res', res) # выводим итоговое изображение в окно

cv2.waitKey()
cv2.destroyAllWindows()

Данная программа нашла довольно много окружностей:

Это можно отрегулировать порогами, задающиеся параметрами param1 и param2:

circles = cv2.HoughCircles(img_grey, cv2.HOUGH_GRADIENT, 1, rows / 8,
                          param1=150, param2=50,
                          minRadius=1, maxRadius=100)

Более наглядно будет, если отобразить найденные окружности на исходном изображении:

res = np.zeros(my_photo.shape)
if circles is not None:
    circles = np.uint16(np.around(circles))
    for i in circles[0, :]:
        center = (i[0], i[1])
        # circle center
        cv2.circle(my_photo, center, 1, (0, 100, 100), 3)
        # circle outline
        radius = i[2]
        cv2.circle(my_photo, center, radius, (255, 0, 255), 3)

cv2.imshow('origin', my_photo) # выводим итоговое изображение в окно

А как сработает на другой картинке?

Смотрим:

Здесь, как видим, шума слишком много. Но один из кругов описывает искомый знак.

К сожалению, метод поиска круга срабатывает тоже не всегда. Вот на этой фотографии программа нашла только шум:

Как можно помочь в данной ситуации?

Первое, можно попробовать «подсунуть»  функции HoughCircles не целую картинку, а готовый контур. Только контур следует нарисовать в матрице типа uint8, вот так:

#create an empty image for contours
img_contours = np.uint8(np.zeros((my_photo.shape[0],my_photo.shape[1])))

И что мы получим? Вот что (знаки нашел, но шум остался):

Другой вариант – предварительная фильтрация (кто там в комментах возмущался, зачем я пишу про фильтры?):

filterd_image  = cv2.medianBlur(my_photo,7)

В данном случае была применена медианная фильтрация (но функции HoughCircles была «скормлена» картинка) и вот что получилось:

На этом урок закончен, но будет еще. До новых встреч.