30.06.2021 21:45
eny01 2 2300 Источник

Прочитать картинку, сохранить текст, обработать текст, получить результат довольно просто. Хочу рассказать как отобразить результат для пользователя на ранее прочитанной картинке, например, выделить кусочек текста содержащий целевое предложение. Такая задача будет полезна при выделении важной части отчета и демонстрации её руководству.

Рисовать на картинке можно по координатам, а получить координаты нужно при чтении текста. Получить их можно используя особый output_type:

pd_dataframe = pytesseract.image_to_data(image, output_type=Output.DATAFRAME)

И так, давайте рассмотрим пример. Возьмем общедоступный финансовый отчет из Интернета, прочитаем одну его страницу (ниже на ней же и будем рисовать) и посмотрим на получившийся датафрейм с текстом.

результат output_type = Output.DATAFRAME
результат output_type = Output.DATAFRAME
Подробное описание колонок (eng)

  • level = 1/2/3/4/5,the level of current item.

  • page_num: the page index of the current item. In most instances, a image only has one page.

  • block_num: the block item of the current item. when tesseract OCR Image, it will split the image into several blocks according the PSM parameters and some rules. The words in a line often in a block.

  • par_num: The paragraph index of the current item. It is the page analysis results.

  • line_num: The line index of the current item. It is the page analysis results.

  • word_num: The word index in one block.

  • left/top/width/height:the top-left coordinate and the width and height of the current word.

  • conf: the confidence of the current word, the range is -1~100.. The -1 means that there is no text here. The 100 is the highest value.

  • text: the word ocr results.

Датафрейм состоит из слов, для каждого слова указана страница (обычно одна у всех слов), блок, параграф в блоке, строка параграфа, номер слова.

отличие блоков от параграфов (block vs par_num)
отличие блоков от параграфов (block vs par_num)

Рассмотрим подробнее столбцы с координатами, полученные для каждого слова. Распознавание считает координаты в пикселях:

left - отступ от левой границы картинки до левой части слова

top - отступ от верхней границы картинки до верхней части слова

width - длина слова (расстояние между левой и правой границами слова)

height - высота слова (расстояние между нижней и верхней границами слова)

Для блока или параграфа по всем словам возьмем минимальные left и top, а width и height максимальные, в результате получим координаты для выделенного текста:

Получив датафрейм с координатами каждого слова, можно создать датафрейм с координатами блоков, параграфов, строк, предложений.. зависит от решаемой задачи. Для рисования (геометрических фигур, вставки дополнительного текста и др.) по этим координатам потребуется получить картинку из текста и на ней рисовать, если для распознавания и получения координат вы искусственно увеличивали её - не забудьте при рисовании увеличивать точно так же.

Код чтения текста, рисования cv2.rectangle по координатам выложу на GitHub