python - 从图像中删除 OCR 词(OpenCV，Python)

Question

所以，从我可以开始的..

我正在使用 OCR。该脚本非常适合我的需要。它检测单词的准确性对我来说还可以。

这是结果:附加图像 100% 准确。

from PIL import Image
import pyocr.builders
import os

os.putenv("TESSDATA_PREFIX", "C:\\Program Files (x86)\\Tesseract-OCR")

tools = pyocr.get_available_tools()
tool = tools[0]
langs = tool.get_available_languages()
lang = langs[0] #eng

file = "test.png"

txt = tool.image_to_string(Image.open(file), lang=lang, builder=pyocr.builders.TextBuilder())
print(txt + '\n')

'''
word = ['SHINE','ON','YOU','CRAZY','DIAMOND','SYD']

if word[2] in txt:
    print("## WORD IN LIST ##")
else:
    print("## NOT IN LIST ##")'''

现在的问题是:如何从图像中删除输出 OCR 列表中存在的单词(在名为 txt 的代码中)？我的意思是，如果单词 SHINE 作为输出存在于控制台(和列表)中，我如何在图像中删除它？或者，如果不删除，创建一个 mask 以便我可以隐藏它...

我认为 ocr 的工作原理是选择文本区域并在文本周围创建边界框。在这种情况下，如何删除(甚至显示)这个 ROI/边界框？在 pyocr 文档中有一些关于此功能(显示边界框)的提示，但我不知道如何使用它。

感谢任何帮助/提示。

谢谢

编辑:这段代码显示了每个字符的边界框

import csv
import cv2
from pytesseract import pytesseract as pt

pt.run_tesseract('test.png', 'output', lang=None, boxes=True, config="hocr")

# To read the coordinates
boxes = []
with open('output.box', 'rt') as f:
    reader = csv.reader(f, delimiter = ' ')
    for row in reader:
        if len(row) == 6:
            boxes.append(row)

# Draw the bounding box
img = cv2.imread('test.png')
h, w, _ = img.shape
for b in boxes:
    img = cv2.rectangle(img,(int(b[1]),h-int(b[2])),(int(b[3]),h-int(b[4])),(255,0,0),2)

cv2.imshow('output', img)
cv2.waitKey(0)

我怎样才能让它只显示第一个(整个)单词？

Answer 1

这是一个简单的方法

• 将图像转换为灰度
• 大津的阈值
• 膨胀以连接轮廓
• 为每个词找到轮廓并提取 ROI
• 执行 OCR 并删除单词

---

转为灰度后，我们用Otsu的阈值得到二值图像

接下来我们反转图像并膨胀以形成每个单词的单个轮廓

我们从这里找到轮廓并提取每个单词的 ROI。这是检测到的 ROI

我们将每个 ROI 放入 Pytesseract OCR 中。如果OCR结果是我们要删除的词，我们简单地通过用白色填充ROI来“删除”这个词，并在原始图像中替换它

---

与

words_to_remove = ['on', 'you', 'crazy']

结果是

类似

words_to_remove = ['on', 'you', 'shine', 'diamond']

结果是

终于有了

words_to_remove = ['on', 'you', 'crazy', 'diamond']

import cv2
import pytesseract

words_to_remove = ['on', 'you', 'crazy', 'diamond']
pytesseract.pytesseract.tesseract_cmd = r"C:\Program Files\Tesseract-OCR\tesseract.exe"

image = cv2.imread("1.png")
gray = cv2.cvtColor(image, cv2.COLOR_BGR2GRAY)
thresh = cv2.threshold(gray, 0, 255, cv2.THRESH_BINARY + cv2.THRESH_OTSU)[1]
kernel = cv2.getStructuringElement(cv2.MORPH_RECT, (5,5))
inverted_thresh = 255 - thresh
dilate = cv2.dilate(inverted_thresh, kernel, iterations=4)

cnts = cv2.findContours(dilate, cv2.RETR_EXTERNAL, cv2.CHAIN_APPROX_SIMPLE)
cnts = cnts[0] if len(cnts) == 2 else cnts[1]
for c in cnts:
    x,y,w,h = cv2.boundingRect(c)
    ROI = thresh[y:y+h, x:x+w]
    data = pytesseract.image_to_string(ROI, lang='eng',config='--psm 6').lower()
    if data in words_to_remove:
        image[y:y+h, x:x+w] = [255,255,255]

cv2.imshow("thresh", thresh)
cv2.imshow("dilate", dilate)
cv2.imshow("image", image)
cv2.waitKey(0)