python - 使用 OpenCV 删除 OCR 的文本框

Question

我正在尝试在具有以下格式的文档上运行 OCR(使用 Google 的 Tesseract):



但是，Tesseract 假设中间的短条是字母/数字(l 或 i 或 1)。

作为预处理措施，我尝试使用以下代码删除垂直和水平线:

import cv2

from pdf2image import convert_from_path

pages = convert_from_path('..\\app\\1.pdf', 500)
for page in pages:
    page.save('..\\app\\out.jpg', 'JPEG')

image = cv2.imread('out.jpg')
result = image.copy()
gray = cv2.cvtColor(image,cv2.COLOR_BGR2GRAY)
thresh = cv2.threshold(gray, 0, 255, cv2.THRESH_BINARY_INV + cv2.THRESH_OTSU)[1]

# Remove horizontal lines
horizontal_kernel = cv2.getStructuringElement(cv2.MORPH_RECT, (40,1))
remove_horizontal = cv2.morphologyEx(thresh, cv2.MORPH_OPEN, horizontal_kernel, iterations=2)
cnts = cv2.findContours(remove_horizontal, cv2.RETR_EXTERNAL, cv2.CHAIN_APPROX_SIMPLE)
cnts = cnts[0] if len(cnts) == 2 else cnts[1]
for c in cnts:
    cv2.drawContours(result, [c], -1, (255,255,255), 5)

# Remove vertical lines
vertical_kernel = cv2.getStructuringElement(cv2.MORPH_RECT, (1,40))
remove_vertical = cv2.morphologyEx(thresh, cv2.MORPH_OPEN, vertical_kernel, iterations=2)
cnts = cv2.findContours(remove_vertical, cv2.RETR_EXTERNAL, cv2.CHAIN_APPROX_SIMPLE)
cnts = cnts[0] if len(cnts) == 2 else cnts[1]
for c in cnts:
    cv2.drawContours(result, [c], -1, (255,255,255), 5)

cv2.imshow('thresh', thresh)
cv2.imshow('result', result)
cv2.imwrite('result.png', result)
cv2.waitKey()

我遇到了一个问题，该文档的输出删除了文档中的大部分垂直和水平线，甚至是下图左侧和右侧的开始和结束线，但没有删除它们之间的小条。

我想知道我是否通过尝试预处理和删除行来解决这个问题。有没有更好的预处理方法或其他方法来解决这个问题？

Answer 1

观察到表单字段与字符是分开的，您可以简单地使用轮廓区域进行过滤以隔离文本字符。想法是到Gaussian blur ，然后 Otsu's threshold获得二值图像。从这里我们find contours并使用 contour area 过滤具有一些预先确定的阈值。我们可以通过使用 cv2.drawContours 绘制轮廓来有效地去除线条。 .

二进制图像



删除的行



反转准备 OCR



OCR 结果使用 Pytesseract

HELLO

代码

import cv2
import pytesseract

pytesseract.pytesseract.tesseract_cmd = r"C:\Program Files\Tesseract-OCR\tesseract.exe"

# Load image, grayscale, blur, Otsu's threshold
image = cv2.imread('1.png')
gray = cv2.cvtColor(image, cv2.COLOR_BGR2GRAY)
blur = cv2.GaussianBlur(gray, (3,3), 0)
thresh = cv2.threshold(blur, 0, 255, cv2.THRESH_BINARY_INV + cv2.THRESH_OTSU)[1]

# Find contours and filter using contour area
cnts = cv2.findContours(thresh, cv2.RETR_EXTERNAL, cv2.CHAIN_APPROX_SIMPLE)
cnts = cnts[0] if len(cnts) == 2 else cnts[1]
for c in cnts:
    area = cv2.contourArea(c)
    if area > 500:
        cv2.drawContours(thresh, [c], -1, 0, -1)

# Invert image and OCR
invert = 255 - thresh
data = pytesseract.image_to_string(invert, lang='eng',config='--psm 6')
print(data)

cv2.imshow('thresh', thresh)
cv2.imshow('invert', invert)
cv2.waitKey()

注:如果您仍然想使用删除水平/垂直线的方法，则需要修改垂直内核大小。例如，更改 (1,40)至 (1,10) .这将有助于删除较小的行，但也可能删除文本中的一些垂直行，例如 L .