c# - 使用openCV和OCR从不规则表格中提取数据

Question

我正在尝试从表单(表单的扫描图像)中提取信息并将该信息放入表格中。我已经使用 pytesseract 成功地对图像进行 OCR，但输出的问题是 Tesseract 试图逐行提取文本。

我的扫描表单如下所示:

窗体 (A, B, C) 的每个窗口都应该是表格中的不同行。我正在尝试使用 Open Computer Vision(在 python 中)来识别各个窗口以 1)识别各个数据单元(A、B、C)，2)裁剪每个单独的窗口，以及 3)使用 Tesseract 对 OCR单个窗口的图像，以将信息放在 SQL 表中需要的位置。

我的问题:如何识别每个单独的表格输入窗口的边界，并将图像裁剪到该边界的范围内(然后应用 OCR)？另外，是否可以使用角点检测来识别单个数据单元？

我主要将 python 与 OpenCV 结合使用，并且非常熟悉将 C#/++ OpenCV 解决方案应用于 python 脚本的文档，因此我将不胜感激您可以提供的任何信息/替代解决方案。

Answer 1

可以单独使用轮廓和简单轮廓属性将它们按部分分开。

注意:这些程序仅适用于此特定表单。它不是适用于各种不规则形式的通用解决方案。但是，您可以实现或调整某些方法，以使其适用于您的表单

先读图

image=cv2.imread("TDtma.png")

将其转换为灰度

gray = cv2.cvtColor(image, cv2.COLOR_BGR2GRAY)

使用 Canny 边缘过滤器获取边缘 - 通过随机试验选择值 600,1000。我选择这个值是因为它可以正确地去除背景伪影。您可能需要根据要输入的图像更改并为此选择正确的值。

edges = cv2.Canny(gray,600,1000)

使用模糊滤镜去除现实世界图像中可能出现的微小伪影(例如手写等)

edges = cv2.GaussianBlur(edges,(5,5),0) # To remove small artifacting if any

接下来我们找到外部轮廓，因为 3 个矩形(部分)明显分开，我们需要做的就是找到所有外部轮廓。请注意，此代码对于 OpenCV 2.4.x 可能有所不同。

(_,contours,_) = cv2.findContours(edges, cv2.RETR_EXTERNAL, cv2.CHAIN_APPROX_SIMPLE)

出于某种原因，从底部到顶部检测到轮廓。所以我们有一个字符 C 递减为 A 只是为了标记我们感兴趣的区域。

FormPart = ord('C')

遍历每个轮廓，我们裁剪感兴趣的区域。

我们检查每个轮廓是否具有正确的纵横比和面积，同样这些值(纵横比:2，面积:1000)是通过实验获得的，可能需要根据现实生活中的输入图像进行更改。理想情况下，在我们的例子中，矩形的纵横比应 >2(矩形的一侧总是比另一侧大，此图像中的矩形纵横比 >2)。我们检查面积是否 >1000，以避免由于小伪影而检测到的任何类型的轮廓。同样，可能需要相应地更改这些值，以便正确处理真实世界的图像。

即使不检查轮廓面积和长宽比，这张给定的图像也会被正确处理，但由于小 Blob ，真实世界的图像可能会出现问题，所以为了避免它们，面积/长宽比检查正在进行.

for contour in contours:
x,y,w,h = cv2.boundingRect(contour)
aspect_ratio = w / float(h)
area = cv2.contourArea(contour)
if aspect_ratio<2 or area >1000: # Just to check whether we have the right contour, if not we go to the next contour
continue
crop_img = image[y:y+h,x:x+w] #This is our region of interest
cv2.imshow("Split Section "+chr(FormPart), crop_img)
cv2.waitKey(0)
FormPart=FormPart-1
if chr(FormPart) < ord('A'): # If there are more than 3 sections
break

最后，我们在这里有一个完整的程序，您可以复制并粘贴并在您的机器上运行。确保您有 Python >2.7.x 和 OpenCV 3。可能需要更改某些行才能与 OpenCV 2.4 一起使用还要确保图像名为“TDtma.png”并且与 Python 程序位于同一目录中

import cv2
image=cv2.imread("TDtma.png")
gray = cv2.cvtColor(image, cv2.COLOR_BGR2GRAY)
edges = cv2.Canny(gray,600,1000) # To remove the irrelevant edges and show the relevant ones
cv2.imshow("Canny edge detection", edges)
cv2.waitKey(0)


edges = cv2.GaussianBlur(edges,(5,5),0) # To remove small artifacting if any

(_,contours,_) = cv2.findContours(edges, cv2.RETR_EXTERNAL, cv2.CHAIN_APPROX_SIMPLE) # Detecting external contours

#If you are on opencv 2.4x use this
#(contours,_)= cv2.findContours(edgescopy, cv2.RETR_EXTERNAL,  cv2.CHAIN_APPROX_SIMPLE)
FormPart = ord('C')# Contour goes from bottom to top in this example
for contour in contours:
    x,y,w,h = cv2.boundingRect(contour)
    aspect_ratio = w / float(h)
    area = cv2.contourArea(contour)
    if aspect_ratio<2 or area <1000:  #Go to next contour if this contour doesnt meet our specifications
        continue
    crop_img = image[y:y+h,x:x+w] #This is our region of interest
    cv2.imshow("Split Section "+chr(FormPart), crop_img)
    cv2.waitKey(0)
    FormPart=FormPart-1
    if chr(FormPart) < ord('A'): # If there are more than 3 sections
        break

最后你应该有这样的东西

也可以在文本字段中分隔这些单独的数据单元格。虽然它有点复杂，但可能不适用于真实世界的图像。如果你愿意我可以试试如果您需要，请发表评论。

希望能帮到你