Python + OpenCV : OCR Image Segmentation

Question

我正在尝试根据收据的这个玩具示例进行 OCR。使用 Python 2.7 和 OpenCV 3.1。

灰度 + 模糊 + 外部边缘检测 + 收据中每个区域的分割(例如“类别”以稍后查看哪个标记 - 在本例中为现金 -)。

当图像“倾斜”以便能够正确转换然后“自动”分割收据的每个部分时，我觉得很复杂。

例子:

有什么建议吗？

下面的代码是在边缘检测之前获取的示例，但是当收据像第一张图像时。我的问题不是图像到文本。是图像的预处理。

非常感谢任何帮助! :)

import os;
os.chdir() # Put your own directory

import cv2 
import numpy as np

image = cv2.imread("Rent-Receipt.jpg", cv2.IMREAD_GRAYSCALE)

blurred = cv2.GaussianBlur(image, (5, 5), 0)

#blurred  = cv2.bilateralFilter(gray,9,75,75)

# apply Canny Edge Detection
edged = cv2.Canny(blurred, 0, 20)

#Find external contour

(_,contours, _) = cv2.findContours(edged, cv2.RETR_EXTERNAL, cv2.CHAIN_APPROX_NONE)

Answer 1

有关您描述的第一步的精彩教程可在 pyimagesearch 获得。 (他们一般都有很棒的教程)

简而言之，如 Ella 所述，您必须使用 cv2.CHAIN_APPROX_SIMPLE。一种稍微更稳健的方法是使用 cv2.RETR_LIST 而不是 cv2.RETR_EXTERNAL 然后对区域进行排序，因为即使在白色背景下它也应该正常工作/如果页面在背景中刻上更大的形状等。

来到问题的第二部分，分割字符的一个好方法是使用 OpenCV 中可用的最大稳定极值区域提取器。 CPP 中的完整实现可用 here在我最近帮助的一个项目中。 Python 实现将遵循(以下代码适用于 OpenCV 3.0+。对于 OpenCV 2.x 语法，请在线检查)

import cv2

img = cv2.imread('test.jpg')
mser = cv2.MSER_create()

#Resize the image so that MSER can work better
img = cv2.resize(img, (img.shape[1]*2, img.shape[0]*2))

gray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)
vis = img.copy()

regions = mser.detectRegions(gray)
hulls = [cv2.convexHull(p.reshape(-1, 1, 2)) for p in regions[0]]
cv2.polylines(vis, hulls, 1, (0,255,0)) 

cv2.namedWindow('img', 0)
cv2.imshow('img', vis)
while(cv2.waitKey()!=ord('q')):
    continue
cv2.destroyAllWindows()

输出为

现在，为了消除误报，您可以简单地循环遍历 hulls 中的点，并计算周长(hulls[i] 中所有相邻点之间的距离总和，其中 hulls[i] 是所有点的列表在一个凸包中)。如果周长太大，则将其归类为不是字符。

由于图像的边框是黑色的，所以出现了横跨图像的诊断线。一旦读取图像(第 7 行下方)，就可以通过添加以下行来简单地删除它

img = img[5:-5,5:-5,:]

给出输出