java - OCR预处理: Remove lines crossing characters

Question

我目前正在尝试提高 GoogleCloud Vision 的识别率，所以我正在构建一个预处理管道。

我目前可以创建一个覆盖图像中字符的蒙版，但正如您在下面的示例中看到的，它还显示了线条。现在，由于这些线可以穿过字符，因此如果可能的话，我想将它们从蒙版中删除而不破坏字符。

当前步骤:

线路检测:输入图像 -> 灰度 -> Blackhat -> GaussianBlur -> Threshhold(OTSU) -> HoughLinesP

掩模生成:InputImage -> 灰度 -> Blackhat -> GaussianBlur -> Threshhold(OTSU)-> ConnectedComponents

ImageExamples:(由于隐私保护，无法共享完整图像)

图像显示原始图像、掩模和识别的线条。以下代码用于生成掩码并查找行

Mat picture = Imgcodecs.imread(path);
Imgproc.cvtColor(picture, picture, Imgproc.COLOR_BGR2GRAY);
Imgcodecs.imwrite("/home/meik/Pictures/asdfGray.png", picture);
Mat blackhatElement = Imgproc.getStructuringElement(Imgproc.CV_SHAPE_RECT, new Size(7, 7));

Imgproc.morphologyEx(picture, picture, Imgproc.MORPH_BLACKHAT, blackhatElement);
Imgproc.GaussianBlur(picture, picture, new Size(5, 3), 0);
Imgproc.threshold(picture, picture, 0, 255, Imgproc.THRESH_BINARY | Imgproc.THRESH_OTSU);

/**
 * Line Detection with Canny and HoughLines(P)
 */
Mat lines = new Mat();
Mat linesResult = Mat.zeros(picture.rows(),picture.cols(), CvType.CV_8UC1);
Imgproc.HoughLinesP(picture, lines,1, Math.PI/180,100, 20, 0);
System.out.println("lines rows:" + lines.rows());
for (int x = 0; x < lines.rows(); x++) {
    double[] l = lines.get(x, 0);
    Imgproc.line(linesResult, new Point(l[0], l[1]), new Point(l[2], l[3]), new Scalar(255, 255, 255), 1, Imgproc.LINE_8, 0);
}
/**End of line detection*/
Mat kernel = Imgproc.getStructuringElement(Imgproc.CV_SHAPE_CROSS, new Size(3,3));
Imgproc.dilate(linesResult,linesResult,kernel);
Core.bitwise_not(linesResult,linesResult);

我找到了this paper谈论这个问题，但我很难理解他们的方法。

从这里开始，我如何在不破坏字符的情况下删除行？

Answer 1

我真的不认为你需要引用论文来做到这一点。

只需使用颜色信息或霍夫线即可找出一条很长的直线

使用该信息创建蒙版图像。

然后使用opencv inpaint将其删除。

https://docs.opencv.org/2.4/modules/photo/doc/inpainting.html

例如你想要的与底部图片类似。它要求拆除交通灯杆。并且您希望删除写作指南。本质上，它是同一件事