python - 低质量数字图像的 OCR 预处理方法？

Question

我目前正在进行一个项目，该项目将读取数独网格的图像、检测网格、识别数字、解决难题并将解决方案覆盖在图像上。为了识别数字，我将网格划分为 n*2 个图像，其中每个图像都是一个单独的网格(示例:ex2 ex9)，并将它们运行到 pytesseract 中。然而，我的所有图片都没有检测到任何文本，即使它只是一张没有噪音/边框/等的数字图片。

我已经尝试了平滑图像的常用方法、各种阈值方法、调整图像大小、反转图像以及将数字裁剪到边界框，但这些似乎都不起作用。我已经在其他图像上测试了我为 pytesseract 编写的代码，这些代码似乎都可以正常工作，只是它们对我的图像不起作用。

谁能就我可以尝试的方法和/或为什么我的图像似乎不容易处理提供建议？

作为引用，这是我一直在使用的 pytesseract image_to_string 的设置:

text = image_to_string(im, config='--psm 10 --oem 3' + '-c tessedit_char_whitelist=123456789')

Answer 1

我找到了解决方案，但肯定不美观。我发现 pytesseract 在捕获数字很少的数字方面很糟糕。我从 CNN 中获得灵感，它在进行图像识别时使用“零填充”。现在请注意，我唯一从中获得灵感的是它的实际名称，而不是方法(它比本文将要接近的任何东西都复杂得多)。

我找到了一个包含 0 的图像，并创建了一个包含三个零(任意选择的数字和数字数量)的“零填充图像”。无论如何，我发现 pytesseract 能够完美地扫描数字图像! 15/15 例，而不是 3/15 例。请记住将 OCR 扫描数字除以 1000(如果您使用三个 0)。

我使用了这篇文章中展示的水平图像堆叠技术: Image stacking post

import numpy as np
from PIL import Image
def concat_images(imga, imgb):
    """
    type(imga): string of filename
    type(imgb): string of filename
    type(new_img): PIL.Image.Image

    """
    imga = np.asarray(Image.open(imga).convert('LA') )
    imgb = np.asarray(Image.open(imgb).convert('LA') )

    ha,wa = imga.shape[:2]
    hb,wb = imgb.shape[:2]
    max_height = np.max([ha, hb])
    total_width = wa+wb
    new_img = np.zeros(shape=(max_height, total_width, 2) , dtype = 'uint8')
    new_img[:ha,:wa]=imga
    new_img[:hb,wa:wa+wb]=imgb
    new_img = Image.fromarray(new_img)

    return new_img