python - 区分文档的图像和另一个图像

Question

我试图区分文本文档的图像和非文本文档的图像。我想编写一个方法，如果图像是文档图像则返回 DOCUMENT，如果图像不是文档图像则返回 IMAGE。

文本文档的示例图像

非文本文档的示例图像

有什么方法可以做到这一点？我是否应该使用霍夫线变换并查看图像中是否有直线水平线？

我想到的方法

1. 对图像进行霍夫变换。只考虑水平线。如果有太多(一些预定义的阈值)那么我可以说它是文本文档的图像
2. 检测白色背景上是否有大量黑色文本。然后我可以自信地说，它是文本文档的图像。 (虽然我不确定该怎么做)

Answer 1

这里有一些想法 - 在 ImageMagick 中表达，但很容易适应 OpenCV。 ImageMagick 安装在大多数 Linux 发行版中，并且可用于 OSX 和 Windows，如果您不幸不得不使用它的话。

建议 1 - 初始质量

第一个建议是尝试以 PNG 格式而不是 JPEG 格式获取屏幕截图 - 对于任何严肃的处理来说，这是更可取的。

建议 2 - 裁剪垃圾

其次，由于您周围有大量无关的垃圾，包括您的 PDF 查看器的框架，我建议在进行任何处理之前将图像的中间部分裁剪掉，因为这将删除大部分垃圾并且对检测没有太大影响很可能与页面中间的文本行相同。即:

convert textual.jpg -gravity center -crop 70x70% x.png

建议 3 - 白色百分比

接下来，查看白色像素的百分比，如果是文本则寻找高数字，非文本则寻找低数字:

# Check percentage white space
convert textual.jpg -gravity center -crop 70x70% -normalize -threshold 90% -format "%[fx:int(mean*100)]\n" info:
90

convert nontextual.jpg -gravity center -crop 70x70% -normalize -threshold 90% -format "%[fx:int(mean*100)]\n" info:
8

建议 4 - 寻找交替的黑白行

接下来，尝试将您的图像弯曲成 1 像素宽和与原始图像相同的高度，然后对其进行阈值处理。然后计算黑白交替的次数 - 文本很多，非文本很少:

# Check for alternating black and white horizontal lines
convert textual.jpg -gravity center -crop 70x70%  -threshold 50% -resize 1x! -normalize -threshold 95% -scale 20x! result.png

而对于非文本图像:

    # Check for alternating black and white horizontal lines
convert nontextual.jpg -gravity center -crop 70x70%  -threshold 50% -resize 1x! -normalize -threshold 95% -scale 20x! result.png

建议5——连接组件分析

最后，我会考虑“连通分量分析” 或“Blob 分析”。对于文本图像，您将获得许多水平对齐的小 Blob - 对应于单词或字母 - 取决于原始屏幕抓取的质量。

对于文字图片:

convert textual.jpg -gravity center -crop 70x70%     \
    -colorspace gray -negate -threshold 10%          \
    -define connected-components:verbose=true        \
    -define connected-components:area-threshold=0    \
    -connected-components 8 -auto-level output.png

输出 - 1300 个对象

Objects (id: bounding-box centroid area mean-color):
  88: 768x627+0+18 387.5,315.7 436659 srgb(0,0,0)
  0: 768x18+0+0 387.6,9.2 12194 srgb(255,255,255)
  28: 118x7+408+0 466.1,2.8 709 srgb(0,0,0)
  354: 78x16+125+428 164.8,435.3 466 srgb(255,255,255)
  1184: 76x16+146+629 185.1,636.7 417 srgb(255,255,255)
  158: 28x35+358+250 371.5,265.9 411 srgb(255,255,255)
  ...
  ...
  14: 1x1+201+0 201.0,0.0 1 srgb(0,0,0)
  346: 1x1+456+419 456.0,419.0 1 srgb(255,255,255)
  347: 1x1+46+423 46.0,423.0 1 srgb(255,255,255)
  183: 1x1+126+274 126.0,274.0 1 srgb(0,0,0)

带标签的输出图像显示找到的物体 - 每个物体都有一个逐渐变浅的阴影(1300 个阴影):

而对于非文本图像:

convert nontextual.jpg -gravity center -crop 70x70%     \
    -colorspace gray -negate -threshold 10%          \
    -define connected-components:verbose=true        \
    -define connected-components:area-threshold=0    \
    -connected-components 8 -auto-level output.png

输出 - 57 个对象

Objects (id: bounding-box centroid area mean-color):
  1: 315x237+0+0 153.6,115.2 68351 srgb(255,255,255)
  22: 56x147+181+42 215.4,119.3 3768 srgb(0,0,0)
  35: 23x10+106+227 117.0,232.0 184 srgb(0,0,0)
  36: 23x10+179+227 189.9,231.9 183 srgb(0,0,0)
  38: 22x10+264+227 274.5,231.9 179 srgb(0,0,0)
  37: 22x10+230+227 240.7,231.9 178 srgb(0,0,0)
  ...
  ...
  24: 1x1+200+50 200.0,50.0 1 srgb(0,0,0)
  25: 1x1+216+57 216.0,57.0 1 srgb(0,0,0)
  26: 1x1+220+61 220.0,61.0 1 srgb(0,0,0)

带标签的输出图像显示找到的对象 - 每个对象的阴影依次变浅，您可以看到阴影越来越少(只有 57 个):