algorithm - 表单字段的 HSV 颜色移除/丢失

Question

我正在编写一个系统来从表单图像中删除某些字段边界。字段中可能有文字，即使笔迹越过字段边界，我也需要正确保留。

我有 2 个图像:1 个彩色图像(转换为 HSV 色彩空间)和 1 个像素排列的黑白图像(这些由扫描仪生成)

鉴于彩色图像中的颜色。

我的优势在于我先验地知道该字段的确切位置，并且字段边界线的宽度/高度。

我当前的实现包括(对于每个字段)，扫描彩色图像上的字段边界并计算该字段边界的平均 HSV 值(因为我知道字段边界的确切位置，我只访问“字段边界”像素，但如果它们穿过字段边界，我也可能会访问一些手写像素，我的想法是它们不会使平均值偏差太大)。一旦我有了字段边界的“平均”HSV 值，我再次扫描字段边界，并为每个像素计算以下增量函数:

如果“当前”像素和平均 HSV 之间的 Delta 值小于 0.07(凭经验发现)，那么我将像素设置为白色(颜色靠得很近)，否则我将像素保持为黑色。

以下是字段的一些示例:

彩色图像: 黑白图像未滤除: 删除公式中未使用饱和度的黑白图像: 完全使用公式的实际丢弃的黑白图像(使用所有 3 个组件 H、S 和 V)

我用来获取第三张丢失图像的公式是上面的公式但是我把饱和度排除在等式之外的地方(我只是在玩弄东西)。
这显然对颜色变化不够精致，但配方非常对饱和度变化敏感(这主要是由 JPEG 压缩伪像引起的图像中存在的(示例工件):

我认为第 4 个例子是最好的，因为它对颜色变化非常敏感，所以你不太可能删除笔迹，但问题是你更容易由于简单扫描或压缩导致的轻微色差，拾取边框人工制品。

您有什么想法可以减轻出现的一些颜色(饱和度)变化在 field 边界内，是否使用直方图？那里涉及一些量化减少垃圾箱的数量？

我想听听人们的任何想法。

谢谢。

Answer 1

如果您将机器学习技术应用于此问题，您可能会得到一些不错的结果。

例如，如果您想将图像中的每个像素标记为区域边界或不是区域边界，您可以尝试手动标记一些图像中的像素，计算一堆特征(您目前只使用颜色但我认为定向梯度也可能会产生一些好的结果)并将所有内容转储到支持向量机(SVM)中。

如果您熟悉 C++ 或 Python，OpenCV 会提供 SVM 和基于梯度的特征(描述符)的实现:

• Support vector machines tutorial
• Histograms of oriented gradients

另外，Matlab 还提供代码来训练 SVM 和计算梯度特征。