c++ - 图像处理:“可口可乐”识别的算法改进

Question

在过去几年中，我从事的最有趣的项目之一是有关image processing的项目。目的是开发一个能够识别可口可乐“罐头”的系统（请注意，我强调的是“罐头”一词，稍后您会看到原因）。您可以在下面看到一个示例，该示例在带有刻度和旋转的绿色矩形中可以识别。



对项目的一些限制：


背景可能非常嘈杂。
罐可以有任何比例，旋转或什至取向（在合理范围内）。
图像可能有一定程度的模糊性（轮廓可能不完全笔直）。
图像中可能有可口可乐瓶，该算法只能检测到罐头！
图像的亮度可能相差很大（因此您不能过多地依赖颜色检测）。
罐子可以部分隐藏在侧面或中间，也可以部分隐藏在瓶子后面。
图像中根本没有罐子，在这种情况下，您什么也找不到，只写了一条信息。


因此，您可能会遇到诸如此类的棘手事情（在这种情况下，我的算法完全失败了）：



我前一段时间做了这个项目，并且做得很有趣，并且实现得很好。以下是有关我的实现的一些详细信息：

语言：使用OpenCV库在C ++中完成。

预处理：对于图像预处理，即将图像转换为更原始的形式以提供给算法，我使用了2种方法：


将色域从RGB更改为HSV，并基于“红色”色调进行过滤，饱和度高于特定阈值以避免产生类似橙色的颜色，而对低值进行过滤以避免产生深色。最终结果是一个二进制的黑白图像，其中所有白色像素将代表与该阈值匹配的像素。显然，图像中仍然有很多废话，但这减少了必须处理的尺寸数。
  
使用中值滤波进行噪声滤波（获取所有邻居的中值像素值，然后用该值替换像素）以减少噪声。
经过2个先前步骤后，使用Canny Edge Detection Filter获取所有项目的轮廓。



算法：我为此任务选择的算法本身取材于this关于特征提取的出色书籍，并称为Generalized Hough Transform（与常规的Hough变换完全不同）。它基本上说了几件事：


您可以在不知道其解析方程的情况下描述空间物体（此处就是这种情况）。
它可以抵抗诸如缩放和旋转之类的图像变形，因为它将基本上测试图像的缩放因子和旋转因子的每种组合。
它使用算法将“学习”的基本模型（模板）。
轮廓图像中剩余的每个像素将投票给另一个像素，该像素根据其从模型中学到的内容，应该是对象的中心（就重力而言）。


最后，您将获得投票的热图，例如，此处罐头轮廓的所有像素都将为其重力中心投票，因此在与像素相对应的同一像素中将有很多投票中心，将在热图上看到一个峰值，如下所示：



有了这些功能后，您就可以使用简单的基于阈值的启发式方法来确定中心像素的位置，从中可以得出比例尺和旋转角度，然后在其周围绘制一个小矩形（最终比例尺和旋转系数显然相对于您的原始模板）。理论上至少...

结果：现在，尽管这种方法在基本情况下可行，但在某些方面却严重缺乏：


太慢了！我的压力还不够。处理30张测试图像几乎需要整整一天的时间，这显然是因为我对旋转和平移具有非常高的缩放系数，因为某些罐非常小。
当瓶子出现在图像中时，它完全丢失了，并且由于某种原因几乎总是找到瓶子而不是罐子（也许是因为瓶子更大，因此像素更多，投票更多）
模糊图像也不是很好，因为投票最终以像素为中心在中心附近的任意位置，从而以非常嘈杂的热图结束。
实现了平移和旋转的不变性，但没有实现方向性，这意味着未识别未直接面对相机物镜的罐子。


您是否可以使用专有的OpenCV功能帮助我改善特定算法，以解决上述四个特定问题？

我希望有些人也能从中学到一些东西，毕竟我认为不仅提出问题的人应该学习。 :)

Answer 1

另一种方法是使用scale-invariant feature transform（SIFT）或Speeded Up Robust Features（SURF）提取特征（关键点）。

它在OpenCV 2.3.1中实现。

您可以使用Features2D + Homography to find a known object中的功能找到不错的代码示例

两种算法对于缩放和旋转都是不变的。由于它们可以使用功能，因此您也可以处理occlusion（只要有足够的关键点可见）。



图片来源：教程示例

SIFT的处理过程需要几百毫秒，SURF速度更快，但是不适用于实时应用。 ORB使用的FAST在旋转不变性方面较弱。

原始论文


SURF: Speeded Up Robust Features
Distinctive Image Featuresfrom Scale-Invariant Keypoints
ORB: an efficient alternative to SIFT or SURF