algorithm - 将拍摄的图像与屏幕截图(或基于数据模型生成的图像)​​进行匹配

Question

首先，我不得不说我是计算机视觉领域的新手，我目前面临一个问题，我试图用 opencv (Java Wrapper) 解决但没有成功。

基本上我有一张由相机拍摄的模型的零件照片(不同的角度、分辨率、旋转...)，我需要找到该零件在模型中的位置。

示例图片:

模型图片:

所以一个问题是:我应该从哪里开始/我应该使用哪种算法？

我的第一个尝试是使用关键点匹配，SURF 作为检测器，描述符，BF 作为匹配器。它对 10 张图片中的大约 2 张有效。我使用默认参数并尝试了其他检测器，但没有任何改进。 (也许这是正确参数的问题。但是如何结合正确的算法找出正确的参数？...)两个例子:

我的第二个尝试是使用颜色来区分模型中的某些元素并将结构与模型本身进行比较(除了模型的图片我还有模型的 xml 表示..)。现在我从图像中提取红色，手动调整 h、s、v 值以获得大约 4 张图片的最佳检测，这对其他图片无效。

两个例子:

我还尝试使用边缘检测(canny、灰色、直方图均衡)来检测几何结构。对于我可以想象的某些结果，它会起作用，但对其他图片使用相同的精明参数“失败”。两个例子:

正如我所说，我不熟悉计算机视觉，只是尝试了一些算法。我面临的问题是，我不知道哪种算法和技术的组合是最好的，除此之外我还应该使用哪些参数。手动测试似乎是不可能的。

提前致谢

格莫拉

Answer 1

您最初使用 SURF 功能的想法实际上非常好，只需尝试了解该算法的参数如何工作，您应该能够配准您的图像。您的参数的一个很好的起点是仅改变 Hessian 阈值，并且在这样做时无所畏惧:您的特征定义非常明确，因此尝试使用 2000 左右及以上的阈值(以 500-1000 的步长增加直到你变得好结果完全没问题)。

或者，您可以尝试检测椭圆并计算对其进行归一化的仿射扭曲，然后运行互相关来配准它们。这种替代方案确实意味着更多的工作，但非常吸引人。关于使用协方差矩阵及其 choletsky 分解进行归一化的一些想法 here .