image - 如何改进关键点检测和匹配

Question

我一直在从事图像处理和机器人技术方面的自主项目，其中机器人不像往常一样检测颜色并挑选物体，而是尝试检测板上的孔(类似于不同的多边形)。为了更好地理解这里的设置是一张图片:

如您所见，我必须检测这些孔，找出它们的形状，然后使用机器人将物体放入孔中。我正在使用 kinect 深度相机来获取深度图像。图片如下:

我在思考如何用相机检测孔洞，最初使用 mask 根据深度测量去除背景部分和一些前景部分，但这并没有奏效，因为在不同的方向摄像头的孔会与电路板合并……就像范围内的东西(它完全变成白色)。然后我遇到了 adaptiveThreshold 函数

adaptiveThreshold(depth1,depth3,255,ADAPTIVE_THRESH_GAUSSIAN_C,THRESH_BINARY,7,-1.0);

使用腐 eclipse 、膨胀和高斯模糊去除噪声；如下图所示，它以更好的方式检测到孔。然后我使用 cvCanny 边缘检测器来获取边缘，但到目前为止效果并不好，如下图所示。之后我尝试了 SIFT、SURF、ORB、GoodFeaturesToTrack 的各种特征检测器，发现 ORB 给出了最好的时间和检​​测到的特征。在此之后，我尝试通过查找其关键点并匹配这些关键点以获得查询图像的相对相机姿势，以便为 findHomography 函数提供良好的匹配。结果如下图所示:

最后，我想获得两个图像之间的相对相机姿势，并使用从 solvePnP 函数获得的旋转和平移矢量将机器人移动到该位置。

So is there any other method by which I could improve the quality of the holes detected for the keypoints detection and matching?

我也尝试过轮廓检测和 approxPolyDP 但近似的形状并不是很好:

我已经尝试调整阈值和 canny 函数的输入参数，但是这是我能得到的最好的

Also ,is my approach to get the camera pose correct?

更新:无论我尝试什么，我都无法获得良好的可重复特征来映射。然后我在网上读到深度图像的分辨率很低，而且它只用于掩蔽和获取距离之类的东西。所以，我突然想到这些特征是不合适的，因为低分辨率的图像边缘凌乱。所以我想到了检测 RGB 图像上的特征并使用深度图像来仅获取这些特征的距离。我得到的功能质量简直超出了图表。它甚至检测到板上的螺丝!以下是使用 GoodFeaturesToTrack 关键点检测检测到的关键点。 .我在获取距离时遇到了另一个障碍，因为点的距离没有正确显示。我搜索了可能的原因，一段时间后我发现由于相机之间的偏移，RGB 和深度图像中存在偏移。您可以从前两张图像中看到这一点。然后我在网上搜索了如何补偿这个偏移量，但找不到可行的解决方案。

If anyone one of you could help me in compensate the offset,it would be great!

更新:我无法很好地利用 goodFeaturesToTrack 函数。该函数给出 Point2f 类型的角点。如果要计算描述符，我们需要关键点，使用下面的代码片段将 Point2f 转换为关键点会导致尺度和旋转不变性的损失。

for( size_t i = 0; i < corners1.size(); i++ )
{
keypoints_1.push_back(KeyPoint(corners1[i], 1.f));
}

特征匹配的可怕结果如下所示 .

我现在必须开始不同的特征匹配。我会发布进一步的更新。如果有人可以帮助解决偏移问题，那将非常有帮助。

Answer 1

补偿图像输出与世界坐标之间的差异:

您应该使用良好的旧相机校准方法来校准相机响应并可能为相机输出生成校正矩阵(以便将它们转换为真实比例)。

打印出棋盘模板并拍摄各种照片后，事情就没那么复杂了。 (对于此应用，您无需担心旋转不变性。只需使用图像阵列校准世界 View 即可。)

您可以在此处找到更多信息:http://www.vision.caltech.edu/bouguetj/calib_doc/htmls/own_calib.html

--

既然我似乎无法对这个问题发表评论，我想问一下您的具体应用是否需要机器即时“找出”孔的形状。如果孔的形状数量有限，您可以对它们进行数学建模，并在黑白边缘图像上寻找支持预定义模型的像素。

如 (x)^2+(y)^2-r^2=0 表示半径为 r 的圆，而 x 和 y 是像素坐标。

话虽如此，我认为需要对应用程序(形状检测)的要求进行更多说明。