opencv - 立体视觉物体识别

Question

我正在使用 OpenCV Haar 级联分类器创建静态手势识别系统。我最终想把这个识别系统变成立体识别系统。这是我的问题，我可以采用 Haar 级联分类器创建的 2D 识别系统并在两个相机上实现它，以便在使用 OpenCV 中包含的立体校准功能后创建视差图吗？或者，我是否必须使用已校准的立体系统拍照才能创建级联分类器？

很难找到关于这个主题的好信息，我想计划我的项目并确保在购买和创建所有内容之前我做的事情是正确的。

谢谢。

Answer 1

首先，你应该弄清楚你想要完成的是什么。

您是否需要检测物体然后在 3D 世界坐标中对其进行定位？还是您首先需要 3D 信息来检测物体？

在前一种情况下，有几种方法可供选择。一种是校准您的立体相机系统，在两个相机中检测物体，然后通过三角测量找到它的 3D 位置。例如，您可能想要对对象的质心进行三角测量。这种方法的问题是级联对象检测器的 2D 定位可能不够精确，无法获得可靠的 3D 点。

另一种方法是校准您的相机，然后校正图像，使它们看起来好像相机是平行且行对齐的。现在无需对特定点进行三角测量，您可以计算整个图像的视差图并为任何像素获得相应的 3D 位置(理论上)。现在您可以在相机 1 中检测您感兴趣的物体，然后使用视差图找到物体上任意点的 3D 位置。

另一方面，如果您想使用 3D 信息来改进检测，则必须阅读一些最近的研究。例如，这里有一篇关于 people detection using RGB-D sensors 的论文.该论文讨论了 HOD(定向深度直方图)描述符，而不是 HOG 描述符。这是相关的原因是，如果您校准相机并校正图像，您可以获得与从 Kinect 等 RGB-D 传感器获得的深度图相同的深度图。