opencv - 具有外部跟踪的 AR - 对齐错误，值正确

Question

我最近设法让我的增强现实应用程序启动并运行接近预期。但是，我遇到了一个问题，即使值是正确的，但由于某些翻译，扩充仍然关闭!如果我非常接近解决这个问题，那就太好了。

该系统利用带有红外反射标记的外部跟踪系统(Polaris Spectra 立体光学跟踪器)来建立全局和引用框架。我有一个带有标记的乐高结构，它是增强的目标，一个使用 CAD 创建的乐高结构的 3D 模型，具有其真实世界对应物的精确规范，一个跟踪指针工具，以及一个带有世界引用的相机附在上面的标记。使用 3D Slicer 中的工具集将虚拟空间注册到现实世界，3D Slicer 是一种医学成像软件，它是我正在开发的环境。下面有几张照片只是为了澄清我正在处理的系统(5 月或可能与问题无关)。

所以简要概述每个标记/组件的作用(标记是带有四个银色球的黑色十字):

• 世界标记(右图 1)是所有其他标记转换的引用框架。它固定在 LEGO 模型上，因此可以为 LEGO 的虚拟等价物完成一次注册。
• 相机标记(第一个图像，附在相机上)跟踪相机。通过使用 cv::solvePnP() 执行的外部校准将相机注册到此标记。
• 棋盘用于使用跟踪指针(未显示)和 cv::findChessboardCorners() 获取外部校准数据。

到目前为止，我一直在与系统背后的数学进行碰撞，直到一切都安排妥当。当我移动到我估计相机原点到引用原点的位置时，两者之间的平移矢量约为 [0; 0; 0]。所以所有注册似乎都正常工作。但是，当我运行我的应用程序时，我得到以下结果:

如您所见，增强中有一个奇怪的偏移量。我已经尝试删除图像上的失真校正(目前使用 cv::undistort())，但这只会让问题变得更糟。旋转都是正确的，正如我之前所说，翻译看起来都很好。我不知道是什么原因造成的。当然，在渲染管道的实现过程中可能会出错，所以我主要将其发布在这里，希望有人遇到过类似的问题。我已经使用基于网络摄像头的跟踪方法执行了这个项目，并且即使我使用相同的渲染过程也没有遇到这样的问题。

我在这篇文章中故意含糊其辞，以避免让读者陷入这种情况的细节之中，因为我可以包含很多不同的细节。如果需要更多信息，我可以提供。任何建议或见解将不胜感激。谢谢!

Answer 1

您可以执行以下几个测试来验证每个模块是否正常工作。

首先验证您的外部和内部校准:

• 检查虚拟场景标记相对于虚拟乐高场景的位置是否与真实场景的位置准确对应-相对于真实乐高场景的标记(例如，自您上次测量其位置以来，真实场景标记可能已经移动)。
• 相机标记也是如此，自从您上次校准其相对于相机光学中心的位置后，它可能已经移动。
• 检查相机的校准是否仍然准确。对于这样的相机，更喜欢 [fx,0,cx;0,fy,cy;0,0,1] 形式的相机矩阵(即偏斜固定为零)并估计相机失真系数(注意:OpenCV 的undistort 函数不支持具有非零倾斜的相机矩阵；使用此类矩阵可能不会引发任何异常，但会导致错误的去失真)。
• 检查标记跟踪器是否不需要重新校准。

然后验证渲染管线，例如通过在移动相机时检查场景标记是否正确地重新投影到相机图像中。

• 如果重新投影不正确，则可能是您将 OpenCV 相机矩阵映射到 OpenGL 投影矩阵的方式有误，或者是您将 OpenCV 相机姿势映射到 OpenGL 模型 View 矩阵的方式有误。尝试使用带有简单 3D 点和简单投影和模型 View 矩阵的玩具示例来确定哪一个是错误的。
• 如果重新投影正确，则可能存在校准问题(见上文)。

除此之外，如果不直接与系统交互，就很难猜出可能出了什么问题。如果我是你，并且在完成上述测试后仍然不知道问题出在哪里，我会尝试从头开始并使用玩具示例验证每个中间步骤。