opencv - 您需要多长时间为 ArUco 进行相机校准？

Question

为 ArUco 进行相机标定有多重要？如果我不校准相机怎么办？如果我使用其他相机的校准数据怎么办？如果相机焦点发生变化，是否需要重新校准？为消费者应用进行校准的实用方法是什么？

Answer 1

在回答您的问题之前，让我介绍一些与相机校准相关的通用概念。相机是捕捉 3D 世界并将其投影为 2D 图像的传感器。这是相机执行的从 3D 到 2D 的转换。正在关注OpenCV doc 是了解此过程如何工作以及其中涉及的相机参数的很好引用。您可以在以下 document 中找到详细的 AruCo 文档.

一般来说，各大图书馆使用的相机模型都是针孔模型。在此模型的简化形式中(不考虑径向畸变)，相机变换使用以下等式表示(来自 OpenCV 文档):

下图(来自 OpenCV 文档)说明了整个投影过程:

总结:

P_im = K・R・T ・P_world

地点:

• P_im:图像中投影的二维点
• P_world:来自世界的 3D 点
• K 是相机内在 矩阵(这取决于相机镜头参数。每次更改相机焦点时，例如焦点距离 fx 和 fy 值在此矩阵变化中)
• R 和 T 是相机的extrensics。它们分别表示相机的旋转和平移矩阵。这些基本上是表示 3D 世界中相机位置/方向的矩阵。

现在，让我们一一解答您的问题:

How important it is to do camera calibration for ArUco?

相机校准在 ArUco(或任何其他 AR 库)中很重要，因为您需要知道相机如何将 3D 世界映射到 2D 世界，以便您可以将增强对象投影到物理世界。

What if I dont calibrate the camera?

相机标定是获取相机参数的过程:内参和外参。第一个通常是固定的，取决于相机的物理参数，除非你改变一些参数作为焦点。在这种情况下，您必须重新计算它们。否则，如果您使用的是具有固定焦距的相机，那么您只需计算一次。

第二个取决于相机在世界中的位置/方向。每次移动相机时，RT 矩阵都会发生变化，您必须重新计算它们。在这里，当 ArUco 等库派上用场时，因为使用标记，您可以自动获取这些值。

简而言之，如果您不计算相机，您将无法将物体转换到物理世界中的确切位置(这对于 AR 至关重要)。

What if I use calibration data from other camera?

这是行不通的，这类似于使用未校准的相机。

Do you need to recalibrate if camera focuses change?

是的，您必须重新计算内在参数，因为在这种情况下焦距会发生变化。

为消费者应用进行校准的实用方法是什么？

这取决于您的应用，但通常您必须提供一些手动重新校准的方法。还有使用一些 3D 图案进行自动校准的方法。