opencv - 相对相机位姿估计: obtaining metric translation using noisy estimate

Question

我目前正在使用opencv对一个相机相对于另一个相机进行姿态估计，在一个camera1固定并且camera2可以自由移动的设置中。我知道这两个相机的内在特性。我有使用对极几何的姿势估计模块和使用五点算法计算基本矩阵来计算camera2相对于camera1的R和t；但我想获得公制转换。为了帮助实现这一点，我有两个 GPS 模块，一个在 camera1 上，一个在 camera2 上。现在，如果我们假设 camera1 的 GPS 完美无缺且准确； camera2 的 GPS 表现出一些 XY 噪声，我需要一种方法在这个嘈杂的 GPS 之上使用 opencv 姿态估计来获得最终的准确翻译。

鉴于这些信息，我的问题有两个部分:

由于相机之间的外部因素不断变化，是否可以使用捆绑调整来优化我的姿势？

我能否以某种方式将我的(嘈杂的)GPS 测量结果纳入捆绑调整框架中作为初始估计，并获得更准确的度量转换估计作为我的最终结果？

Answer 1

1) 不，bundle adjustment有另一个功能，无论如何您都无法使用它，因为您使用 5-point 的每一对都会有一个未知的刻度。您应该改用 perspective-n-point algorithm在第一对图像之后。

2)是的，这称为传感器融合，您需要首先校准(或知道)您的 GPS 传感器坐标和相机坐标之间的转换。有一个open source framework您可以使用。