image-processing - 单个摄像机的运动重建

Question

我有一个校准过的相机(已知内在参数，即相机矩阵 K 以及畸变系数已知)。

我想重建相机的 3d 轨迹。没有关于场景的先验知识。

通过呈现在同一场景中的两张图像并从中提取两组对应的匹配特征点(SIFT、SURF、ORB 等)来简化问题我的问题是如何计算 to 视点之间的相机外部参数(即旋转矩阵 R 和平移向量 t )？

我已经设法计算出基本矩阵，并且由于 K 是已知的，所以基本矩阵也是如此。使用 David Nister's efficient solution to the Five-Point Relative Pose Problem我已经设法得到 4 种可能的解决方案，但是:

1. 对基本矩阵 E ~ U * diag (s,s,0) * V' 的约束并不总是适用 - 导致不正确的结果。[编辑]:取平均奇异值似乎可以纠正结果 :) 一降

2. 我怎么知道这四个中哪一个是正确的？

谢谢

Answer 1

您对第 1 点的解决方案是正确的:diag( (s1 + s2)/2, (s1 + s2)/2, 0)。

至于判断四种解决方案中哪一种是正确的，只有一种会给出相对于相机框架的所有点的正深度。这就是您想要的。

可在此处找到用于检查哪个解决方案正确的代码:http://cs.gmu.edu/%7Ekosecka/examples-code/essentialDiscrete.m来自 http://cs.gmu.edu/%7Ekosecka/bookcode.html他们使用 U 和 V 的行列式来确定具有正确方向的解决方案。寻找评论“那么四种可能性是”。由于您只是在估计基本矩阵，因此它很容易受到噪声的影响，并且如果所有点都共面，则根本不会表现良好。

此外，平移仅恢复到恒定比例因子内，因此您看到单位大小的归一化平移矢量这一事实是完全正确的。原因是深度未知，估计为 1。您必须找到一些方法来恢复深度，如八点算法 + 3d 重建的代码(bookcode 链接中的算法 5.1。)

上面示例代码出自的书也是很好的引用。 http://vision.ucla.edu/MASKS/您感兴趣的第 5 章可在示例章节链接上找到。