从校准的相机图像进行 3d 重建

Question

我正在研究 3d 重建。现在当我考虑一对图像时。我有一组对应点。我有我的相机详细信息。例如我有焦点细节，旋转和平移矩阵(4 * 4)。我想在 3D(三角剖分)中投影我的点。因此，据我所知，因子代数非常简单。但我还是要搞清楚。有没有人知道如何遵循这一点？我正在使用 matlab，所以我需要实现它!我可能又太宽泛了或其他什么。但请指导我!

Answer 1

您需要根据已知的相机属性计算相机矩阵；这是一个缩放投影矩阵，可将 3D 同质点映射到 2D 像素坐标上。 (请注意，如果您想要不错的精度，您还需要测量并系统地纠正相机的镜头失真，但这是二阶细节。)

然后，将您的相机矩阵与您的姿势矩阵(您提到的 4x4 旋转/平移矩阵)相乘以获得一个矩阵(例如 T)，它将您选择的 3D 坐标系中的一个点投影到你的相机:

pixel vector Q.x  =  T * point P.x
             Q.y               P.y
             Q.z               P.z 
             Q.w                1

pixel coordinates  =  (Q.x/Q.w, Q.y/Q.w)
"pixel depth" = Q.z/Q.w

您可以反转这个矩阵，并通过选择两个深度将像素坐标投影到 3D 光线中:一个在相机位置，另一个不在(最好选择单位深度或无穷远点)。你不能指望你的光线完全相交，但你可以根据两条对应光线最近的位置得到一个最合适的位置；更一般地，您可以将任意数量的光线的交点视为最小二乘问题(理想情况下，以每条光线的预期误差为条件)。