python - 如何使用立体三角测量从 2D 图像点计算 3D 对象点？

Question

我有一个使用 OpenCV 和 Python 校准的立体校准相机系统。我正在尝试用它来计算图像点的 3D 位置。我收集了内在和外在矩阵，以及 E、F、R 和 T 矩阵。我对如何将 2D 图像点三角化为 3D 对象点感到困惑。我已阅读以下帖子，但我对过程感到困惑 (In a calibrated stereo-vision rig, how does one obtain the "camera matrices" needed for implementing a 3D triangulation algorithm?)。有人可以解释如何从 2D 到 3D 吗？通过阅读，我觉得基本矩阵 (F) 很重要，但我还没有找到将它链接到投影矩阵 (P) 的明确方法。有人可以引导我完成这个过程吗？

我很感激能得到的任何帮助。

Answer 1

如果您校准了立体相机，您应该有每个相机的内在函数 K1、K2，以及从第一个相机到第二个相机的旋转 R12 和平移 t12。根据这些，您可以按如下方式形成相机投影矩阵 P1 和 P2:

P1 = K1 * [I3 | 0]
P2 = K2 * [R12 | t12]

这里，I3 是 3x3 单位矩阵，符号 [R | t]表示水平堆叠R和t。

然后，您可以使用函数 triangulatePoints ( documentation )，它根据两个相机矩阵实现稀疏立体三角测量。

如果您想要密集三角测量或深度图估计，有几个函数可以满足。您首先需要使用 stereoRectify ( documentation ) 校正两个图像，然后执行立体匹配，例如使用 StereoBM ( documentation )。