opencv - 2D坐标到3D世界坐标

Question

我想将 2D 图像坐标转换为 3D 世界坐标。我正在使用 ZED 相机，它是一个立体相机，它附带的 sdk 提供视差图。因此我有深度。两个相机彼此平行。虽然这个问题很简单，但我无法弄清楚转换背后的数学原理。我有以下信息

1) 我有像素信息(即由 u 和 v 表示的行号和列号)和该像素的深度 D(以米为单位)。

2)我也知道两个相机的焦距和cx，cy值

3) 两个投影中心B(baseline)之间的距离已知。

我想知道如何从图像中的像素(行、列、深度)到世界坐标中的(X、Y、Z)。

假设世界坐标系的原点是两个相机之间的中心点，垂直于地面。 (相机的高度称为 H)。

谢谢。

Answer 1

由于您已经知道每个像素的深度 D(以米为单位)，因此您不需要相机之间的基线 B(您需要通过视差值计算深度)。事实上，D 已经是您搜索到的 Z 坐标。

针孔相机模型的通用公式(假设没有畸变)为:

u = fx * (X / Z) + cx
v = fy * (Y / Z) + cy

因此可以直接计算 3D 坐标:

X = Z / fx * (u - cx)
Y = Z / fy * (v - cy)
[Z = D]

请注意，只有在处理经过校正的图像(或低失真图像)时，这才是正确的。