OpenCV - 从 2D 获取 3D 坐标

Question

我看到很多人问类似的问题，但我无法完全匹配我的问题的任何答案

我有标记，我在图像坐标中得到它的 (x,y)。我可以获得变换矩阵和旋转矩阵。现在如何获得 (x,y,z) 坐标？

(如果有人可以建议我如何解决我的问题或重定向，我将不胜感激)。

编辑:我使用 Alvar 库，在那里我得到标记坐标，我也可以获得它的姿势(所以我也有旋转矩阵 3x3，和平移矩阵 3x4 或 4x4)

编辑 2:我进行了更多搜索，并研究了允许我获取旋转和平移矩阵的方法。好吧，我假设我可以获得两个矩阵取决于输入参数。但是，如果我将 3x3 矩阵设置为参数，我将只有旋转矩阵，但如果我将 3x4 或 4x4 矩阵放在那里，我将得到:

• 4x4
  | r0 r1 r2 t1 |
  | r3 r4 r5 t2 |
  | r6 r7 r8 t3 |
  | 0 0 0 1 |

• 对于 3x4
  | r0 r1 r2 t1 |
  | r3 r4 r5 t2 |
  | r6 r7 r8 t3 |

Answer 1

假设您在图像平面上有一个以像素为单位的图像点:cv::Vec2d imagePoint(u, v);

首先，你应该在相机坐标系中变换这个点。假设相机的内在参数(相机矩阵和镜头畸变系数)已知，您可以计算观察到的 imagePoint 的理想 (u', v') 坐标:

u'' = (u - cx)/fx
v'' = (v - cy)/fy
(u', v') = undistort(u'', v'', distCoeffs)

其中cx和cy是主要点的坐标，通常在图像中心附近，还有fx和fy 是以像素为单位的焦距(您可以从相机矩阵中获取它们)。distCoeffs 包含径向/切向失真系数，这也是 cv::calibrateCamera(...) 的结果。 .

无论如何，你不应该手动计算(u', v')，因为cv::undistortPoints(...)通过调用不带或带默认 R 和 P 参数的函数来做到这一点。

imagePoint在相机坐标系中的点如下:

std::vector<cv::Vec2d> imagePts;
std::vector<cv::Vec2d> idealPts;
imagePts.push_back(imagePoint);

cv::undistortPoints(imagePts, idealPts, cameraMatrix, distCoeffs);

const double lambda = 1.0;
cv::Mat cameraPt(3, 1, CV_64F);
cameraPt.at<double>(0) = idealPts[0][0] * lambda;
cameraPt.at<double>(1) = idealPts[1][1] * lambda;
cameraPt.at<double>(2) = lambda;

此时就需要相机到世界的变换矩阵来表达世界坐标系中的cameraPt:

cv::Mat camToWorld = cv::Mat::eye(4, 4, CV_64FC1);
// Fill camToWorld with [R^T|-R^T*t]
// ...

cameraPt.push_back(1.0);
cv::Mat worldPt = camToWorld * cameraPt;

至此，worldPt在世界坐标系中定义了一条射线对应于imagePoint。也就是说，射线/线的每个点都可以投影到同一个 imagePoint，因此世界上有无数个点属于同一个 imagePoint。但是，例如使用 Möller–Trumbore 射线三角形相交算法，您可以确定世界平面上的一个 3-D 点。