c++ - OpenCV triangulatePoints 惯用手

Question

我有两台摄像机并排固定，平行方向看。

左相机的投影矩阵

右相机的投影矩阵

当我对对应点的两个 vector 执行 triangulatePoints 时，我得到了 3D 空间中的点集合。 3D 空间中的所有点都有一个负 Z 坐标。

所以，要深入了解这个......

我的假设是 OpenCV 使用右手坐标系。

惯用手提醒:

我假设每个相机的初始方向指向正 Z 轴方向。

因此，通过使用我在开始时介绍的投影矩阵，我会假设相机在空间中的位置是这样的:

当我得到训练点的负 Z 坐标时，这个假设与我观察到的相矛盾。我能想到的唯一解释是 OpenCV 实际上使用了左手坐标系。因此，对于我在开头所述的投影矩阵，这就是相机在空间中的定位方式:

这表明在这种情况下我的左侧摄像头不在左侧。这就是为什么我的分数为负深度。

此外，如果我尝试将 triangulatePoints 与 solvePnP 结合使用，我会遇到问题。

我使用 triangulatePoints 的输出作为 solvePnP 的输入。我希望在 3D 坐标系的原点附近获得相机坐标。我希望计算出的相机位置与开始时使用的投影矩阵相匹配。但这并没有发生。我得到了一些完全疯狂的结果，超出基线长度 10 倍以上的预期值。

示例

这个例子比上面所说的更完整地表达了这个问题。

points3D

Here是生成这些点的代码。

开始，设置相机A和相机D...

Mat cameraMatrix = (Mat_<double>(3, 3) <<
    716.731, 0, 660.749,
    0, 716.731, 360.754,
    0, 0, 1);
Mat distCoeffs = (Mat_<double>(5, 1) << 0, 0, 0, 0, 0);



Mat rotation_a = Mat::eye(3, 3, CV_64F); // no rotation
Mat translation_a = (Mat_<double>(3, 1) << 0, 0, 0); // no translation
Mat rt_a;
hconcat(rotation_a, translation_a, rt_a);
Mat projectionMatrix_a = cameraMatrix * rt_a; 

Mat rotation_d = (Mat_<double>(3, 1) << 0, CV_PI / 6.0, 0); // 30° rotation about Y axis
Rodrigues(rotation_d, rotation_d); // convert to 3x3 matrix
Mat translation_d = (Mat_<double>(3, 1) << 100, 0, 0);
Mat rt_d;
hconcat(rotation_d, translation_d, rt_d);
Mat projectionMatrix_d = cameraMatrix * rt_d;

投影A和D观察时points3D的像素坐标是多少。

Mat points2D_a = projectionMatrix_a * points3D;
Mat points2D_d = projectionMatrix_d * points3D;

我把它们放在 vector 中:

vector<Point2f> points2Dvector_a, points2Dvector_d;

之后，我再次生成 3D 点。

Mat points3DHomogeneous;
triangulatePoints(projectionMatrix_a, projectionMatrix_d, points2Dvector_a, points2Dvector_d, points3DHomogeneous);
Mat triangulatedPoints3D;
transpose(points3DHomogeneous, triangulatedPoints3D);
convertPointsFromHomogeneous(triangulatedPoints3D, triangulatedPoints3D);

现在，triangulatedPoints3D 开始是这样的:

它们与 points3D 相同。

然后是最后一步。

Mat rvec, tvec;
solvePnP(triangulatedPoints3D, points2Dvector_d, cameraMatrix, distCoeffs, rvec, tvec);

结果 rvec 和 tvec:

我曾希望得到更类似于创建 projectionMatrix_d 时使用的转换，即 (100, 0, 0) 的平移和绕 Y 轴旋转 30°。

如果我在创建投影矩阵时使用反转变换，像这样:

Mat rotation_d = (Mat_<double>(3, 1) << 0, CV_PI / 6.0, 0); // 30° rotation about Y axis
Rodrigues(-rotation_d, rotation_d); // NEGATIVE ROTATION
Mat translation_d = (Mat_<double>(3, 1) << 100, 0, 0);
Mat rt_d;
hconcat(rotation_d, -translation_d, rt_d); // NEGATIVE TRANSLATION
Mat projectionMatrix_d = cameraMatrix * rt_d;

然后我得到 rvec 和 tvec:

这更有意义。但随后我更改了起始转换，使旋转为负 CV_PI/6.0 -> -CV_PI/6.0 以及生成的 rvec 和 tvec 是:

我想解释为什么会发生这种情况。为什么我从 solvePnP 得到如此奇怪的结果。

Answer 1

OpenCV坐标系是右手，答案here给出了一个关于 OpenCV 相机系统的说明性示例。我猜想混淆是关于 rvec 和 tvec，后者没有给出相机的翻译，但它指向世界原点。第一个答案here根据一个例子解释它。您可以通过简单的矩阵乘法从 solvePnP 的输出中得到实际的投影矩阵，详细信息为 here在第一个答案中。