c# - OpenCV:基本矩阵和 SolvePnPRansac 的投影矩阵完全不同

Question

作为我硕士论文的一部分，我正在探索运动结构。看完部分H&Z book ，按照在线教程并阅读许多 SO 帖子，我得到了一些有用的结果，但我也遇到了一些问题。我正在使用 OpenCVSharp 包装器。所有图像均使用同一相机拍摄。

我现在拥有的:

---

首先我计算初始 3d 点坐标。我通过以下步骤执行此操作:

1. 计算 Farneback 的密集光流。
2. 使用 Cv2.FindFundamentalMat 和 RANSAC 求基本矩阵

3. 使用相机内在函数获取基本矩阵(此时我使用预先确定的内在函数)并将其分解:

   Mat essential = camera_matrix.T() * fundamentalMatrix * camera_matrix;
   
   SVD decomp = new SVD(essential, OpenCvSharp.SVDFlag.ModifyA);
   
   Mat diag = new Mat(3, 3, MatType.CV_64FC1, new double[] {
       1.0D, 0.0D, 0.0D,
       0.0D, 1.0D, 0.0D,
       0.0D, 0.0D, 0.0D
   });
   
   Mat Er = decomp.U * diag * decomp.Vt;
   
   SVD svd = new SVD(Er, OpenCvSharp.SVDFlag.ModifyA);
   
   Mat W = new Mat(3, 3, MatType.CV_64FC1, new double[] {
       0.0D, -1.0D, 0.0D,
       1.0D, 0.0D, 0.0D,
       0.0D, 0.0D, 1.0D
   });
   
   Mat Winv = new Mat(3, 3, MatType.CV_64FC1, new double[] {
       0.0D, 1.0D, 0.0D,
       -1.0D, 0.0D, 0.0D,
       0.0D, 0.0D, 1.0D
   });
   
   Mat R1 = svd.U * W * svd.Vt;
   Mat T1 = svd.U.Col[2];
   Mat R2 = svd.U * Winv * svd.Vt;
   Mat T2 = -svd.U.Col[2];
   
   Mat[] Ps = new Mat[4];
   
   for (int i = 0; i < 4; i++)
       Ps[i] = new Mat(3, 4, MatType.CV_64FC1);
   
   Cv2.HConcat(R1, T1, Ps[0]);
   Cv2.HConcat(R1, T2, Ps[1]);
   Cv2.HConcat(R2, T1, Ps[2]);
   Cv2.HConcat(R2, T2, Ps[3]);
   

4. 然后，我通过对点进行三角测量然后将它们乘以投影矩阵(我尝试了 Cv2.TriangulatePoints 和 H&Z 版本，结果相似)来检查哪个投影矩阵在两个摄像机前面具有最多的点，并检查是否为正Z 值(从同质值转换后):

   P * point3D
   

5. 在这一点上，我应该有或多或少正确的 3D 点。 3D 可视化看起来非常正确。

---

然后我再次使用密集光流为每个新帧计算 SolvePNP，并在已知先前的投影矩阵的情况下计算下一个 3D 点并将它们添加到模型中。同样，3D 可视化看起来或多或少是正确的(此时没有捆绑调整)。

因为我需要为每个新帧使用 SolvePNP，所以我首先将其与为前 2 个图像计算的基本矩阵进行检查。从理论上讲，投影矩阵应该与使用初始算法计算的投影矩阵相同或几乎相同——我在第二张图像中使用初始 3D 点和相应的 2D 点。但这不一样。

下面是分解基本矩阵计算出来的:

0,955678480016302 -0,0278536127242155 0,293091827064387 -0,148461857222772 
-0,0710609269521247 0,944258717203142 0,321443338158658 -0,166586733489084 
0,285707870900394 0,328023857736121 -0,900428432059693 0,974786098164824 

这是我从 SolvePnPRansac 得到的:

0,998124823499476 -0,0269266503551759 -0,0549708305812315 -0,0483615883381834 
0,0522887223187244 0,8419572918112 0,537004476968512 -2,0699592377647 
0,0318233598542908 -0,538871853288516 0,841786433426546 28,7686946357429

它们看起来都是正确的投影矩阵，但它们是不同的。

对于那些阅读整篇文章的有耐心的人，我有 3 个问题:

1. Why are these matrices different? I know the reconstruction is up to scale, but since I have an arbitrary scale assigned in the first place the SolvePNP should keep that scale.
2. I noticed one strange thing - the translation in the first matrix seems to be exactly the same no matter what images I use.
3. Is the overal algorithm correct, or am I doing something wrong? Do I miss some important step?

如果需要更多代码，请告诉我，我将编辑问题。

谢谢!

Answer 1

首先，您描述的两种方法不太可能提供完全相同的投影矩阵有一个明显的原因:它们都使用 RANSAC 估计其结果，RANSAC 是一种基于随机性的算法.由于这两种方法都随机选择一些对应关系来估计适合其中大部分的模型，因此结果取决于所选的对应关系。

因此，您不能指望用这两种方法获得完全相同的投影矩阵。然而，如果一切顺利，它们应该非常接近，但似乎并非如此。您显示的两个矩阵有非常不同的翻译，表明可能存在更严重的问题。

首先，“无论我使用什么图像，第一个矩阵中的翻译似乎完全相同”这一事实在我看来是一个强有力的线索，表明您的实现中可能存在错误.我建议首先对此进行详细调查。

其次，我认为在 Structure From Motion 工作流中使用光流不合适。事实上，光流要求所考虑的两个图像非常接近(例如视频的两个连续帧)，而两个图像中对应点的 3D 三角测量需要大基线才能准确。这两个要求是矛盾的，可能导致结果出现问题和不准确，从而解释了两种方法的不同结果。

例如，如果您考虑的两幅图像是两个连续的视频帧，您将无法准确地对点进行三角测量，这可能会导致在第 4 步中选择错误的投影矩阵，也可能会导致 SolvePnP 估计错误的投影矩阵。另一方面，如果您考虑的两幅图像具有较大的基线，三角测量将是准确的，但光流可能会有很多不匹配，这将在整个工作流程中引入错误。

您可以做的一件事，为了了解您的问题从何而来，就是使用具有已知投影矩阵和 3D 点的综合数据。然后，您可以分析每个步骤的准确性，并检查它们是否产生了预期的结果。