c++ - 验证基本矩阵

Question

我正在尝试根据运动场景编写一个简单的结构，仅使用同一台相机拍摄的 2 张图像。

我使用 SIFT 找到图像之间的匹配点(总共 72 个匹配点)，其中 62 个是正确的。

我用OpenCV计算基础矩阵，然后是本质矩阵。当我尝试通过执行 p2^T * E * p1 来验证基本矩阵时，我得到了非常高的值而不是接近于零。

我做错了什么吗？

代码如下:(pts1、pts2 是 std::vector 。dmat 是 Mat_ )

int n = pts1.size();
std::cout << "Total point matches: " << n << std::endl;
std::vector<unsigned char> status(n);
std::cout << "K=" << K << std::endl;
F = findFundamentalMat(pts1, pts2,FM_RANSAC,3,0.99,status);
std::cout << "F=" << F << std::endl;
std::cout << "Total inliers: " << std::accumulate(status.begin(),status.end(),0) << std::endl;
E = K.t() * F * K;

std::cout << "E=" << E << std::endl;
for (int i = 0; i < n;++i)
{
  dmat p1(3,1), p2(3,1);
  p1 << pts1[i].x, pts1[i].y, 1;
  p2 << pts2[i].x, pts2[i].y, 1;
  dmat mv = p2.t() * E * p1;
  double v = mv(0, 0);
  std::cout << v << std::endl;
}

这是这段代码的输出:

Total point matches: 72
K=[390.0703661671206, 0, 319.5;
  0, 390.0703661671206, 239.5;
  0, 0, 1]
F=[-2.723736291531157e-007, 7.660367616625481e-005, -0.01766345189507435;
  -4.219955880897177e-005, 9.025976628215733e-006, -0.04376995849516735;
  0.009562535474535394, 0.03723116011143099, 1]
Total inliers: 62
E=[-0.04144297973569942, 11.65562396370436, 0.2325229628055823;
  -6.420869252333299, 1.373346486079092, -21.48936503378938;
  -0.2462444924550576, 24.91291898830852, -0.03174504032716108]
188648
-38467.5
-34880.7
289671
257263
87504.7
462472
-30138.1
-30569.3
174520
-32342.8
-32342.8
-37543.4
241378
-36875.4
-36899
-38796.4
-38225.2
-38120.9
394285
-440986
396805
455397
543629
14281.6
630398
-29714.6
191699
-37854.1
-39295.8
-3395.93
-3088.56
629769
-28132.9
178537
878596
-58957.9
-31034.5
-30677.3
-29854.5
165689
-13575.9
-13294.3
-6607.96
-3446.41
622355
-31803
-35149
-38455.4
2068.12
82164.6
-35731.2
-36252.7
-36746.9
-35325.3
414185
-35216.3
-126107
-5551.84
100196
2.29755e+006
177785
-31991.8
-31991.8
100340
108897
108897
84660.4
-7828.65
225817
225817
295423

Answer 1

仅当 v2 和 v1 处于归一化坐标时，方程 v2^T * E * v1 对本质矩阵才成立，即v1 = K^(-1)*p1，其中 p1 是以像素为单位的观测点。 v2 和 p2 也是如此。

如果你有，可以引用Hartley和Zisserman的书的定义9.16第257页。但请注意，鉴于关系 E = K.t() * F * K，这是有道理的。