python - 使用 OpenCV 的 Python 和 C++ 计算基本矩阵的不同结果

Question

我正在使用 OpenCV 在 Python 和 C++ 中计算视频里程计的基本矩阵。我试图使两个实现中的代码完全相同。但是，我在这两个方面都得到了不同的结果。在 Python 中，它工作正常，而在 C++ 中，它显示完全错误的结果。下面是他们的代码和输出的部分示例(第一个在 Python 中，第二个在 C++ 中)

Python版本代码:

import os
import sys
import cv2
import numpy as np
import math

# Main Function
if __name__ == '__main__':
    K = np.matrix([[522.4825, 0,        300.9989], 
                   [0,        522.5723, 258.1389], 
                   [0.0,      0.0,      1.0]])
img1 = cv2.imread(sys.argv[1] + ".jpg")
img2 = cv2.imread(sys.argv[2] + ".jpg")

# sift = cv2.SURF()

detector = cv2.FeatureDetector_create("SURF")    # SURF, FAST, SIFT
descriptor = cv2.DescriptorExtractor_create("SURF") # SURF, SIFT

# kp1, des1 = sift.detectAndCompute(img1,None)
# kp2, des2 = sift.detectAndCompute(img2,None)

kp1 = detector.detect(img1)
kp2 = detector.detect(img2) 

k1, des1 = descriptor.compute(img1,kp1)
k2, des2 = descriptor.compute(img2,kp2)

# BFMatcher with default params
bf = cv2.BFMatcher()
matches = bf.knnMatch(des1,des2, k=2)

good = []

# Apply ratio test
for m,n in matches:
    if m.distance < 0.7*n.distance:
            good.append(m)

MIN_MATCH_COUNT = 10
if len(good)>MIN_MATCH_COUNT:
    src_pts = np.float32([ kp1[m.queryIdx].pt for m in good ]).reshape(-1,1,2)
    dst_pts = np.float32([ kp2[m.trainIdx].pt for m in good ]).reshape(-1,1,2)
    F, mask = cv2.findFundamentalMat(src_pts, dst_pts, cv2.RANSAC, 5.0)
    matchesMask = mask.ravel().tolist()
else:
    print "Not enough matches are found - %d/%d" % (len(good),MIN_MATCH_COUNT)
    matchesMask = None

print F

它的输出:

[[ -3.22706105e-07   1.12585581e-04  -2.86938406e-02]
[ -1.16307090e-04  -5.04244159e-07   5.60714444e-02]
[  2.98839742e-02  -5.99974406e-02   1.00000000e+00]]

此处为 C++ 版本:

#include <iostream>
#include <vector>
#include <opencv2/core/core.hpp>
#include <opencv2/imgproc/imgproc.hpp>
#include <opencv2/highgui/highgui.hpp>
#include <opencv2/features2d/features2d.hpp>
#include <opencv2/calib3d/calib3d.hpp>
#include <opencv2/nonfree/features2d.hpp>
#include <opencv2/legacy/legacy.hpp>

using namespace std;

int main(int argc,char *argv[]) {
    //Define intrinsic matrix
    cv::Mat intrinsic = (cv::Mat_<double>(3,3) << 522.4825, 0, 300.9989,
            0, 522.5723, 258.1389,
            0, 0, 1);

    // Read input images
    string jpg1 = argv[1];
    jpg1.append(".jpg");
    string jpg2 = argv[2];
    jpg2.append(".jpg");
    cv::Mat image1 = cv::imread(jpg1,0);
    cv::Mat image2 = cv::imread(jpg2,0);
    if (!image1.data || !image2.data)
        return 0;

    // Display the images
    // cv::namedWindow("Image 1");
    // cv::imshow("Image 1",image1);
    // cv::namedWindow("Image 2");
    // cv::imshow("Image 2",image2);

    // pointer to the feature point detector object
    cv::Ptr<cv::FeatureDetector> detector = new cv::SurfFeatureDetector();
    // pointer to the feature descriptor extractor object
    cv::Ptr<cv::DescriptorExtractor> extractor = new cv::SurfDescriptorExtractor();

    // Detection of the SURF features
    vector<cv::KeyPoint> keypoints1, keypoints2;
    detector->detect(image1,keypoints1);
    detector->detect(image2,keypoints2);

    // Extraction of the SURF descriptors
    cv::Mat descriptors1, descriptors2;
    extractor->compute(image1,keypoints1,descriptors1);
    extractor->compute(image2,keypoints2,descriptors2);

    // Construction of the matcher
    cv::BruteForceMatcher<cv::L2<float> > matcher;

    vector<vector<cv::DMatch> > matches;
    vector<cv::DMatch> good_matches;
    matcher.knnMatch(descriptors1, descriptors2, matches, 2);

    for (vector<vector<cv::DMatch> >::iterator matchIterator= matches.begin();
         matchIterator!= matches.end(); ++matchIterator) {
        if ((*matchIterator)[0].distance < 0.7f * (*matchIterator)[1].distance) {
            good_matches.push_back((*matchIterator)[0]);
        }
    }

    // Convert keypoints into Point2f
    vector<cv::Point2f> src_pts, dst_pts;
    for (vector<cv::DMatch>::iterator it= good_matches.begin();
         it!= good_matches.end(); ++it)
    {
        // Get the position of left keypoints
        float x= keypoints1[it->queryIdx].pt.x;
        float y= keypoints1[it->queryIdx].pt.y;
        src_pts.push_back(cv::Point2f(x,y));
        // Get the position of right keypoints
        x= keypoints2[it->trainIdx].pt.x;
        y= keypoints2[it->trainIdx].pt.y;
        dst_pts.push_back(cv::Point2f(x,y));
    }
    // Compute F matrix using RANSAC
    cv::Mat fundemental = cv::findFundamentalMat(
            cv::Mat(src_pts),cv::Mat(dst_pts), // matching points
            CV_FM_RANSAC,  // RANSAC method
            5.0); // distance
    cout <<  fundemental << endl;

    return 0;
}

及其输出:

[-4.310057787788129e-06, 0.0002459670522815174, -0.0413520716270485;
-0.0002531048911221476, -8.423657757958228e-08, 0.0974897887347238;
0.04566865455090797, -0.1062956485414729, 1]

这里有两张测试图: image 1 image 2

我找不到原因。谁能告诉我为什么？

Answer 1

由于没有人回答，我将分享我的想法。您是只检查 F 中的数字，还是以某种方式应用它并观察到不正确的结果？正如@brandon-white 已经注意到的那样，浮点精度可能是原因之一。但实际上要复杂得多。

首先想到的是 C++ OpenCV 中的 AFAIK 使用它自己的矩阵和其他数学运算例程，而在 python 中尽可能使用 numpy。也许在幕后他们使用类似的算法/实现，但您仍然可能得到数值上不同的结果，尤其是在您处理歧义(特征向量分解、SVD 等)的情况下。

此外，您正在使用 RANSAC估计 F。为了处理(理论上)任何数量的异常值，RANSAC 从您的所有关键点中随机抽取一个小样本，并尝试找到满足某些约束的对。它多次执行此操作，然后选取最佳样本来计算最终模型。所以基本上你最终会得到不同的点来估计每次运行的 F，如果你适本地播种伪随机生成例程。但是，通常单应性和基本矩阵估计器使用更智能的方法，并且在找到最能满足约束的样本之后 - 满足该模型的所有点都将用于再次重新计算矩阵。这样你应该得到更一致的结果，如果 RANSAC 参数正常，理想情况下是相同的。我不确定它是否在 OpenCV 中使用，但我猜是。

最后还有degenerate cases ，其中无法完全估计 F - 平面运动的情况，当您的所有关键点都位于一个平面上(在 3D 世界中)时，以及纯粹的旋转相机运动。既然你说你的代码在 Python 中工作，这可能不是这种情况，但仍然是一个需要考虑的问题。

因此，如果您还没有这样做 - 尝试检查您在某些数据上获得的 F 矩阵，以确保您获得的结果确实不同。在那种情况下 - 某处应该有错误(诚然我还没有仔细检查你的代码)。

此外，显示您用于 F 计算的匹配项可能对调试有用，因为这会缩小您的代码可能表现不同的位置范围。