image - 图像拼接的一些问题——单应性？

Question

我正在 Visual Studio 2010 上使用 OpenCV 2.3.1 进行图像拼接项目。

我目前有 2 个问题。

(我的声望不超过10所以我在这个帖子里只能发2个超链接，我会在评论区再发2个)

我按照以下链接中提到的步骤操作 Stitching 2 images in opencv

1. 在两幅图像中找到 SURF 特征并匹配它们
2. 使用 RANSAC 去除异常值
3. 计算单应性
4. 将目标图像变形为引用图像

下图是我目前的结果:

两张图片是使用相机拍摄的在相同位置但方向不同(我使用了三脚架)。

然后我尝试了另一个测试。这次我仍然使用同一台相机拍摄 2 张​​图像。但是，我将相机从原来的位置稍微移动了一下，然后拍摄了第二张照片。如图所示，结果相当糟糕:

问题 1:**这是否意味着**如果 2 个相机位于不同的位置，标准的全景拼接技术(基于单应性或相机旋转模型)将不起作用？

我尝试拼接在不同位置拍摄的图像，因为将来我想在不同位置的 2 个相机上实现拼接算法，以扩大 FOV，有点像这样:(我会在评论中发布图片，请检查Widen FOV)

但现在看来我走错了路:(。

---

我刚刚发现在算法过程中，特征查找和匹配占用了大部分时间。

问题 2: 我是否可以只计算 2 个图像的某些部分(重叠区域)的特征并仍然使用单应性进行转换？即，不计算整个图像。

我这样想是因为我认为如果指定 2 个图像之间的重叠区域量，则没有必要计算整个图像的特征。如果我可以只计算和匹配重叠区域的特征，应该会大大提高速度。

下面显示的第一个代码是计算整个图像特征的原始代码。

    int minHessian = 3000;

    SurfFeatureDetector detector( minHessian );
    vector<KeyPoint> keypoints_1, keypoints_2;

    detector.detect( frm1, keypoints_1 );
    detector.detect( frm2, keypoints_2 );

    //-- Calculate descriptors (feature vectors)  
    SurfDescriptorExtractor extractor; ///

    Mat descriptors_1, descriptors_2;

    extractor.compute( frm1, keypoints_1, descriptors_1 );
    extractor.compute( frm2, keypoints_2, descriptors_2 );

我做了以下事情来尝试减少运行整个算法所需的时间:

    //detector.detect( frm1(Rect(0.5*frm1.cols,0,0.5*frm1.cols,frm1.rows)), keypoints_1 );
    //detector.detect( frm2(Rect(0,0,0.6*frm2.cols,frm2.rows)), keypoints_2 );

    //-- Calculate descriptors (feature vectors)
    SurfDescriptorExtractor extractor; ///

    Mat descriptors_1, descriptors_2;

    extractor.compute( frm1(Rect(0.5*frm1.cols,0,0.5*frm1.cols,frm1.rows)), keypoints_1, descriptors_1 );
    extractor.compute( frm2(Rect(0,0,0.6*frm2.cols,frm2.rows)), keypoints_2, descriptors_2 );

使用上面的代码，计算时间显着减少，同时给出了一个糟糕的结果:(我会在评论中发布图片，请检查Bad Result)

目前卡住了，不知道下一步该做什么。真的希望并感谢任何帮助。谢谢。

Answer 1

问题 1:我不太确定，但拼接问题似乎是由于两张图片之间的相机平移造成的。仅使用全局单应变换，您无法完美地叠加 2 张图像。单应性只满足以下两种情况:

1. 相机进行纯旋转(无平移)
2. 相机进行一般运动，但场景是平面的

就是说，如果不是因为瓶子的话，您的场景是相当平面的(与相机的平移相比，物体相当远)。因此单应性近似可能仍然足够。您只需要适本地混合图像。为此，您首先需要找到一个位置来“剪切”两幅图像之间差异最小的图像，然后应用(例如拉普拉斯算子)混合。对于安装在汽车顶部的摄像头问题，这种近似可能仍然是合理的，因此您仍然可以使用单应性模型。

如果通过适当混合的单应性还不够，您可能需要查看 3D 重建技术或其他“放宽”单应性要求的方法。文献中有几篇论文处理镶嵌过程中的视差。然而，这些比基本的单应性拼接要复杂得多。

问题 2:是的，这可以做到，只要您非常确定重叠的位置。但是，您需要确保这个重叠区域不会太小，否则您计算的单应性可能会出现偏差。如前所述，您的办公室数据集的问题似乎是由于相机翻译造成的。

最后，您可能需要稍微调整一下 SURF 特征检测/匹配参数。特征点似乎略偏低。