c++ - 完善相机参数并计算错误-OpenCV

Question

我一直在尝试使用CvLevMarq完善我的相机参数，但是在阅读之后，似乎会导致混合结果-这正是我所遇到的。我阅读了有关替代方案的介绍，并了解了EIGEN-并发现了利用它的this library。

但是，上面的库似乎使用了不支持OpenCV的拼接类，可能会要求我将其移植到OpenCV。

在继续进行之前，这可能不是一件容易的事，我想我先问一下，看看是否有人遇到同样的问题？

我正在使用:

1. 使用FASTFeatureDetector计算特征

Ptr<FeatureDetector> detector = new FastFeatureDetector(5,true);
detector->detect(firstGreyImage, features_global[firstImageIndex].keypoints); // Previous picture
detector->detect(secondGreyImage, features_global[secondImageIndex].keypoints); // New picture

2. 使用 SIFTDescriptorExtractor提取功能

Ptr<SiftDescriptorExtractor> extractor = new SiftDescriptorExtractor();
extractor->compute(firstGreyImage, features_global[firstImageIndex].keypoints, features_global[firstImageIndex].descriptors); // Previous Picture
extractor->compute(secondGreyImage, features_global[secondImageIndex].keypoints, features_global[secondImageIndex].descriptors); // New Picture

3. 与 BestOf2NearestMatcher的匹配功能

vector<MatchesInfo> pairwise_matches;
BestOf2NearestMatcher matcher(try_use_gpu, 0.50f);
matcher(features_global, pairwise_matches);
matcher.collectGarbage();

4.从设备传递的 CameraParams.R四元数(略有误差，这会导致问题)

5. CameraParams.Focal == 389.0f-以此值播放，389.0f是唯一与水平但垂直不匹配的图像的值。

6. Bundle Adjustment( cvLevMarq， calcError和 calcJacobian)

Ptr<BPRefiner> adjuster = new BPRefiner();
adjuster->setConfThresh(0.80f);
adjuster->setMaxIterations(5);
(*adjuster)(features,pairwise_matches,cameras);

7. ExposureCompensator(GAIN)

8. OpenCV MultiBand Blender
到目前为止有效:

SeamFinder-在某种程度上可以工作，但要取决于cvLevMarq算法的结果。 IE。如果算法关闭，seamFinder也将关闭。

HomographyBasedEstimator效果很好。但是，由于它“依赖”功能，因此很遗憾，它不是我要寻找的方法。

我不想依赖这些功能，因为我已经有了矩阵，如果有办法代替“优化”当前矩阵，那将是目标结果。

到目前为止的结果:
cvLevMarq“俄罗斯轮盘” 6/10:

这就是我想要达到的10/10倍。但是4/10倍，看起来像这张照片下面的照片。



只要简单地重新运行算法，结果就会改变。看起来是这样(或更糟)的4/10倍:
cvLevMarq“俄罗斯轮盘” 4/10:



所需结果:

我想使用匹配的功能来“优化”相机参数-希望图像能够完美对齐。除了希望 cvLevMarq为我做这件事(它不会做4/10次)之外，还有另一种方法来确保图像对齐吗？

更新:

我已经尝试过以下版本:

OpenCV 3.1:在3.1中使用 CVLevMarq就像玩俄罗斯轮盘一样。有时它可以使它们完美对齐，而有时它会将焦点估计为NAN，这会在MultiBand Blender中引起段错误(由于 NAN，ROI = 0,0,1,1)

OpenCV 2.4.9/2.4.13:不幸的是，在2.4.9或2.4.13中使用 CvLevMarq是减去 NAN问题的同一件事。它可以完美对齐图像的6/10倍，但其他4倍则完全关闭。

我的推测/想法:

使用OpenCV的

Template Matching。也许如果我模板匹配图像的末端(即x = 0，y = 0，height = image.height，width = 50)。有什么想法吗？

我发现

是一篇有关Levenberg Marquardt在同形学中应用的有趣论文。这看起来像可以解决我的问题的东西，因为该论文使用角点检测而不是其他方法来检测图像中的特征。有什么想法吗？

也许问题出在CvLevMarq中，而不是BestOf2NearestMatcher中？但是，我已经搜索了几天，找不到另一个返回成对匹配并传递给BPRefiner的方法。

this检测第一张/第二张图像中的线条，并使用它们对齐图像。有什么想法吗？ -一件事可能是，如果图像没有任何线条怎么办？ IE。空墙？

也许我过于简单了一些。.或者也许我不是吗？基本上，我正在尝试对齐一组图像，以便可以使它们变形而不会彼此重叠。如果没有意义，请发表评论:)

8月12日更新:

在尝试了各种组合之后，到目前为止，绝对最好的是 CvLevMarq。唯一的问题是上图所示的混合结果。如果有人有任何意见，我将永远感激不已。

Answer 1

看来您的参数初始化是问题所在。我会先使用线性估算器，即忽略您的噪声传感器，然后将其用作非线性优化器的初始值。

一种快速的方法是使用 getaffinetransform ，因为您大多数情况下会轮换使用。