c++ - 具有重叠固定相机的 OpenCV Stitcher 类

Question

我正在尝试使用 OpenCV 拼接器类从立体设置中拼接多个帧，其中两个相机都不会移动。跨多个帧运行时，我的拼接结果很差。我尝试了几种不同的方法，在这里我将尝试解释。

使用 stitcher.stitch( )

给定一对立体 View ，我为某些帧运行了以下代码(VideoFile 是 OpenCV VideoCapture 对象的自定义包装器):

VideoFile f1( ... );
VideoFile f2( ... );
cv::Mat output_frame;
cv::Stitcher stitcher = cv::Stitcher::createDefault(true);

for( int i = 0; i < num_frames; i++ ) {
    currentFrames.push_back(f1.frame( ));
    currentFrames.push_back(f2.frame( ));
    stitcher.stitch( currentFrames, output_mat );

    // Write output_mat, put it in a named window, etc...

    f1.next_frame();
    f2.next_frame();
    currentFrames.clear();
}

这在每一帧上都给出了非常好的结果，但由于参数是在视频中的每一帧中估计的，您可以看到参数略有不同的拼接中的微小差异。

使用 estimateTransform( ) & composePanorama( )

为了解决上述方法的问题，我决定尝试只在第一帧估计参数，然后使用 composePanorama( ) 拼接所有后续帧。

for( int i = 0; i < num_frames; i++ ) {
    currentFrames.push_back(f1.frame( ));
    currentFrames.push_back(f2.frame( ));

    if( ! have_transform ) {
        status = stitcher.estimateTransform( currentFrames );
    }

    status = stitcher.composePanorama(currentFrames, output_frame );

    // ... as above
}

遗憾的是，似乎存在一个错误 (documented here) 导致两个 View 以一种非常奇怪的方式分开，如下图所示:

第 1 帧:

第 2 帧:

...

第 8 帧:

显然这是没用的，但我认为这可能只是因为错误，它基本上每次调用 composePanorama() 时都会将内在参数矩阵乘以一个常数。所以我对这个错误做了一个小补丁，阻止了这种情况的发生，但是拼接结果很差。下面的补丁(modules/stitching/src/stitcher.cpp)，之后的结果:

243             for (size_t i = 0; i < imgs_.size(); ++i)
244             {
245                 // Update intrinsics
246                // change following to *=1 to prevent scaling error, but messes up stitching.
247                 cameras_[i].focal *= compose_work_aspect;
248                 cameras_[i].ppx *= compose_work_aspect;
249                 cameras_[i].ppy *= compose_work_aspect; 

结果:

有人知道如何解决这个问题吗？基本上我需要计算出转换一次，然后在剩余的帧上使用它(我们说的是 30 分钟的视频)。

理想情况下，我正在寻找一些关于修补缝合器类的建议，但我愿意尝试手动编写不同的解决方案。与stitcher类相比，较早的尝试涉及查找SURF点、关联它们和查找单应性，结果相当差，所以如果可能的话，我宁愿使用它。

Answer 1

所以最后，我使用了stitcher.cpp 代码并得到了一些接近解决方案的东西(但并不完美，因为缝合接缝仍然会移动很多，因此您的里程可能会有所不同)。

对 stitcher.hpp

的更改

在第 136 行添加了一个新函数 setCameras():

void setCameras( std::vector<detail::CameraParams> c ) {

     this->cameras_ = c;
 }`

添加了一个新的私有(private)成员变量来跟踪这是否是我们的第一次估计:

bool _not_first;

对 stitcher.cpp

的更改

在 estimateTransform() 中(~100 行):

this->not_first = 0;
images.getMatVector(imgs_);
// ... 

在 composePanorama() 中(~227 行):

// ...
compose_work_aspect = compose_scale / work_scale_;

// Update warped image scale
if( !this->not_first ) { 
    warped_image_scale_ *= static_cast<float>(compose_work_aspect);
    this->not_first = 1;
}   

w = warper_->create((float)warped_image_scale_);
// ...

代码调用stitcher对象:

所以基本上，我们创建了一个拼接器对象，然后在第一帧获取变换(将相机矩阵存储在拼接器类外部)。然后，缝合器将沿着线的某处打破内在矩阵，导致下一帧困惑。因此，在我们处理它之前，我们只需使用从类中提取的相机重置相机。

请注意，我必须进行一些错误检查，以防拼接器无法使用默认设置生成估计值 - 您可能需要使用 setPanoConfidenceThresh(...) 反复降低置信度阈值> 在你得到结果之前。

cv::Stitcher stitcher = cv::Stitcher::createDefault(true);
std::vector<cv::detail::CameraParams> cams;
bool have_transform = false;

for( int i = 0; i < num_frames; i++ ) {
        currentFrames.push_back(f1.frame( ));
        currentFrames.push_back(f2.frame( ));

        if( ! have_transform ) {
            status = stitcher.estimateTransform( currentFrames );
            have_transform = true;
            cams = stitcher.cameras();

            // some code to check the status of the stitch and handle errors...
        }

        stitcher.setCameras( cams );
        status = stitcher.composePanorama(currentFrames, output_frame );

        // ... Doing stuff with the panorama
}

请注意，这在很大程度上是对 OpenCV 代码的破解，这将使更新到新版本变得很痛苦。不幸的是，我的时间不多了，所以我只能做一个讨厌的黑客攻击!