Android OpenCV 图像校正

Question

我正在尝试在没有校准的情况下进行图像校正，只使用基本矩阵并使用 OpenCV这是我到目前为止所做的事情:

1. 使用 SURF 和 FLANN 描述符匹配器在两个图像之间找到匹配项

   列表 good_match = getGoodMatch(img1,img2); --> 搞定了，效果不错

2. 获取 img1 和 img2 的匹配点

3. 使用 8 个匹配点 (Calib3D.FM_8PPoint) 获取基本矩阵Mat F = getFundamentalMatrix(matchesKeyPoint1,matchesKeyPoint2,good_match)
4. 使用 StereorectufyUncalibrated OpenCV 获取 Homography 3x3 矩阵

我已经从 StereoRectifyUncalibrated 获得了单应矩阵 H1 和 H2，那么如何使用该单应矩阵来校正我的真实图像？有什么办法可以知道基本矩阵和单应矩阵具有良好的值(value)？？到目前为止，SURF Image Matching 完成了他的工作。有什么建议可以改善结果吗？

谢谢...

Answer 1

纠正图像

给定一组二维点对应 X <-> X'，单应矩阵的变换为 H，由 X' = H X 给出。在这里 X和 X' 是 homogeneous vectors ，这意味着 3D 向量 X' 和 H X 不必相等，但它们的大小可以相差一个非零比例因子。

所以基本上我们想要做的是将图像中的每个像素与单应性矩阵相乘。此外，我们还想在变换后的像素之间应用某种插值，这样我们就可以得到没有“空”像素的平滑图像。幸运的是，OpenCV 中存在这样的函数:cvWarpPerspective。

此函数(在 OpenCV 2.0 中)需要 4 个参数:

• const CvArr* src - 源图像，即您要校正的图像。
• CvArr* dst - 目标图像，即整改后的结果。此图像应该是与源图像相同类型的图像。尺寸应适合校正后的图像(见下一段)。
• const CvMat* mapMatrix - 3 X 3 单应矩阵。
• int flags - 插值方法(例如 CV_INTER_LINEAR)与标志 CV_WARP_FILL_OUTLIERS 和 CV_WARP_INVERSE_MAP 的组合。

要确定目标图像的大小，您可以在源图像的角 上应用单应矩阵的变换，并使用变换后的点来确定大小。左上角的变换如下:

CvMat* point = cvCreateMat(3, 1, CV_64FC1);
CvMat* pointTransform = cvCreateMat(3, 1, CV_64FC1);

cvmSet(point, 0, 0, 0); // The x coordinate of the top left corner is 0.
cvmSet(point, 1, 0, 0); // The y coordinate of the top left corner is 0.
cvmSet(point, 2, 0, 1.0);

// Perform the homography transformation
cvMatMul(homography, point, pointTransform);

// Get the transformed corner's x and y coordinates.
double x = cvmGet(pointTransform, 0, 0) / cvmGet(pointTransform, 2, 0); // Divide by the scale factor s.
double y = cvmGet(pointTransform, 1, 0) / cvmGet(pointTransform, 2, 0); // Divide by the scale factor s.

// Release memory
cvReleaseMat(&point);
cvReleaseMat(&pointTransform);

接下来您应该注意的是，例如，像素 (0, 0) 可以转换为像素 (-5, -10)。如果您应用单应矩阵然后尝试显示图像，它将无法正确显示。为避免这种情况，您应该做的是计算 3 x 3 translation matrix。 ，基于校正图像的新角的位置。角落会告诉您需要多少像素才能将校正后的图像向上或向下、向左或向右移动。

然后您可以使用这个平移矩阵结合您找到的单应矩阵来计算最终的变换矩阵，如下所示:

// transformMat:
// [ 1 0 x ]
// [ 0 1 y ]
// [ 0 0 1 ]
// homography: Your homography matrix H1 or H2
// finalMatrix: the resulting matrix you will use in cvWarpPerspective.
// Compute the final transformation matrix based on homography matrix H1
// which can be used to rectify your first image.
cvMatMul(transformMat, H1, finalMatrix);

现在您可以使用 cvWarpPerspective 来转换您的图像:

cvWarpPerspective(image, rectifiedImage, finalMatrix, 
CV_INTER_LINEAR+CV_WARP_FILL_OUTLIERS);

请注意，您对第一张图像使用了单应矩阵 H1，对第二张图像使用了单应矩阵 H2。

基本矩阵和单应矩阵是否有好的值？

此外，回答您的问题以查看基本矩阵 F 和单应矩阵 H1 和 H2 是否具有良好的值。基本矩阵 F 应满足以下条件:对于任何一对对应点 X <-> X':

X' F X = 0。

类似地，对于矩阵H1应满足以下条件:

X' cross H1 X = 0，其中'cross'是cross product .

改善您的结果

要进一步改善您的结果，您可以:

• 使用不同的描述符来查找两个图像之间的匹配项。例如参见 SIFT和 DAISY .
• 使用 RANSAC 在两个图像之间找到超过 8 个点的对应关系并过滤异常值或 LMS算法(参见 cvFindFundamentalMatrix 中的选项 CV_FM_RANSAC 和 CV_FM_LMEDS)。