java - 尽管单应性内点良好，但 opencv viewTransform 仍会产生不正确的转换

Question

我在尝试让perspectiveTransform() 生成我可以理解的结果时遇到问题。

我正在编写一个图像匹配应用程序。这些图像大部分是绘画。我所匹配的是整体-整体、整体-部分、部分-整体甚至部分-部分。决议将会有所不同。由于这种关系，通常使用的“对象”“场景”术语不适合。因为对象实际上可以是场景，反之亦然。因此，我使用查询图像和目标索引图像来描述查询和我要匹配的图像。

我一直在关注各种 OpenCV 教程，将一幅图像与另一幅图像进行匹配，然后使用透视变换能够在识别的图像上放置一个边界框......但我遇到了问题。

Image 1 - Whole-Part - Result of image matching: The query image (left), target pre-indexed img (right)

在添加到此的图像中，我们可以看到我有一个整体-部分关系。作为已进行此操作的 SIFT 过程的一部分，图像已缩放至最大边缘 1000 并转换为灰度。

Query image dimensions x=1000, y=750  
Idx image dimensions x=667, y=1000  

Initial Flann matches: 501  
After Lowe's 2nd nn ratio: 48 matches  
RANSAC inliers: 37 matches  

代码..

homography = Calib3d.findHomography(idxMatOfPoint2f, queryMatOfPoint2f, Calib3d.RANSAC, 5, mask, 2000, 0.995);
Mat query_corners = new Mat(4, 1, CvType.CV_32FC2);
Mat idx_corners = new Mat(4, 1, CvType.CV_32FC2);


query_corners.put(0, 0, new double[]{0, 0});
query_corners.put(1, 0, new double[]{queryImage.cols() - 1, 0});
query_corners.put(2, 0, new double[]{queryImage.cols() - 1, queryImage.rows() - 1});
query_corners.put(3, 0, new double[]{0, queryImage.rows() - 1});

Core.perspectiveTransform(query_corners, idx_corners, homography);

此代码的结果给出以下数据(原始 x,y :转换后的 x,y )

Corners - Top-left  = 0.0,0.0 : 163.84683227539062,167.56898498535156  
Corners - Top-right = 999.0,0.0 : 478.38623046875,169.61349487304688  
Corners - Bot-right  = 999.0,749.0 : 491.45220947265625,411.24688720703125  
Corners - Bot-left  = 0.0,749.0 : 162.11233520507812,411.5089416503906  

现在显然，绘制图像的点是错误的 - 但选择要绘制的点意味着我已经确定了这一点。然而，我觉得奇怪的是，该框是查询图像的整个大小，转换为第二个图像的空间。我没想到盒子的尺寸和形状会以一种甚至与第一张图像不匹配的方式减小。

转换后的 x,y 对我来说没有任何意义。有人可以解释一下吗？

Image 2 - Part-Whole - Result of image matching: The query image (left), target pre-indexed img (right)

查看图像 2，其中查询是目标 idx 图像的一部分和整体:

Initial Flann matches: 500
After Lowe's 2nd nn ratio: 21
RANSAC inliers: 17

query image dimensions x=1000, y=750
idx   image dimensions x=1000, y=609

Corners - Top-left  = 0.0,0.0 : -1228.55224609375,-923.1514282226562
Corners - Top-right = 999.0,0.0 : 3561.064453125,-930.8649291992188
Corners - Bot-right  = 999.0,749.0 : 2768.0224609375,1934.417236328125
Corners - Bot-left  = 0.0,749.0 : -699.1375732421875,2089.652587890625

这对我来说完全没有意义。 -1228？但这两个图像的宽度都只有 1000，并且查询完全包含在目标 idx 图像中。

最后一张图片显示了对此的挫败感。 Image 3 - Whole-Whole在这里我们可以看到透视变换的角只是很远 - 它实际上比匹配的图像小......看起来透视变换函数返回几乎随机的结果。

有人能发现我做错了什么吗？我是否误解了透视变换？

Answer 1

感谢 Micka...perspectiveTransform() 中问题的答案是因为查询和预索引图像点在函数调用中进行了交换。以下调用给出了匹配图像的正确结果。

单应性 = Calib3d.findHomography(queryMatOfPoint2f, idxMatOfPoint2f, Calib3d.RANSAC, 5, mask, 2000, 0.995);

但是，单应性允许出现一组奇怪的匹配，这是不应该允许的。由于透视变换现已解决，我将发布一个新问题。