算法 - 将图像变形为另一幅图像并计算相似性度量

Question

我有一个关于通过基于强度的配准计算一幅图像与另一幅图像的最佳匹配点的查询。我想对我的算法提出一些意见:

1. 计算本次迭代的扭曲矩阵

2. 对于图像A的每个点，

   2a。我们将特定图像 A 像素坐标与扭曲矩阵扭曲到图像 B

   2b。如果翘曲点坐标在图像B中，则进行插值得到图像B中对应的强度。

   2c。计算翘曲像素A强度与翘曲图像B强度的相似度度量值

3. 循环遍历图像 A 中的每个像素

4. 遍历所有可能的旋转和平移

这样可以吗？有没有相关的opencv代码可以引用？

Answer 1

算法点评

您的算法看起来不错，但您必须注意:

1. 边缘效应:您需要确保算法不支持图像 A 的大部分不与图像 B 重叠的匹配。您可能希望计算平均相似性度量并限制转换以确保至少 50% 的像素重叠。

2. 计算复杂性。可能需要考虑很多可能的平移和旋转，并且该算法在实践中可能太慢。

3. 变形类型。根据您的应用，您可能还需要考虑透视/光照变化以及平移和旋转。

加速度

视频编码器中通常使用类似的算法，尽管大多数会忽略旋转/视角变化并只搜索平移。

一种非常常用的方法是对最佳匹配进行梯度搜索。换句话说，尝试以几种不同的方式调整平移/旋转(例如，左/右/上/下 16 像素)并选择最佳匹配作为新的起点。然后重复这个过程几次。一旦无法改进匹配，请减小调整的大小并重试。

替代算法

根据您的应用，您可能需要考虑一些替代方法:

1. 立体匹配。如果您的 2 张图像来自立体相机，那么您实际上只需要在一个方向上搜索(OpenCV 提供了有用的 methods 来执行此操作)

2. 已知模式。如果您能够在两个图像中放置一个已知的图案(例如棋盘)，那么注册它们就会变得容易得多(并且 OpenCV 提供了 methods 来查找和注册某些类型的图案)

3. 特征点匹配。一种常见的图像配准方法是搜索特征点(例如角的类型或更一般的兴趣点)，然后尝试在两幅图像中找到匹配的特征点。例如，OpenCV 包含检测 SURF 的函数特征。谷歌发布了一个很棒的 paper关于使用这种方法消除滚动快门噪声的信息，我建议阅读。