python - 如何使用 matchTemplate 基于共同特征对齐两个图像

Question

我有两个重叠的图像。我想对齐这两张图片。我目前的方法是在两个图像中找到一个共同特征(标记)。然后我想根据特征重叠的地方对齐这两张图像。

图像并不完美，因此我正在寻找某种基于“最佳”拟合(大部分重叠)的对齐方式。最初我尝试通过 SIFT 使用特征匹配来对齐图像，但特征匹配通常不正确/太少。

这是我用来查找 template 的代码:

template = cv2.imread('template.png', 0)
template = template - cv2.erode(template, None)

image1 = cv2.imread('Image to align1.png')
image2 = cv2.imread('Image to align2.png')
image = image2
img2 = image[:,:,2]
img2 = img2 - cv2.erode(img2, None)

ccnorm = cv2.matchTemplate(img2, template, cv2.TM_CCORR_NORMED)
print(ccnorm.max())
loc = np.where(ccnorm == ccnorm.max())
print(loc)
threshold = 0.1
th, tw = template.shape[:2]
for pt in zip(*loc[::-1]):
    if ccnorm[pt[::-1]] < threshold:
        continue
    cv2.rectangle(image, pt, (pt[0] + tw, pt[1] + th),
                 (0, 0, 255), 2)

这是匹配的特征，1和 2 .提前致谢。

Answer 1

您对 OpenCV 库的选择是使用任意数量的方法来选择几个点，并使用类似 getAffineTransform 的函数在图像中的这些点之间创建转换。或 getPerspectiveTransform .请注意，像这样的函数将点作为参数，不是光度值(图像)。你会想在第一张图片中找到兴趣点(比如那些标记点)；并且您需要在第二张图像中找到相同的点，并将这些 像素位置传递给 getAffineTransform 或 getPerspectiveTransform 等函数。然后，一旦有了转换矩阵，就可以使用 warpAffine或 warpPerspective将第二张图像扭曲到第一张图像的坐标中(反之亦然)。

仿射 变换包括平移、旋转、缩放和剪切。 透视 变换包括从仿射变换到 x 和 y 方向的透视变形的所有内容。对于 getAffineTransform，您需要发送第一张图像中的三对点，以及这三个相同像素在第二张图像中的位置。对于 getPerspectiveTransform，您将从每个图像发送四个像素对。如果你想使用你所有的标记点，你可以使用 findHomography相反，这将允许您放置 多个 四个点，并且它将计算所有匹配点之间的最佳单应性。

当您使用特征检测和匹配来对齐图像时，它会在后台使用这些功能。不同之处在于它会为您找到功能。但如果这不起作用，只需使用手动方法找到您喜欢的特征，然后在这些特征点上使用这些方法。例如，您可以找到已有的模板位置并将其定义为感兴趣区域 (ROI)，然后将标记点分解为更小的模板 block 并在您的 ROI 内找到这些位置。然后你有来自两个图像的对应点对；您可以将它们的位置输入到 findHomography 中，或者只选择三个与 getAffineTransform 一起使用，或者选择四个与 getPerspectiveTransform 一起使用，您将获得您的图像转换然后就可以申请了。

---

否则你需要使用类似 Lukas-Kanade optical flow algorithm 的东西如果您不想使用基于特征的方法，它可以进行直接图像匹配，但是如果您使用整个图像，与选择几个特征点并以这种方式查找单应性相比，这些方法非常慢。但是，如果您只需要为几张图片执行此操作，那也没什么大不了的。为了更准确并让它收敛得更快，如果你能为它提供一个起始单应性，至少将它粗略地翻译到正确的位置，它会有所帮助(例如，你进行特征检测，看到特征大致是 (x', y') 从第一个图像到第二个图像中的像素，并使用该翻译创建单应性)。

如果您想尝试的话，您还可以从 Lucas-Kanade 逆合成算法等网上找到一些用于单应性估计的 Python 例程。我也有自己的算法自定义例程，但我不能分享它，但是，如果你分享没有边界框的原件，我可以在你的图像上运行算法，也许可以为你提供一些估计的单应性来比较与。