alignment - 如何匹配不同时间拍摄的无人机图像？

Question

我每周都使用无人机监测郁金香田。我每周都会在我的 DJI Phantom 4 上使用设定的飞行路径拍摄图像。这些图像使用 Agisoft Metashape 拼接成正射镶嵌图(大型地理引用 .tif 文件 ~2gb)。

我想比较不同时间的正射镶嵌。不幸的是，正射镶嵌并不完全对齐。因此，当我将本周的正射镶嵌图放在上周的正射镶嵌图上时，它们没有对齐。像这样:

Two orthomosaics, same location, one week later. Detail shows orthos are not properly aligned.

如细节所示，图像未对齐。我需要将它们对齐以进行适当的检查、生长跟踪等。我想创建一个适合第 2 周(使用一些平移、旋转和可能的拉伸(stretch))到第 1 周的自动对齐算法。这里的困难在于这样一个事实郁金香会随着时间的推移而变化，因此对齐方式应依赖于不变的特征，例如下水道、路径和行。此外，我想扩展此方法以适用于其他裁剪。

对齐正射镶嵌的合适方法是什么？

更新:我测试了两种方法:

1. 搜索关键点、匹配它们并使用 RANSAC 选择最佳匹配项并确定单应矩阵。应用生成的矩阵来扭曲第二张图像会导致更好的拟合，但不是很好的拟合。
   1. 尝试基于 MSE 优化两张灰度图像之间的单应性矩阵。结果相似:稍微好一点，但远非完美。

我认为这里的主要“罪魁祸首”是无论单应性如何，图像都不是完美匹配的。此外，关键点方法似乎将小细节检测为特征，而较大的“细节”(如污水)更适合作为可匹配特征。我认为智能预处理可能有一些值(value)。

所以我仍在努力解决这个问题，非常感谢你们中的一些人可能提供的任何建议!

Answer 1

首先，您的问题是:您正在使用正射镶嵌通过并排放置来比较您的花园状况，或者可能正在使用其他一些方法(您没有提到您正在使用什么方法来匹配它们)。

现在我对此的回答是，如果您想以高度一致的方式查看它们，那么您可以使用 homography。变换，然后对 image2 使用图像变形，然后您可以看到以相同方式对齐(这应该有效，因为您的图像在特征方面没有变化，而且如果是这种情况，那么您可以使用 RANSAC 算法解决此问题)

现在这些是步骤:

1. 首先估计关键点并对两幅图像进行匹配。 Here is a tutorial for step 1 .

2. 然后找到这个图像的单应变换。 Here is an opencv implementation of Homography with RANSAC and other robust estimation algorithms.

3. 然后要看到它们对齐，您应该扭曲第二张图片。 Again here is warping algorithms implemented in opencv.

总结:您可以通过简单的单应关系将一幅图像与另一幅图像进行变换，排除多运动物体的情况。在此方法中，第 1 步将为您提供两个图像的匹配品脱坐标，只需为 hmography 估计器识别目标图像和源图像，并获得单应性关系 b/w 图像，将一个图像转换为另一个图像。

This video will also help you.