python - 像谷歌街景这样的图像上的对象跟踪

Question

问题:

是否可以在街道级图像(如 Google 全景街景)上使用跟踪算法？可以跟踪视频，每个视频帧相当于一张图像，但这些图像之间有 5 米。

我试过的:

我已经尝试过深度排序跟踪算法，但它并不准确，而且大多会丢失对象。我在 Google 上找不到关于如何跟踪一组图像而不是视频的太多信息。

注:

我有一个充满全景图像的目录，每个图像相距 5 米。我在多个图像中看到相同的对象，但无法跟踪它们。





感谢任何帮助或指导。

Answer 1

跟踪一组图像而不是视频应该不是问题，这与帧速率较慢的视频相同。我认为匹配失败的最可能原因是鱼眼失真(360 度成像的结果)，您需要先将其移除，然后才能匹配标志。

360度相机一般使用2个或更多带鱼眼镜头的广角相机来捕捉照片，然后在软件中将它们拼接在一起。虽然这提供了令人满意的 360 度图像，但鱼眼镜头会增加很多正径向畸变。这意味着当您要跟踪的对象在相机的视野中移动时，它会变形，然后不再“看起来”像原始对象。

通常，您可以访问原始相机并执行相机校准以获得相机和失真矩阵，然后您可以使用它来消除图像失真，如 OpenCV docs 中所述。 .这是了解失真从何而来以及如何处理它的更多背景知识的好地方。

如果没有校准参数，您可以尝试以下几种方法:

估计相机和失真矩阵

This answer在信号处理 StackExchange 上提到了如何做到这一点:

Compute the homography using findHomography then use warpPerspective to warp your images

完整的帖子有更多关于如何做到这一点的细节，但它相当简单，我以前使用过它并取得了不错的成功。 findHomography将为您提供需要传递给 warpPerspective 的参数在不知道相机内在参数的情况下消除失真。

如果由于某种原因这不起作用，您可以尝试以下不太复杂的方法:

通过反复试验估计鱼眼(径向)失真并将其传递给 undistort 以校正图像

This answer和 this answer详细说明如何做到这一点。你不会知道失真参数，所以你可以尝试一些，看看哪些值有更好或更坏的结果。如果第一种方法不起作用，我只会尝试这个。

额外信息

我找到了 this稍微过时的研究论文，将不失真集成到快速跟踪算法中。