opencv - 光流运动结构

Question

假设我有一段来自行车记录仪的视频。我想使用运动结构技术构建记录场景的点云。首先，我需要跟踪一些点。

哪种算法可以产生更好的结果？通过使用稀疏光流(Kanade-Lucas-Tomasi 跟踪器)或密集光流(Farneback)？我已经尝试了一些但无法真正决定。他们每个人都有自己的长处和短处。

最终目标是获取场景中记录的汽车的点云。通过使用稀疏光流，我可以跟踪汽车的有趣点。但这将是非常不可预测的。一种解决方案是在图像中制作某种网格，并强制跟踪器在每个网格中跟踪一个有趣的点。但我认为这会非常困难。

通过使用密集流，我可以得到每个像素的运动，但问题是，它无法真正检测到只有很少运动的汽车的运动。此外，我怀疑算法产生的每个像素的流量是否那么准确。另外，有了这个，我相信我只能获得两帧之间的像素移动(与使用稀疏光流不同，我可以在其中获得同一有趣点随时间的多个坐标 t)

Answer 1

您的标题表明 SFM 其中包括姿势估计 ,

跟踪只是第一步(匹配)，如果你想从视频中获取点云(非常艰巨的任务)，我首先想到的是bundle adjustment，它也适用于 MVE，

然而，对于视频我们可以做更多，因为帧彼此太靠近，我们可以使用更快的算法，如(光流)，/比匹配 SIFT/并从中提取 F 矩阵，然后:

E = 1/K * F * K

回到你原来的问题，什么更好:

1) 密集光流，或者

2) 稀疏一个。

显然你在离线工作，所以速度并不重要，但我会推荐稀疏的，

更新

对于 3d 重建，密集可能看起来更有吸引力，但正如您所说，它很少有鲁棒性，因此您可以使用稀疏但添加尽可能多的点使其成为半密集，

我只能说出一些可以做到这一点的方法，比如 mono-slam 或 orb-slam

最终更新

像我之前写的那样使用半密集，但是 SFM 总是假设物体是静态的(没有运动)，否则它永远不会起作用。

在实践中使用图像中的所有像素从未用于 3d 重建(不是直接方法)，并且 SIFT 一直被称赞为特征检测和匹配的方式，..最近所有像素都用于不同类型的校准,for ex in methods like:Direct Sparse odometry and LSD known as Direct methods