kinect - 如何从深度相机的深度图像流计算光流？

Question

我已经设置了一个深度相机馈送，为了使它更有趣，我想从中计算一些数据，如法线、运动/光流和其他数据集，以将它们用于视觉效果。我对特别感兴趣光流以及是否可以从只有深度的流中计算出来。

这已经实现了吗？如果是这样，我想知道有哪些方法并了解哪种方法最容易使用。

Answer 1

我在 Kinect 深度相机上工作并实现了患者跟踪算法。算法本身是商业性的，我不能透露细节。但我可以在这里给我两分钱。

由于没有深度像素，来自 Kinect 的深度馈送不应直接用于光流(运动跟踪)。您可以使用修复来填充深度图像中的空白。如果你使用的是 OpenCV，你可以引用这里的实现。

http://www.morethantechnical.com/2011/03/05/neat-opencv-smoothing-trick-when-kineacking-kinect-hacking-w-code/

我建议在修复后使用平滑过滤器在对象边缘附近获得平滑的深度数据。您可以将 OpenCV 中存在的简单过滤器与深度流一起使用。将 16 位深度下采样为 8 位 RGB 图像以帮助可视化视差图像会很好。

我相信您可以使用 OpenCV 的光流算法生成的流。这是一个例子。

http://docs.opencv.org/3.1.0/d7/d8b/tutorial_py_lucas_kanade.html#gsc.tab=0

你也可以使用密集轨迹实现，但我相信它是处理器密集型的，最终的帧速率可能真的很慢。

https://lear.inrialpes.fr/people/wang/dense_trajectories

希望这可以帮助。