python - 有没有办法在 python/opencv 中从单摄像头视频生成实时深度图？

Question

我正在尝试将单个图像转换成它的深度图，但我找不到任何有用的教程或文档。

我想使用 opencv，但如果您知道使用例如 tensorflow 获取深度图的方法，我会很高兴听到。

立体视觉的教程很多，但我想便宜一点，因为这是一个帮助盲人的项目。

我目前正在使用 esp32 cam 逐帧流式传输并使用 opencv 在 python 上接收图像。

Answer 1

通常，我们需要从世界的不同位置进行光度学测量，以形成对世界的几何理解(也称为深度图)。对于单个图像，无法测量几何，但可以根据先前的理解推断深度。

一种方法 使单个图像起作用的方法是使用基于深度学习的方法来直接推断深度。通常，基于深度学习的方法都是基于 python 的，所以如果你只熟悉 python，那么这就是你应该选择的方法。如果图像足够小，我认为实时 性能是可能的。有很多此类工作使用 CAFFE、TF、TORCH 等。您可以在 git hub 上搜索更多选项。我贴的是最近用的

引用:戈达尔、克莱门特等人。 “深入研究 self 监督的单目深度估计。” IEEE 计算机视觉国际 session 论文集。 2019.

源代码:https://github.com/nianticlabs/monodepth2

另一种方式是将大视场视频用于基于单相机的 SLAM。这个有各种限制，例如需要好的功能、大 FOV、慢动作等。您可以找到许多这样的工作，例如 DTAM、LSDSLAM、DSO 等。还有一些来自 HKUST 或 ETH 的其他软件包可以完成给定位置的映射(例如，如果你有 GPS/指南针)，一些著名的名称是 REMODE+SVO open_quadtree_mapping 等。

基于单个相机的 SLAM 的一个典型示例是 LSDSLAM。这是一个实时 SLAM。

这个是基于ROS-C++实现的，我记得他们确实发布了深度图。并且可以写一个python节点直接订阅深度或者全局优化的点云投影成任意视角的深度图。

引用资料:Engel、Jakob、Thomas Schöps 和 Daniel Cremers。 “LSD-SLAM:大规模直接单目 SLAM。”欧洲计算机视觉 session 。斯普林格、查姆，2014 年。

源代码:https://github.com/tum-vision/lsd_slam