machine-learning - 如何将网络摄像头图像转换为 RGB 深度

Question

我正在使用 PC 的网络摄像头构建一个类似 iPhone 的 FaceID 程序。我正在关注this notebook它使用 Kinect 创建 RGB-D 图像。那么我可以使用网络摄像头捕获多个图像以达到同一目的吗？

以下是如何预测 Kinect 图像中的人物。它使用 .dat 文件。

inp1 = create_input_rgbd(file1)
file1 = ('faceid_train/(2012-05-16)(154211)/011_1_d.dat')
inp2 = create_input_rgbd(file1)

model_final.predict([inp1, inp2])

Answer 1

他们使用 Kinect 创建 RGB-D 图像，而您只想使用 RGB 相机来完成类似的操作？从硬件上来说，它们是不同的。所以不会有直接的方法

您必须首先仅使用单目图像来估计深度图。

您可以尝试重新访问单图像深度估计:使用准确的对象边界实现更高分辨率的 map ，如下所示。获得的深度非常接近真实的地面实况。对于不危及生命的情况(例如控制无人机或控制汽车)，您可以随时使用。

代码和模型可在以下位置获取

https://github.com/JunjH/Revisiting_Single_Depth_Estimation

编辑演示 py 文件以进行单个图像检测。

    image = you
    deep_learned_fake_depth = model(image)
    #Add your additional classification routing behind.

请注意，此方法无法实时工作。所以你只能在关键帧上进行。通常人们使用特征跟踪技术来伪造连续检测(这是常见的做法)。

另请注意，某些手机设备确实有一个可供您使用的小型深度估计传感器。细节我不太确定，因为我只处理 android 和 ios 的水平非常低。