c# - 在 3D Kinect 中识别手语

Question

我们正在为我的本科最后一年项目制作一个使用 kinect 1.0 设备的手语翻译器。到目前为止，我们已经使用kinect sdk中的skeleton api实现了二维手势识别，并在其上应用了DTW算法。我们还跟踪手指，并使用轮廓和在轮廓上应用凸包来区分框架中显示的手指数量。我们使用 C# 和 Emgucv 来实现这一目标。

现在我们陷入了如何将数据转换为 3d 坐标的问题。我不明白的是:

1. 3d 可视化效果如何？我的意思是现在我们只使用深度流并在其上应用皮肤分类器以仅将皮肤部分显示为白色像素，将其余对象显示为黑色像素，并且我们在颜色流中显示轮廓和凸包区域。对于 3d，我们将使用相同的深度和颜色流？如果是，那么我们如何将数据和坐标转换为 3d？

2. 对于涉及用手指触摸 Nose 的手势，我将如何隔离轮廓区域以不包括整个面部，并仅区分哪个手指触摸 Nose 的哪一侧？这是 3d 的用武之地吗？

3. 有哪些 api 和库可以帮助我们使用 c#？

   Extracted Fingers after Contouring and Convex Hull

Answer 1

Kinect 支持使用红外激光创建深度图。它转换红外线网格并测量网格中每个点的距离。您似乎已经在使用此网格的深度信息。要转换为 3D，您确实应该使用深度信息。一些基本的三角函数将有助于将深度图转换为 3D (x,y,z) 坐标。来自相机的颜色流可以映射到这些点上。

检测手指是否接触 Nose 是一个难题。虽然 kinect 的网格密度不是很高，但 3D 可能帮不了你。我建议在相机图像上使用边缘检测(例如 canny 算法)和轮廓识别来检测手指是否在脸部前方。真正的挑战是测试手指是真正接触到 Nose 还是刚好接近。