opencv - 手部实时追踪

Question

我正在尝试使用 opencv 实时检测和跟踪手部。我认为 haar 级联分类器会产生一个公平的结果。分别用10k和20k的正负图像训练后，得到一个分类器xml文件。不幸的是，它只能检测特定位置的手，证明它只对刚性物体最有效。所以我现在考虑采用另一种算法，一旦通过 haar 分类器检测到，就可以跟踪手。

我的问题是，如果我确保 haar 分类器在特定帧、特定位置检测到手，什么方法可以进一步产生对手的稳健跟踪？

我在网上搜索了一下，了解到我可以使用被检测手的光流、卡尔曼滤波器或粒子滤波器，但也遇到了它们自己的缺点。

另外，如果我结合立体视觉，它会对我有帮助吗，因为我可以在 3d 中重建手。

Answer 1

您对 Haar 特征的结论是正确的——当涉及到非刚性物体时，它们没有那么有用。

看看以下使用肤色检测手的论文。

1. Interaction between hands and wearable cameras
2. Markerless inspection of augmented reality objects

以及这篇在第一次检测后使用 KLT 特征跟踪手的论文:

Fast 2D hand tracking with flocks of features and multi-cue integration

我想说立体相机对您的事业帮助不大，因为非刚性物体的 3D 重建并不简单，需要大量的创新和开发。不过可以看看this page的手姿态估计部分的论文如果你想追求 3D 追踪。

编辑:另请查看 this recent paper ，这似乎取得了不错的效果。