opencv - 使用隐马尔可夫模型进行手形分析

Question

我目前正在研究动态手势识别系统。我选择了手形的曲率特征。目前我可以获得手部轮廓曲率的角度列表。

问题是我不知道下一步应该做什么。在我找到的大量文献中几乎找不到信息。在将处理后的输出传递到隐马尔可夫模型进行分类之前，应该对每个手势/姿势的这组角度进行“处理”。

但是这个过程应该包含哪些内容呢？我遇到过:傅立叶变换、B 样条曲线和很多函数，但我不知道如何将角度集(例如 -23、90、45、156，...)传递给这些函数。

感谢您的耐心等待。

下面的图片显示了我到目前为止所达到的阶段:

Answer 1

您能解释一下您是如何获得这些角度的吗？您可以将连续的角度组合在一起，并以某种方式将它们关联起来:例如通过减去它们或以某种方式处理它们来查找哪些手指已打开/闭合或查找手的前进方向。例如，假设您手掌的质心在一帧中位于 (x,y)，在另一帧中位于 (a,b)。然后，您可以减去这些值来找到您的手的方向。

现在，既然你已经找到了手部轮廓曲率的角度，你就知道了不同点的数量和角度的变化。通过配对连续的角度并找到轮廓上的点数，您可以尝试检测哪些手指张开，哪些手指闭合。如果您尝试进行指尖检测，请研究凸包算法。但既然你说你的手势是动态的，那一定意味着你的手在执行某个手势时在空间中不断移动。请澄清这一点。处理后，结果将形成观察序列，该序列将作为 HMM 的输入。