opencv - 更复杂的手势估计算法

Question

我目前正在研究 Unity 中的手部姿势估计，而无需使用任何昂贵的插件!目前，我已经通过提取手部轮廓实现了一个简单的手部跟踪系统，如下面的链接: https://www.youtube.com/watch?v=4QE5FcUK5ZA

但是，它并不是在所有环境中都能出色地工作，并且当其他物体在画面中时(比如脸!)，它往往无法识别手。有没有人有更复杂的手势估计算法？我研究过使用神经网络，但它们往往会占用大量 CPU 和/或 GPU 资源，我需要它是轻量级的并且在 Unity 中不会滞后。

有人有什么建议吗？

Answer 1

多层随机森林是一种很好的实时手势估计轻量级方法 https://ieeexplore.ieee.org/document/7789644/ .

它使用一组专门针对角度空间不同区域的回归器。第一层学习如何对每个专门回归器的输出进行加权。

它在手部姿势估计方面达到了最先进的水平，并已被作者用于实时 AR 应用。

该模型使用与您提取的轮廓特征相似的轮廓特征。