ios - 如何使用 Open CV 检测打哈欠

Question

我正在为 iOS 开发一个应用程序，需要检测用户何时打哈欠。

我所做的是打开 CV 并使用 haar 级联查找人脸，然后在人脸内部找到嘴巴(也使用 haar 级联)。

我遇到的问题是，我相信检测打哈欠很容易，就像做类似 (face.y - mouth.y) < something = yawn 这样的事情。

但我遇到的问题是脸部和嘴巴的矩形是“不稳定的”，我的意思是每次循环运行时，脸部和嘴巴的矩形的 X 和 Y 值(显然)不相同。

是否有任何我可以使用的“张开嘴”的 haar 级联，或者我如何知道用户何时张开嘴？

Answer 1

一般来说，支持向量机 (SVM) 用于面部表情识别，例如愤怒、微笑、惊讶等仍在积极发展的领域。谷歌搜索给你很多关于这个主题的论文，(甚至我的一个同学也把这个作为他的最后一年的项目)。为此，首先您需要训练 SVM，为此，您需要打哈欠和正常人脸的示例图像。

打呵欠几乎与惊讶相似，都是张大嘴巴。我建议您查看以下论文的第 3 页:Real Time Facial Expression Recognition in Videousing Support Vector Machines (如果您无法访问该链接，请通过论文名称谷歌)

论文(甚至我的同学)使用了面部特征的位移向量。为此，您会在脸上找到一些特征点。例如，在论文中，他们使用了眼睛瞳孔、眼睑极值点、鼻尖、嘴部区域(嘴唇)极值点等，然后他们不断跟踪特征的位置并找到欧几里得他们之间的距离。它们用于训练 SVM。

查看以下两篇论文:

Feature Points Extraction from Faces

Fully Automatic Facial Feature Point Detection Using Gabor Feature Based Boosted Classifiers

请看下图，我所说的面部特征点是什么意思:

就您而言，我认为您是在 iPhone 中实时实现的。所以你可以避免眼睛上的特征点(虽然不是一个好主意，因为当你打哈欠时，眼睛会变小)。但与之相比，嘴唇上的特征点表现出更多的变化和优势。因此，仅在口头上实现可能会节省时间。 (嗯，这一切都取决于你)。

Lip Segmentation:它已经在 SOF 中讨论过并查看这个问题:OpenCV Lip Segmentation

最后，我相信您可以在 google 上找到很多详细信息，因为它是一个活跃的开发领域，并且那里有很多论文。

另一种选择:

这个地区的另一个选项是Active Appearance Model，我已经听过好几次了。但我对此一无所知。自己谷歌一下。