java - 人脸特征检测——眼角、眉毛

Question

我正在使用 OpenCV4Android 为手机创建基本的情绪检测系统。我的系统已经能够找到嘴并进行一些预处理。我从 Canny 获取面部对象的结果很好:

示例面 1:https://dl.dropboxusercontent.com/u/108321090/FACE%20%282%29.png

示例面 2:https://dl.dropboxusercontent.com/u/108321090/FACE%20%281%29.png

红色矩形是级联发现的区域。我将它们保存为 Mat 对象。

蓝点是我需要找到的点。问题是，我的眉毛和眼睛都在同一部分。

此外，还有眉毛与眼睛直接相连的情况(在某些情绪状态下)。很难访问某些点。我也有正常图像(当然)和阈值图像，它们对于眉毛形状也很有趣 - 但由于光线不好，我失去了一些其他物体(嘴巴 - 那个并不重要，因为它已经完成，眼睛)，以及眉毛总是很明显。当然，我可以稍微更改阈值处理，因为我不需要它来寻找其他功能。就像我说的那样，嘴巴做得很好。左眼/眉毛。

人脸 3 示例:https://dl.dropboxusercontent.com/u/108321090/Screenshot_2014-01-17-01-33-14.png

示例 Face4:https://dl.dropboxusercontent.com/u/108321090/Screenshot_2014-01-17-01-26-33.png

Face5 示例(有点问题，眼睛不见了，但如果我在本地而不是在全局范围内对它们进行 treshold 就没问题)https://dl.dropboxusercontent.com/u/108321090/Screenshot_2014-03-05-01-30-48.png

Exampalary Face6(眉毛与眼睛相连)https://dl.dropboxusercontent.com/u/108321090/Screenshot_2014-03-05-01-28-21.png

我想问你是否可以向我提供任何与检测眼睛和眉毛 Action 单元相关的 Material /想法。

Answer 1

如果您可以找到眼睛/眉毛单元，您可能只需跟踪它并将情绪与那里的相对运动联系起来，而不是试图将眼睛与眉毛分开。您的前两个示例性面孔是渐变的，而其余的是阈值灰色调。我宁愿使用渐变，因为灰色调会受到光照和阴影的影响。

我也会避免使用 Canny 边缘检测器，因为它是一种高度非线性和不稳定的运算符，用于匹配连续帧并因此用于运动检测。我宁愿使用更简单的 Sobel 和某种运动检测，但只是在跟踪减去全局头部运动之后。

有趣的情绪检测工作是基于 Kinect 完成的，虽然需要一些离线训练，但它确实有效，参见 faceShift .正确处理(在将特征映射到情绪之前)的一个很好的测试是尝试移动面部模型与目标面部同步 - 某种虚拟化身。