opencv - 使用局部描述符实现人脸识别(无监督学习)

Question

我正在尝试使用 Python 实现人脸识别算法。我希望能够接收图像目录，并计算它们之间的成对距离，希望短距离应该对应于属于同一个人的图像。最终目标是对图像进行聚类并执行一些基本的人脸识别任务(无监督学习)。

由于无监督设置，我解决这个问题的方法是计算一个“人脸签名”(R^d 中的一个向量，用于一些 int d)，然后计算出一个度量，其中两个属于同一个人的面孔之间确实会有很短的距离。

我有一个人脸检测算法，可以检测人脸、裁剪图像并执行一些基本的预处理，所以我提供给算法的图像是灰色和均衡的(见下文)。

对于“面部签名”部分，我尝试了两种方法，我在几篇出版物中读到过:

1. 获取整个(已处理)图像的LBP(局部二进制模式)的直方图
2. 计算 7 个面部标志点(嘴巴右侧、嘴巴左侧等)的 SIFT 描述符，我使用外部应用程序识别每个图像。签名是描述符的平方根的串联(这会产生更高的维度，但目前性能不是问题)。

为了比较两个签名，我使用了 OpenCV 的 compareHist 函数(参见 here)，尝试了几种不同的距离度量(卡方、欧几里德等)。

我知道人脸识别是一项艰巨的任务，更不用说没有接受过任何培训了，所以我并不期望会有很好的结果。但到目前为止我得到的一切似乎完全随机。例如，当计算最右边的图像与图像其余部分的距离时，我得到她与 4 Bill 最相似克林顿夫妇(...!)。

我已阅读 this很好的介绍，在测试集上执行“度量学习” 程序很受欢迎，这应该会显着改善结果。然而，它在演示文稿和其他地方确实表示，“常规”距离测量也应该得到不错的结果，所以在我尝试这个之前，我想了解为什么我正在做的事情对我一无所获。

总而言之，我的问题，我希望得到任何帮助:

1. 我想到的一项改进是仅在实际面部执行 LBP，而不是角落和可能向签名插入噪声的所有内容。如何在计算 LBP 之前屏蔽掉不是面部的部分？我也在这部分使用 OpenCV。

2. 我对计算机视觉还很陌生；我将如何“调试”我的算法以找出哪里出了问题？这可能吗？

3. 在无监督设置中，是否有任何其他方法(不是局部描述符 + 计算距离)可以用于人脸聚类任务？

4. OpenCV 模块中是否还有其他我没有想到的可能有用的东西？那里的所有算法似乎都需要训练并且对我来说没有用 - 该算法需要处理全新的图像。

提前致谢。

Answer 1

您正在寻找的是无监督特征提取 - 获取一堆未标记的图像并找到描述这些图像的最重要特征。

最先进的无监督特征提取方法均基于(卷积)神经网络。查看自动编码器 ( http://ufldl.stanford.edu/wiki/index.php/Autoencoders_and_Sparsity ) 或受限玻尔兹曼机 (RBM)。

您还可以采用现有的面部检测器，例如 DeepFace (https://www.cs.toronto.edu/~ranzato/publications/taigman_cvpr14.pdf)，仅采用特征层并使用这些层之间的距离将相似的面孔分组在一起。

恐怕 OpenCV 不太适合这项任务，您可能需要检查 Caffe、Theano、TensorFlow 或 Keras。