python - 如何存储人脸的多个特征并求出距离？

Question

我正在做一个基于面部识别和验证的项目。我正在使用 Siamese 网络来获取脸部的 128 个向量(嵌入)。

我将人脸的编码/嵌入存储在数据库中，然后检查或说将传入的人脸编码与之前存储的编码进行匹配以识别该人。

为了建立一个强大的系统，我必须存储同一个人的多个编码。当我仅使用单个编码向量并匹配时:

来自face_recognition库(获取距离):

face_recognition.compare_faces( stored_list_of_encodings, checking_image_encodings )

这并不总是有效，因为我只与单一编码进行比较。为了使系统足以满足大多数情况，我想存储同一个人的至少 3 个编码，然后与新数据进行比较。

现在的问题是:如何存储同一个人的多个嵌入，然后比较距离？

我使用 face_recognition 作为库和 Siamese Network 进行特征提取。

Answer 1

对此有多种方法，我在人脸识别方面进行了相当广泛的研究，并且尝试了一些方法。您可以执行以下一些操作。

创建 KNN 分类器

做到这一点的方法是创建一个数据库，其中每个特征都有一个与之关联的人名(在这种情况下，一个特征代表一个人的一张面部图像)。然后在比较时，您计算查询特征与每个表示的距离。您与 N 个最小距离进行比较。然后你可以遍历 N 个距离，看看每个距离属于什么类，然后你可以使用最大出现的标签，这将是你的目标类。根据我的经验，虽然这不是非常强大(尽管这完全取决于测试数据的类型，但我的测试数据与大量野生图像有关，因此这不够强大)

平均表示

我使用的另一种方法是对每个人的表示进行平均。如果我有 5 张图像，我会取从这些表示中提取的 5 个表示的平均值或中位数。根据我的经验，中位数比平均值效果更好。现在，您将拥有与每个人相关的平均表示，您只需计算每个平均表示的距离，距离最小的一个将是您的目标类别。

集群表示

另一种方法是使用 DBScan 将表示聚类为簇，然后在运行时将查询表示分类为簇并采用该簇中的多数类作为标签

根据我的经验，平均表示是最好的，但最终您确实需要多个图像，我认为至少 5 个。但就我而言，我至少需要 5 个，因为我要满足多个角度的需求。

注意:: SVM 是一种糟糕的方法，它限制了数据库大小，并且每次需要向数据库添加新人时，您都需要训练一个新的 SVM 以获得额外的数据刚刚弹出的类

此外，出于存储目的，您始终可以将其存储在 JSON 中