security - 如何计算不合格率和误识别率？

Question

如何计算身份验证设备的 FAR 和 FRR？ (我假设正在使用生物识别技术)。否则他们是否有任何关于该主题的统计数据可以轻松获取？

Answer 1

生物识别系统可以以两种模式工作，在评估时必须区分:验证和识别。

在验证模式下，用户出示自己的身份，生物识别设备会验证身份是否匹配(想象一下，您去海关并出示带有面部图像的身份证件，官员会验证您的真实面部和身份证件上的图像)。

在识别模式下，一开始不会假设身份，并且必须与所有模板进行比较(例如， killer 在犯罪现场留下了指纹，然后警察使用他的指纹识别了他 - 没有假设)制作后，他们只需使用获取的指纹并将其与数据库中的所有指纹进行比较)。

因此有必要区分这两种情况，因为识别通常要求更高。

假设您正在评估生物识别系统的验证模式。想象一个生物识别系统，它为所有身份验证尝试分配一个区间 [0, 1] 的分数。 0 表示不匹配，1 表示完全匹配。显然，如果将阈值设置为 0，则所有真实用户都会被允许，但所有冒名顶替者也会被允许。另一方面，如果您将阈值设置为 1，则不会允许任何人进入。因此，对于实际使用，您通常将阈值设置在两者之间。这可能会导致并非所有真实用户都会被接纳，而一些冒名顶替者也会被接纳。正如您所看到的，有两种错误率:FAR(错误接受率)和FRR(错误拒绝率)。

FAR 的计算方式为超过阈值的冒名顶替者分数的分数。

FRR 计算为低于阈值的真实分数的一部分。

示例:我们有指纹系统。为了评估任何生物识别系统的性能，我们需要收集一个数据库。假设我们已经做到了这一点，并且数据库由 10 个合法用户 (USER_1-USER_10) 组成，每个用户提供了他的手指 10 次(10x10 = 总共 100 张图像)。让我们假设，单个图像足以创建模板。您选择一个用户(例如 USER_1)和他的指纹图像并创建模板。您使用他的其余图像来验证指纹，您会收到 9 个真实分数。您将其他用户的所有图像用作冒名顶替者，并且您会收到 90 冒名顶替者分数。您对所有图像和所有用户重复模板生成，您总共会收到 900 个真实分数和 9000 个冒充分数。这些分数通常用于生成所谓的 ROC 曲线，以选择解决您的问题的最佳阈值。如果您选择了阈值，则可以使用我上面所述的定义来计算 FAR 和 FRR。

假设我们选择阈值 0.7，并且 100 个冒名顶替者分数超过阈值，50 个真实分数低于阈值。

因此 FAR = 1.1%，FRR = 5.6%。