artificial-intelligence - 11pt 平均精度指标是多少？

Question

我有两个问题

1- 什么是“11pt 平均精度指标”？

2-以及如何在信息检索中使用它？

谢谢

Answer 1

这主要来自 Christopher D. Manning、Prabhakar Raghavan 和 Hinrich Schütze 所著的《Introduction to Information Retrieval》一书。

在排名检索中，您具有精确度和召回率。精度是指系统返回的文档的准确程度(1.0 表示仅返回相关文档)。召回率是系统找到的相关文档的百分比(1.0 表示找到了所有文档)。因此，您可以通过返回越来越多的文档来调整系统的召回率，但需要在精度上进行权衡，因为您可能会承认更多的错误。

插值精度是您选择召回级别 r 的位置，并且对于所有召回级别 P(r') >= P(r)，其中 P(r) 是等级 r 的精度。这是您可以达到的最佳精度。

然后，在 11 点插值平均精度中，您将查看 11 个召回级别(0.0、0.1、0.2、...、1.0)并查找每个点的插值精度。您可以对所有不同查询或信息需求(如 Manning & Schuetze 书中所述)的这些分数进行平均，以找到系统的分数。

信息检索中的典型用途是评估。它可以帮助您将一个系统与另一个系统进行比较，但它真正有用的是让您比较调整参数时系统的变化情况。更改此设置是否会提高或损害我的 11 分插值平均精度？好处是，它可以衡量您收集的所有信息需求，因此有助于为您提供“全局” View 。但是，请小心不要过度依赖这些指标，因为它们的好坏取决于您正在使用的评估集。