java - 如何使用文档的 tf*idf 分数实现余弦相似度？

Question

我有一组文档，我正在其中搜索我的关键字。我已经计算了关键字和所有文档的 tf-idf 值。假设我将所有文档的 tf-idf 值存储在一个数组中，如何使用它来计算余弦相似度？任何形式的代码帮助表示赞赏!

Answer 1

您可以将数组视为 vectors 的集合。 ，每个文档都有一个，其元素数量等于术语数量。要确定两个文档的相似度，您可以计算 scalar product以通常的方式计算相应 vector 的值(相应 vector 分量的乘积之和)，并将其除以两个 vector 的范数的乘积。

在计算相似度之前对 vector 进行归一化是很实用的。在这种情况下，您只需使用文档 vector 的标量积，因为范数为 1。