java - Java 中 Tf Idf 的任何教程或代码

Question

我正在寻找一个可以计算 tf-idf 计算的简单 java 类。我想对 2 个文档进行相似性测试。我发现很多使用 tf-idf 类的 BIG API。我不想使用大的 jar 文件，只是为了做我的简单测试。请帮忙 !或者至少有人可以告诉我如何找到 TF？和以色列国防军？我会计算结果:)或者如果你能告诉我一些好的 Java 教程。请不要告诉我寻找谷歌，我已经搜索了 3 天，但找不到任何东西:(也请不要将我推荐给 Lucene :(

Answer 1

词频是某个词在特定文档中出现次数的平方根。

逆文档频率是((文档总数除以包含该术语的文档数)的对数)加一，以防该术语出现零次——如果是，显然不要尝试除以为零。

如果该答案不清楚，每个文档每个术语都有一个 TF，每个术语都有一个 IDF。

然后 TF-IDF(term, document) = TF(term, document) * IDF(term)

最后，您使用 vector 空间模型来比较文档，其中每个术语都是一个新维度， vector 指向该维度的部分的“长度”是 TF-IDF 计算。每个文档都是一个 vector ，因此计算两个 vector ，然后计算它们之间的距离。

因此，要在 Java 中执行此操作，请使用 FileReader 或其他工具一次一行地读取文件，并按空格或您想要使用的任何其他分隔符进行拆分 - 每个单词都是一个术语。计算每个术语在每个文件中出现的次数，以及每个术语出现的文件数。然后您便拥有了执行上述计算所需的一切。

因为我无事可做，所以我查阅了 vector 距离公式。给你:

D=sqrt((x2-x1)^2+(y2-y1)^2+...+(n2-n1)^2)

为此，x1 是文档 1 中术语 x 的 TF-IDF。

编辑:回答您关于如何计算文档中的字数的问题:

1. 使用阅读器逐行读取文件，例如 new BufferedReader(new FileReader(filename)) - 您可以稍后调用 BufferedReader.readLine()循环，每次检查是否为 null。
2. 对于每一行，调用 line.split("\\s") - 这将在空白处拆分您的行并为您提供所有单词的数组。
3. 对于每个单词，将当前文档的单词计数加 1。这可以使用 HashMap 来完成。

现在，在为每个文档计算 D 之后，您将得到 X 值，其中 X 是文档的数量。将所有文档相互比较只是进行 X^2 次比较——这对于 10,000 次应该不会花费特别长的时间。请记住，如果两个文档之间的 D 值之差的绝对值较低，则它们更相似。因此，您可以计算每对文档的 D 之间的差异，并将其存储在优先级队列或其他排序结构中，以便最相似的文档冒泡到顶部。合理？