java - lucene 4.10.2 为索引中的所有术语计算 tf-idf

Question

我想计算索引中所有词的词频和逆文档频率(tf-idf)，

我找不到任何示例如何使用最新的 Lucene (4.x.x) 来做到这一点。

你能帮帮我吗？

Answer 1

要遍历索引中的术语，您需要使用 Fields和 Terms . Terms 为您的 idf 计算公开了 docfreq()。当然，IndexReader 本身公开了 numDocs()。您可以使用 DefaultSimilarity.idf 为您执行计算，而不是自己滚动。

DefaultSimilarity similarity = new DefaultSimilarity();
int docnum = reader.numDocs();
Fields fields = MultiFields.getFields(reader);
for (String field : fields) {
    Terms terms = fields.terms(field);
    TermsEnum termsEnum = terms.iterator(null);
    while (termsEnum.next() != null) {
        double idf = similarity.idf(termsEnum.docFreq(), docnum);
        System.out.println("" + field + ":" + termsEnum.term().utf8ToString() + " idf=" + idf);
    }
}

tf 仅与关于特定文档 的术语相关，因此不太确定您在那里寻找什么。