java - lucene 一元词和二元词的频率

Question

我将存储在 lucene 索引 ngram 中，最高可达级别 3。当我读取索引并计算术语和 ngram 的评分时，我得到这样的结果

TERM              FREQUENCY....      TFIDF
minority           25           16.512926
minority report 24           16.179296
report           27           13.559037
cruise           12           11.440491
tom cruise        7            8.737819

所以，如果我们看一下“汤姆·克鲁斯”的例子，作为二元组，它总共出现了 7 次。并且由此我们看到，“巡航”单独出现了5次。所以我不想要这种频率的重复，因为“克鲁斯”本身的得分就比“汤姆·克鲁斯”更好，这是不正确的，因为它包含在里面。

抱歉，如果我解释不好，我不知道如何称呼这种类型的评分，如果有人知道解释这个技术词汇，请编辑。

谢谢

Answer 1

我相信我之前回答过您提出的类似问题。IIUC，您希望更重要的术语脱颖而出，并且您觉得“汤姆·克鲁斯”比“克鲁斯”更重要。

这看起来像是您的数据模型中的问题。 TFIDF 似乎不符合您的要求。您可以尝试构建语言模型，如 Peter Norvig's "Beautiful Data" chapter 中所述。 。

要点是:

• 计算每个一元组、二元组和三元组的概率(您将需要按照本文中的说明进行平滑或回退)。
• 根据概率而不是 TFIDF 选择术语。

A Language Model Approach to Keyphrase Extraction似乎做了类似的事情。一些替代方案是 Kea (它使用 TFIDF 作为多个功能之一)和 Peter Turney's Keyphrase extraction work .