java - 如何使用语言模型扩展 Lucene？

Question

大家晚上好!所以，我有一个项目“用语言模型扩展 lucene”，我尝试在代码中添加 2、3 行，如下所示:在搜索.java

LMDirichletSimilarity similarity = new LMDirichletSimilarity(2000f);  
indexSearcher.setSimilarity(similarity);

以及index.java

LMDirichletSimilarity similarity = new LMDirichletSimilarity(2000f);
config.setSimilarity(similarity);

但我认为这并不那么容易!也许我应该写一个算法或其他东西？如果您有答案请帮助我谢谢^_^

Answer 1

LMJelinekMercerSimilarity中有语言模型相似度方法其实现是:

protected float score(BasicStats stats, float freq, float docLen) {
    return stats.getBoost()
            * (float) Math.log(1 + ((1 - alpha) * freq / docLen)
                            / (alpha * ((LMStats) stats).getCollectionProbability()));
}

这个方法是这个公式的实现:(1-lambda) * P(w|d) + lambda * P(w|Collection)如果您查看上面的方法和语言模型公式，您会发现它们之间存在一些差异。这是因为 Lucene 分解了表达式 lambda * P(w|Collection)从语言模型公式中创建一个新公式:lambda * P(w|Collection) * ( ( (1-lambda) * P(w|d) / lambda * P(w|Collection) ) +1 )然后它删除 lambda * P(w|Collection)因为排名(不影响排名)，只计算( ( (1-lambda) * P(w|d) / lambda * P(w|Collection) ) +1 ) 。可以看到和上面的方法类似。但有一点不同，那就是对数。在 IR 社区中，他们使用对数，因为它易于处理并且易于计算机评估。所以最终的声明是: log ( ( ( (1-lambda) * P(w|d) / lambda * P(w|Collection) ) +1 ) )上面的方法是protected这样您就可以派生该方法并实现您自己的方法。