java - 如何在 TERRIER 信息检索系统中使用 YASS 或 GRAS 等统计词干分析器代替 Porter 词干分析器

Question

Terrier IR 系统默认使用 Porter Stemmer。我们如何在 Terrier 中使用统计词干分析器的输出？我已经使用统计词干分析器生成了词干列表，并希望将其嵌入到 TERRIER IR 中。

Answer 1

您必须创建一个将 StemmerTermPipeline 扩展到 org.terrier.terms 包中的类。

例如:

公共(public)类 StatisticalStemmer 扩展了 StemmerTermPipeline {

public StatisticalStemmer(TermPipeline next) {
    super(next);
}

@Override
public String stem(String word) {
   // your method implementation
}

}

之后，您需要重新编译核心组件并替换lib目录中的terrier-4.0-core.jar文件。

最后，您需要更新属性文件中的术语管道:

termpipelines=停用词、统计词干

这样，Terrier 将使用您的词干分析器来代替 PorterStemmer。