java - Lucene TokenStream

Question

我有一个关于 lucene 标记化过程的基本问题:

TokenStream tokenStream = analyzer.tokenStream(fieldName, reader);    
TermAttribute termAttribute = tokenStream.addAttribute(TermAttribute.class);

termAttribute 是做什么用的，tokenStream.addAttribute(TermAttribute.class) 有什么作用？

谢谢!

Answer 1

TermAttribute 包含标记的文本。 addAttribute(TermAttribute.class) 将返回 TermAttribute 的一个实例(如果还没有，则会创建)。

说，你也对 token 的位置增量信息感兴趣，那么你也会说以下内容:

PositionIncrementAttribute posIncrAtt = addAttribute(PositionIncrementAttribute.class);

使用 TermAttribute 和 PositionIncrementAttribute 的实例，您现在可以通过以下方式访问/更改 token 文本和位置增量信息:

termAttribute.buffer()
posIncrAtt.getPositionIncrement()
posIncrAtt.setPositionIncrement()

引用 http://lucene.apache.org/core/3_6_0/api/core/org/apache/lucene/analysis/package-summary.html了解更多详情