java - 如何测试 Lucene 分析器？

Question

我没有从我的分析器获得预期结果，并且想测试标记化过程。

此问题的答案:How to use a Lucene Analyzer to tokenize a String?

List<String> result = new ArrayList<String>();
TokenStream stream  = analyzer.tokenStream(field, new StringReader(keywords));

try {
    while(stream.incrementToken()) {
        result.add(stream.getAttribute(TermAttribute.class).term());
    }
}
catch(IOException e) {
    // not thrown b/c we're using a string reader...
}

return result;

使用TermAttribute从流中提取 token 。问题是 TermAttribute 不再出现在 Lucene 6 中。

它被什么取代了？

Lucene 6.6.0 的等效内容是什么？

Answer 1

我很确定它已被 CharTermAttribute 取代 javadoc

票证已经很旧了，但也许代码保留的时间更长一些: https://issues.apache.org/jira/browse/LUCENE-2372