java - 是否有一个 Lucene Analyzer 可以删除所有非字母并将所有大写字母转换为小写字母？

Question

我正在使用 Lucene 4.4 并且我有一个项目要做。在该项目中，必须删除所有非字母，并将所有大写字母转换为小写字母。
我知道有一个用于删除非字母的分析器。

但是 Lucene 中是否有一个分析器可以删除所有非字母并将所有大写字母转换为小写字母？

干杯。

Answer 1

实际上，是的，有一个分析器可以做到这一点。 SimpleAnalyzer .

以下执行(几乎)完全相同的事情:

Analyzer analyzer = new Analyzer() {
 @Override
  protected TokenStreamComponents createComponents(String fieldName, Reader reader) {
    Tokenizer source = new LetterTokenizer(Version.LUCENE_44, reader);
    TokenStream filter = new LowercaseFilter(Version.LUCENE_44, source);
    return new TokenStreamComponents(source, filter);
  }
};

当您对分析器有非常具体的要求时，通常您需要通过链接一个 Tokenizer 和一些像这样的过滤器来设计自己的，如 Analyzer documentation 所示。
LetterTokenizer 将标记定义为相邻字母的最大字​​符串，并且 LowercaseFilter 做它在锡上说的。

这是一个相当常见的组合，所以还有 LowercaseTokenizer它在一个步骤中完成了 LowercaseFilter 和 LetterTokenizer 的工作，从而提供了性能优势。 LowercaseTokenizer SimpleAnalyzer实际使用的是什么