java - Shingle filter factory startOffset 必须是非负数，endOffset 必须 >= startOffset

Question

我将 lucene 4.4 版与这些分析器一起使用:

worddelimeter, patternFilter, synonyms, lowercase,
stopwords, kStemFilter, shingle, trimfilter.

分析器按照我使用它们的顺序列出。当我尝试添加文档时出现以下异常:

startOffset must be non-negative, and endOffset must be >= startOffset,
            startOffset=37571,endOffset=37569

此异常仅针对特定文件发生。但是，当我更改顺序并将 stopwords 过滤器放在 worddelimeter 之前时，它工作正常。但这不是正确的做法!

为什么会这样？在什么情况下，一个过滤器会以某种方式更改数据以导致该异常？

Answer 1

这不是你的问题，这是 WordDelimiterFilter 中的一个已知限制/错误。参见 https://issues.apache.org/jira/browse/LUCENE-5111 Rob Muir 今天添加了一个补丁，看来您对 Lucene 4.8 很幸运。