java - 为什么这个 Lucene 查询没有返回任何匹配项？

Question

很久以前，我在 Lucene 中发现了一个错误，希望找到同一个问题的答案。但是很多时间过去了，甚至分析器的开发人员似乎都不愿意回答我的问题，所以我想我会把它扔到地板上看看是否有其他人可以解释这里发生了什么。

import org.apache.lucene.analysis.Analyzer;
import org.apache.lucene.analysis.ja.JapaneseAnalyzer;
import org.apache.lucene.document.Document;
import org.apache.lucene.document.Field;
import org.apache.lucene.document.TextField;
import org.apache.lucene.index.DirectoryReader;
import org.apache.lucene.index.IndexReader;
import org.apache.lucene.index.IndexWriter;
import org.apache.lucene.index.IndexWriterConfig;
import org.apache.lucene.index.LeafReader;
import org.apache.lucene.index.LeafReaderContext;
import org.apache.lucene.index.MultiFields;
import org.apache.lucene.index.Terms;
import org.apache.lucene.index.TermsEnum;
import org.apache.lucene.queryparser.flexible.standard.StandardQueryParser;
import org.apache.lucene.queryparser.flexible.standard.config.StandardQueryConfigHandler;
import org.apache.lucene.search.IndexSearcher;
import org.apache.lucene.search.Query;
import org.apache.lucene.search.TopDocs;
import org.apache.lucene.store.Directory;
import org.apache.lucene.store.RAMDirectory;
import org.apache.lucene.util.BytesRef;

public class LuceneMissingTerms {
    public static void main(String[] args) throws Exception {
        try (Directory directory = new RAMDirectory()) {
            Analyzer analyser = new JapaneseAnalyzer();

            try (IndexWriter writer = new IndexWriter(directory, new IndexWriterConfig(analyser))) {
                Document document = new Document();
                document.add(new TextField("content", "blah blah commercial blah blah \u79CB\u8449\u539F blah blah", Field.Store.NO));
                writer.addDocument(document);
            }

            try (IndexReader multiReader = DirectoryReader.open(directory)) {
                for (LeafReaderContext leaf : multiReader.leaves()) {
                    LeafReader reader = leaf.reader();

                    Terms terms = MultiFields.getFields(reader).terms("content");
                    TermsEnum termsEnum = terms.iterator();
                    BytesRef text;
                    //noinspection NestedAssignment
                    while ((text = termsEnum.next()) != null) {
                        System.out.println("Term in index: " + text.utf8ToString());
                    }
                }

                StandardQueryParser queryParser = new StandardQueryParser(analyser);
            queryParser.setDefaultOperator(StandardQueryConfigHandler.Operator.AND);
                String queryString = "\"\u79CB\u8449\u539F\"";
                // quoted to work around strange behaviour of StandardQueryParser treating this as a boolean query.
                Query query = queryParser.parse(queryString, "content");
                System.out.println("Performing query: " + queryString);

                TopDocs topDocs = new IndexSearcher(multiReader).search(query, 10);
                System.out.println("Hits count: " + topDocs.totalHits);
            }
        }
    }
}

当你运行它时，输出如下:

Term in index: blah
Term in index: commercial
Term in index: 秋葉原
Performing query: "秋葉原"
Hit count: 0

所以我们在索引中有一个术语，而查询恰好找不到该术语。通常在这种情况下，您在索引时使用的分析器与查询时使用的分析器不同，但在上面的示例中，两者使用的是同一个分析器对象。

所以我假设分析器中有一个错误，它与单词周围的上下文有关，因为这是两种情况下唯一不同的东西，但我不清楚是什么实际问题是或者我将如何解决它。

另一方面，也许这是预期的行为？如果是这种情况，那么我也可以关闭我的票，最终用户可能会对我们在这个问题上坐了几年才像那样关闭问题感到有点恼火。

Answer 1

在我看来，这显然是有意为之的行为。我根本不了解日语语言分析的来龙去脉，但 Kuromoji 分析器具有拆分多个术语的功能，包括词干分析器，并根据词性进行分析。一堆英文文本中嵌入的日文字符序列对于分析器来说与它们本身的术语或日文全文中的含义不同。

StandardAnalyzer 可以很好地满足您提出的特定情况。如果您的实际用例是偶尔在英文文本中使用日语序列，那么您可能应该使用它。它旨在合理地处理多种语言。

kuromoji 分析器似乎对实际 日文全文运行良好。我尝试从 Akihabara (秋葉原) Japanese Wikipedia page 索引一些内容，并且无论在查询中使用或不使用引号，它都运行良好。特定于语言的分析器包括许多专门针对该语言的附加智能，但作为交换，它们无法像 StandardAnalyzer 那样处理多种语言。

我怀疑这才是真正的问题，测试用例有点太天真了。您的测试文档大部分是英文的，因此 EnglishAnalyzer 或 StandardAnalyzer 可能都比 JapaneseAnalyzer 更适合搜索它。