java - Lucene - 如何使用 TeeSinkTokenFilter？

Question

有人可以解释一下如何(以及用途)使用 Lucene 的 TeeSinkTokenFilter 吗？一个例子也将非常感激=P。我没有找到official documentation很清楚了，也查了很多网站，没有太大进展。谢谢。

Answer 1

是的，我也不认为官方文档很清楚。我认为它如此令人困惑的部分原因是它以一种很难区分它们的方式同时展示了两种不同的功能。让我看看是否可以重写他们的示例以仅显示基本情况。

TeeSinkTokenFilter source1 = new TeeSinkTokenFilter(
    new WhitespaceTokenizer(version, reader1));
TeeSinkTokenFilter.SinkTokenStream sink1 = source1.newSinkTokenStream();
TeeSinkTokenFilter.SinkTokenStream sink2 = source1.newSinkTokenStream();
source1.consumeAllTokens(); // all tokens get cached at this point

TokenStream final3 = new EntityDetect(sink1);
TokenStream final4 = new URLDetect(sink2);

d.add(new TextField("f3", final3, Field.Store.NO));
d.add(new TextField("f4", final4, Field.Store.NO));

这允许final3和final4 token 流共享source1完成的处理。正如官方文档所述，消耗流的顺序很重要，但正如它没有说的那样，顺序似乎是不确定的(或者可能按字段名称的字母顺序排列)。我建议使用 ConsumerAllTokens 方法，就像我上面所做的那样。