gpt4 book ai didi

solr - solr 中 text_general 和 text_en 之间的区别?

转载 作者:行者123 更新时间:2023-12-05 01:08:36 26 4
gpt4 key购买 nike

我发现我可以为 text_general 的不同语言使用不同的标记器/分析器 field 。
但是存在text_en以及。

为什么我们需要两个?

假设我们有一个亚洲语言的句子,并且该句子还包含一些英语单词。text_general用于句子中的亚洲词和 text_en对于英语单词?
solr 如何索引/查询这样的句子?

最佳答案

text_en 使用词干提取,因此如果您搜索 fakes , 你可以匹配 fake , fake's , faking等具有非词干字段 fakes只会匹配 fakes .

每个字段使用不同的分析器“链”。 text_en 使用一系列过滤器来更好地索引英语。查看 tokenizerfilter条目。

text_general 的架构摘录:

<!-- A general text field that has reasonable, generic
cross-language defaults: it tokenizes with StandardTokenizer,
removes stop words from case-insensitive "stopwords.txt"

<fieldType name="text_general" class="solr.TextField" positionIncrementGap="100">
<tokenizer class="solr.StandardTokenizerFactory"/>
<filter class="solr.StopFilterFactory" ignoreCase="true" words="stopwords.txt" enablePositionIncrements="true" />
<filter class="solr.SynonymFilterFactory" synonyms="index_synonyms.txt" ignoreCase="true" expand="false"/>
<filter class="solr.LowerCaseFilterFactory"/>

text_en 的架构摘录:
<!-- A text field with defaults appropriate for English: it
tokenizes with StandardTokenizer, removes English stop words
(lang/stopwords_en.txt), down cases, protects words from protwords.txt, and
finally applies Porter's stemming. The query time analyzer
also applies synonyms from synonyms.txt. -->
<fieldType name="text_en" class="solr.TextField" positionIncrementGap="100">
<tokenizer class="solr.StandardTokenizerFactory"/>
<!-- in this example, we will only use synonyms at query time
<filter class="solr.SynonymFilterFactory" synonyms="index_synonyms.txt" ignoreCase="true" expand="false"/>
-->
<filter class="solr.StopFilterFactory"
ignoreCase="true"
words="lang/stopwords_en.txt"
enablePositionIncrements="true"
/>
<filter class="solr.LowerCaseFilterFactory"/>
<filter class="solr.EnglishPossessiveFilterFactory"/>
<filter class="solr.KeywordMarkerFilterFactory" protected="protwords.txt"/>
<filter class="solr.PorterStemFilterFactory"/>

关于solr - solr 中 text_general 和 text_en 之间的区别?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/16975063/

26 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com