个人中心
文章发布
退出
作者热门文章
- Java锁的逻辑（结合对象头和ObjectMonitor）
- 还在用饼状图？来瞧瞧这些炫酷的百分比可视化新图形（附代码实现）⛵
- 自动注册实体类到EntityFrameworkCore上下文，并适配ABP及ABPVNext
- 基于Sklearn机器学习代码实战
25
4
search_as_you_type字段类型用于自动补全，当用户输入搜索关键词的时候，还没输完就可以提示用户相关内容。as_you_type应该是说当你打字的时候。它会给索引里的这个类型的字段添加一些子字段_2gram _3gram和_index_prefix。_2gram的意思是，如果一个值是abcd, 2 gram就是ab bc cd, 3 gram就是abc bcd cde.先混个眼熟.
先看看这个search_as_you_type怎么用，创建索引:
PUT test_ngram
{
"mappings"
: {
"properties"
: {
"title"
: {
"type": "search_as_you_type"
}
}
}
}
插入一个文档:
PUT test_ngram/_doc/1
{
"title":"i am joe"
}
进行搜索:
GET test_ngram/_search
{
"query"
: {
"multi_match"
: {
"query": "jo"
,
"type": "bool_prefix"
,
"fields"
: [
"title"
]
}
}
}
这里的搜索条件是jo,不是一个完整的词，是joe的开头两个字母但是仍然能搜索到结果，分数是1.0，如果搜索 i jo,也能搜索到结果，分数是1.287682,更高，注意这里原来的值是 i am joe,搜索条件是i jo,中间没有am也能搜索，说明是把搜索条件分成了 i 和jo两个单词，即搜索了i也搜索了jo,一个单词 i 匹配评分是1，但是两个单词 i 和 jo都匹配分数就更高，是1.287682，如果jo没有匹配的话分数应该更低，比如你搜索 i oj 分数就是0.2876821 。
然后我们再来看看三个词的搜索 i am jo ，可以看到分数更高了是1.5753641,说明这三个词都匹配到了，最后一个是前缀匹配，那如果我们搜索 i a jo呢，分数又降低和两个词匹配一样的分数1.287682，说明a并没有匹配到，为什么a不能匹配到am呢，不是前缀匹配吗？这里只能是最后一个单词是前缀匹配，比如这里的 jo，注意是搜索条件里面的最后一个单词不是字段值里面的最后一个单词，你搜索i a分数也是1.287682，也能匹配2个词.
所以结论就是这里会对搜索条件的最后一个词进行前缀匹配（如果是中文的话，不是按空格分词，而是根据ik分词器分词）.
还要注意这里的"type": "bool_prefix",指定了这个参数才能使用前缀匹配，如果去掉这个参数再搜索 jo 是没有结果的.
。
然后还有一点这里使用multi_match是为了多字段搜索，所以你可以在fields参数里面多指定几个参数:
"fields": ["title","title._2gram","title._3gram"]，这样也能搜索出结果,但是一般都要带上主字段"title",否则搜索不到结果，比如:
GET test_ngram/_search
{
"query"
: {
"multi_match"
: {
"query": "wa"
,
"type": "bool_prefix"
,
"fields": ["title._2gram","title._3gram"
]
}
}
}
这样就搜索不到，要加上主字段title， "fields": ["title","title._2gram","title._3gram"]就能搜到了.
。
那么前面提到的_2gram _3gram和_index_prefix是怎么回事呢？，也就是了解search_as_you_type的工作原理，这里我们可以打开底层的Lucene索引来具体看看到底这两个字段是怎么回事 。
那么怎么才能查看es底层的Lucene索引呢，首先有一个工具叫luke，以前是一个独立的项目，github地址是 。
https://github.com/DmitryKey/luke 。
但是后来已经合并到Lucene本身里面了，你可以下载Lucene 。
https://lucene.apache.org/core/downloads.html 。
这里我用的es版本是7.1.0，下载的Lucene版本是8.7.0，下载的lucene-8.7.0.tgz，（点击Older releases），下载了解压，找到里面的luke文件夹，如果是windows，有一个luke.bat双击就能运行。运行后是一个swing的界面，可以打开Lucene索引，但是相关的Lucene索引在哪呢?
通过es查询:
GET test_ngram
响应里面有一个 "uuid" : "GwxlNOMaRiabTL0BmStlAA"，通过它就可以找到索引，比如我这里的位置就是 。
...\elasticsearch-7.10.1-windows-x86_64\elasticsearch-7.10.1\data\nodes\0\indices\GwxlNOMaRiabTL0BmStlAA 。
具体位置根据你的设置不同而不同。通过这个地址可以在luke里面打开它，点击open，就选择这个路径，打开后看到如下界面:
为什么啥也没有呢？好问题。因为es的索引还在缓存中，没有落盘，如何才能让它保存了我们好看呢？调用es的接口:
POST test_ngram/_flush
然后在luke中点击reopen current index,就可以看到有数据。但是这里为了看得更清楚，我们先删除所有文档，再插入一个简单的值："on"，先删除文档:
POST test_ngram/_delete_by_query
{
"query"
:{
"match_all"
:{}
}
}
再插入一个文档并flush:
POST test_ngram/_doc/1
{
"title":"on"
}
POST test_ngram/_flush
然后在luke中点击reopen current index，可以看到 。
左边是索引里字段，如果你选择_2gram或者_3gram，然后点击show top terms 你会看到右边是空的，为什么呢，因为这个唯一的文档里面只有一个字段，这个字段的值还只有一个词，所以不会形成2 gram或者3 gram。但是你选择title._index_prefix，再点击show top terms,可以看到上图中显示的，这里在菜单里面点击导出terms，可以看到 。
o,1
on,
1
on ,
1
on ,
1
也就是说会在on后面加上两个空格，然后依次是o on on一个空格 on两个空格，所以这就是为什么这里你可以搜索o为前缀的原因，已经有o这个term了，可以直接搜索.
然后为了进一步了解原理，我们更新一下文档，然后flush:
POST test_ngram/_doc/1
{
"title":"on a way"
}
POST test_ngram/_flush
reopen current index, expoert terms,可以看到title._2gram有2个：on a和a way各出现了两次,而title._3gram里面有1个on a way出现了2次，而导出的title._prefix_index字段如下:
a,2
a ,
2
a w,
2
a wa,
2
a way,
2
a way ,
2
o,
2
on,
2
on ,
2
on a,
2
on a ,
2
on a w,
2
on a wa,
2
on a way,
2
w,
2
wa,
2
way,
2
way ,
2
way ,
2
可以看出，就是对on a和a way和on a way进行了edge ngrams，edge ngram就是说，如果有一个单词abcde,edge ngram之后就是a ab abc abcd abcde,所以先是得到_2gram和_3gram,再对他们进行edge ngrams，就得到了title._prefix_index。所以这就解释了为什么你前面搜索i a jo后a搜索不到了，因为i am joe进行edge ngrams后是i 和 i a 和 i am 和i am j 和i am jo 和i am joe,就是没有i a jo.
查看官网 https://www.elastic.co/guide/en/elasticsearch/reference/current/search-as-you-type.html 可以了解更多，里面提到你还可以使用_4gram,只要你改变max_shingle_size配置 。
至此你就知道了search_as_you_type的用法和原理，以及该类型字段包含的子字段_2gram _3gram _prefix_index，还能通过luke工具分析es底层的Lucene索引的真实面目.
。
最后此篇关于elasticsearch中的数据类型search_as_you_type及查看底层Lucene索引的文章就讲到这里了,如果你想了解更多关于elasticsearch中的数据类型search_as_you_type及查看底层Lucene索引的内容请搜索CFSDN的文章或继续浏览相关文章，希望大家以后支持我的博客！ 。
25
4
0
Lucene 对俄语的支持很差。 RussianAnalyzer(lucene-contrib 的一部分)质量非常低。 Snowball 的 RussianStemmer 模块更糟糕。它不识别 Uni
我需要使用 Lucene 对 Books 数据库进行多字段级别搜索。 例如:我的搜索条件类似于: (Author:a1 and title:t1) OR (Author:a2 and title:t
在搜索一堆文档时，我可以轻松找到符合我的搜索条件的文档数量: Hits hits = Searcher.Search(query); int DocumentCount = hits.Length()
我正在向 Lucene 索引添加数十亿行，每行几乎是 6000 字节。可以添加到 Lucene 索引的最大行数是否有限制？ Lucene 索引上 6000 字节的十亿行将占用多少空间。这个尺寸有限制吗
如果我编写使用 Lucene 执行搜索的算法，我该如何说明它的计算复杂度？我知道 Lucene 使用 tf*idf 评分，但我不知道它是如何实现的。我发现 tf*idf 具有以下复杂性: O(|D|+
我想在索引中搜索特殊字符。 我转义了查询字符串中的所有特殊字符，但是当我在索引中的 lucene 上执行查询为 + 时，它会创建查询为 +()。 因此它不搜索任何字段。 如何解决这个问题呢？我的索引包
我不明白它们是什么，我真的很感激一个简单的解释，展示它们给世界带来的值(value)，而没有太多关于它们如何工作的实现细节。 最佳答案 范数是计算分数的一部分。可以根据您的喜好计算标准，真的。使规范与
这可以被视为一般 Java 问题，但为了更好地理解，我使用 Lucene 作为示例。 您可以在 Lucene 中使用不同的分词器来分词文本。有主要的抽象 Tokenizer 类，然后是许多扩展它的不同
我必须索引应该一起搜索的不同类型的数据(文本文档、论坛消息、用户配置文件数据等)(即，单个搜索将返回不同类型数据的结果)。 拥有多个索引(每种类型的数据一个)的优缺点是什么？ 以及对各种数据使用单一索
我使用Lucene.Net为一些文档建立索引。我想向用户展示几行有关为什么该文档出现在结果集中的信息。就像您使用Google进行搜索一样，它会显示链接，然后是链接，其中有几行带有突出显示的关键字。 有
Lucene 中的段是什么？ 分段有什么好处？ 最佳答案 Lucene 索引被分割成更小的 block ，称为段。每个段都有自己的索引。 Lucene 按顺序搜索所有这些。 当新的写入器打开以及写入器
我想了解 lucene 搜索如何运行得如此之快。我在网上找不到任何有用的文档。如果您有任何内容(除了 lucene 源代码)需要阅读，请告诉我。 在我的例子中，使用带索引的 mysql5 文本搜索进行
有人可以解释一下 Lucene 中不同分析器之间的区别吗？我收到 maxClauseCount 异常，我知道可以通过使用 KeywordAnalyzer 来避免这种情况，但我不想在不了解分析器周围问题
显然它不能用来破坏索引或破解卡号、密码等(除非有人愚蠢到将卡号或密码放入索引中)。 是否有可能因过于复杂的搜索而导致服务器瘫痪？ 我想我真正需要知道的是我是否可以将用户输入的 Lucene 查询直
我已经索引了 400 个文档。然后我想给两个文档和 lucene 返回这两个文档之间的相似度。那可能吗？提前致谢。 最佳答案 简而言之。计算两个文档向量的余弦。 example code 关于luce
我正在考虑/致力于为我们公司的各种内容类型实现一个搜索引擎，并尝试着迷于 Lucene(特别是 .net 风格)。 目前，我的主要问题是索引的文档是否必须包含相同的字段。 例如: 文档1: 标题:“我
我对 Lucene 的评分功能有一个问题，我无法弄清楚。到目前为止，我已经能够编写这段代码来重现它。 package lucenebug; import java.util.Arrays; impor
我需要建立该矩阵，但找不到用于为每个单元格计算归一化tf-idf的方法。 我要执行的归一化是余弦归一化，将tf-idf(使用DefaultSimilarity计算)除以1 / sqrt(列中的sumO
有意义吗？ 对于我的客户来说，开发克罗地亚语分析器太昂贵了，我没有找到任何现有的分析器...所以我的问题是...我是否告诉他们放弃使用 Lucene 来处理克罗地亚语内容的想法？ 谢谢! 最佳答案 S
频繁更新 lucene 索引(每隔几秒)可以吗？更新将同样是添加，更新和搜索将同时发生。 最佳答案 我将在这个答案前面加上“我只使用过 Java Lucene”，但这应该仍然适用:从一般意义上讲，按照
我是一名优秀的程序员,十分优秀！