gpt4 book ai didi

search - ElasticSearch - 搜索人名

转载 作者:行者123 更新时间:2023-11-29 02:43:10 26 4
gpt4 key购买 nike

我有一个很大的名字数据库,主要来自苏格兰。我们目前正在制作一个原型(prototype)来替换执行搜索的现有软件。这仍在生产中,我们的目标是使我们的结果尽可能接近同一搜索的当前结果。

我希望有人能帮助我,我正在搜索 Elastic Search,查询是“Michael Heaney”,我得到了一些奇怪的结果。当前搜索返回两个主要姓氏,它们是“Heaney”和“Heavey”,它们的名字都是“Michael”,我可以在 Elastic Search 中获得“Heaney”的结果,但是我也无法获得“Heavey”和 ES返回没有姓氏“迈克尔”的人,但我很欣赏这是因为它是模糊查询的一部分。我知道这是一个狭窄的用例,因为它只是一次搜索,但获得这个结果并知道如何获得它会有所帮助。

谢谢。

映射

{
"jr": {
"_all": {
"enabled": true,
"index_analyzer": "index_analyzer",
"search_analyzer": "search_analyzer"
},
"properties": {
"pty_forename": {
"type": "string",
"index": "analyzed",
"boost": 2,
"index_analyzer": "index_analyzer",
"search_analyzer": "search_analyzer",
"store": "yes"
},
"pty_full_name": {
"type": "string",
"index": "analyzed",
"boost": 4,
"index_analyzer": "index_analyzer",
"search_analyzer": "search_analyzer",
"store": "yes"
},
"pty_surname": {
"type": "string",
"index": "analyzed",
"boost": 4,
"index_analyzer": "index_analyzer",
"search_analyzer": "search_analyzer",
"store": "yes"
}
}
}
}'

索引设置

{
"settings": {
"number_of_shards": 2,
"number_of_replicas": 0,
"analysis": {
"analyzer": {
"index_analyzer": {
"tokenizer": "standard",
"filter": [
"standard",
"my_delimiter",
"lowercase",
"stop",
"asciifolding",
"porter_stem",
"my_metaphone"
]
},
"search_analyzer": {
"tokenizer": "standard",
"filter": [
"standard",
"my_metaphone",
"synonym",
"lowercase",
"stop",
"asciifolding",
"porter_stem"
]
}
},
"filter": {
"synonym": {
"type": "synonym",
"synonyms_path": "synonyms/synonyms.txt"
},
"my_delimiter": {
"type": "word_delimiter",
"generate_word_parts": true,
"catenate_words": false,
"catenate_numbers": false,
"catenate_all": false,
"split_on_case_change": false,
"preserve_original": false,
"split_on_numerics": false,
"stem_english_possessive": false
},
"my_metaphone": {
"type": "phonetic",
"encoder": "metaphone",
"replace": false
}
}
}
}
}'

模糊

{
"from":0, "size":100,
"query": {
"bool": {
"should": [
{
"fuzzy": {
"pty_surname": {
"min_similarity": 0.2,
"value": "Heaney",
"prefix_length": 0,
"boost": 5
}
}
},
{
"fuzzy": {
"pty_forename": {
"min_similarity": 1,
"value": "Michael",
"prefix_length": 0,
"boost": 1
}
}
}
]
}
}
}

最佳答案

首先,我在 Play 中重新创建了您当前的配置:https://www.found.no/play/gist/867785a709b4869c5543

如果你去那里,切换到“分析”选项卡以查看文本是如何转换的:

请注意,例如 Heaney 最终被标记化为 [hn, heanei]search_analyzer[HN, heanei]index_analyzer。注意变音位术语的大小写差异。因此,那个不匹配。

模糊-查询不进行查询时文本分析。因此,您最终会将 Heaveyheanei 进行比较。这有一个 Damerau-Levenshtein distance比您的参数允许的时间长。

您真正想做的是使用match 的模糊功能。 Match确实进行查询时间文本分析,并且有一个模糊度参数。

至于模糊性,这在 Lucene 4 中有所改变。之前,它通常被指定为 float 。现在它应该被指定为允许的距离。有一个未完成的拉取请求来澄清:https://github.com/elasticsearch/elasticsearch/pull/4332/files

为什么你得到的人没有名字 Michael 是因为你正在做一个 bool.should。这具有 OR 语义。匹配一次就够了,但从得分上看,匹配的越多越好。

最后,将所有过滤组合到同一个术语中不一定是最好的方法。例如,您无法知道和提高准确的拼写。您应该考虑使用 multi_field以多种方式处理该字段。

Here's an example you can play with ,使用 curl 命令在下面重新创建它。但是,我会完全跳过使用“搬运工”词干分析器。我保留它只是为了展示 multi_field 是如何工作的。使用匹配、模糊匹配和语音匹配的组合应该会让你走得更远。 (确保在进行语音匹配时不允许模糊 - 否则你会得到无用的模糊匹配。:-)

#!/bin/bash

export ELASTICSEARCH_ENDPOINT="http://localhost:9200"

# Create indexes

curl -XPUT "$ELASTICSEARCH_ENDPOINT/play" -d '{
"settings": {
"analysis": {
"text": [
"Michael",
"Heaney",
"Heavey"
],
"analyzer": {
"metaphone": {
"type": "custom",
"tokenizer": "standard",
"filter": [
"my_metaphone"
]
},
"porter": {
"type": "custom",
"tokenizer": "standard",
"filter": [
"lowercase",
"porter_stem"
]
}
},
"filter": {
"my_metaphone": {
"encoder": "metaphone",
"replace": false,
"type": "phonetic"
}
}
}
},
"mappings": {
"jr": {
"properties": {
"pty_surename": {
"type": "multi_field",
"fields": {
"pty_surename": {
"type": "string",
"analyzer": "simple"
},
"metaphone": {
"type": "string",
"analyzer": "metaphone"
},
"porter": {
"type": "string",
"analyzer": "porter"
}
}
}
}
}
}
}'


# Index documents
curl -XPOST "$ELASTICSEARCH_ENDPOINT/_bulk?refresh=true" -d '
{"index":{"_index":"play","_type":"jr"}}
{"pty_surname":"Heaney"}
{"index":{"_index":"play","_type":"jr"}}
{"pty_surname":"Heavey"}
'

# Do searches

curl -XPOST "$ELASTICSEARCH_ENDPOINT/_search?pretty" -d '
{
"query": {
"bool": {
"should": [
{
"bool": {
"should": [
{
"match": {
"pty_surname": {
"query": "heavey"
}
}
},
{
"match": {
"pty_surname": {
"query": "heavey",
"fuzziness": 1
}
}
},
{
"match": {
"pty_surename.metaphone": {
"query": "heavey"
}
}
},
{
"match": {
"pty_surename.porter": {
"query": "heavey"
}
}
}
]
}
}
]
}
}
}
'

关于search - ElasticSearch - 搜索人名,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/20632042/

26 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com