elasticsearch - 查询 Elasticsearch 基于地址的索引

Question

我真的很难尝试获取基于地址的索引以返回与自动完成工作相同的结果，我一直在尝试两种不同的方法，我开始尝试使用 nGram 和自定义分析器，但我确实很难获得相关结果来显示人们在使用地址自动完成时的期望。

我关注的第二种方法是查看 elasticsearch 附带的完成建议器是否更容易开始工作，但我似乎在各个方向都遇到了障碍。

我们根据每次键入时的输入值定期发送客户端 API 调用。

我似乎面临的问题是..我没有返回足够相关的结果，如果/当它们相关时，一个额外的字符部分词可以强制不返回任何结果。

例如以下地址:7 West Hill Gardens, West Hill EX9 6BL

我的文档是这样存储的:

完成建议

"id": "1",
"address": "7, Westhill Gardens, Bromyard HR74HW",
"suggest": "7, Westhill Gardens, Bromyard HR74HW"

---

完成建议映射:

{
  "mappings": {
    "addresses": {
      "properties": {
        "suggest": {
          "type": "completion",
          "preserve_separators": false,
          "analyzer": "standard",
          "search_analyzer": "standard"
        },
        "address": {
          "type": "text"
        },
        "id": {
          "type": "keyword"
        }
      }
    }
  }
}

---

请注意，我在建议器中将 preserve_separators 设置为 false 以允许将 west hill 也匹配为 westhill，这在建议器上运行良好，但在我的 nGram 索引中我不确定我如何通过映射启用相同的功能，我相信这可能是我没有返回相关结果的问题的一部分。

建议是当我使用以下查询查询 7 westhill gardens 时:

{
  "suggest": {
    "suggestions": {
     "prefix": "7 westhill gardens",
      "completion": {
        "field": "suggest",
        "fuzzy": {
          "fuzziness": 2 // Also tried with no fuzzy and fuzziness: 1
        }
      }
    }
  }
}

返回以下结果:

"address": "7, Westhill Gardens, Brackley NN136AA",
"address": "7, Westhill Gardens, Bromyard HR74HW",
"address": "7, West Hill Gardens, West Hill, Budleigh Salterton EX96BL",

但是，如果我从查询中删除数字 7 并执行此查询，它不会返回任何结果，这是一个关键问题，因为并非所有用户都会使用给定的门牌号开始他们的查询，并且执行搜索 west hill gardens 与 7 west hill gardens

{
  "suggest": {
    "suggestions": {
      "prefix": "westhill gardens",
      "completion": {
        "field": "suggest",
        "fuzzy": {
          "fuzziness": 2
        }
      }
    }
  }
}

最后，如果我只查询门牌号，如下所示，不会返回任何结果。

{
  "suggest": {
    "suggestions": {
      "prefix": "7 EX9 6BL",
      "completion": {
        "field": "suggest",
        "fuzzy": {
          "fuzziness": 2
        }
      }
    }
  }
}

我希望比我更有经验的人可以就最好的方法是什么以及我是否应该坚持使用 nGrams 并尝试使用自定义分析器/过滤器方法进行思考。或者我只是在做完全错了？!我才刚刚开始学习 elasticsearch，所以如果我的术语不正确，我深表歉意。

Answer 1

更多地将 Completion Suggester 视为一种“从……开始”的机制。文档说:“完成建议器是所谓的前缀建议器。”因此，对于这种类型的搜索，您可能无法获得所需的一切。

为了更接近一点，一种解决方案是 preserve_position_increments 的组合和停用词分析器。首先使用以下设置创建索引:

{
  "settings": {
    "analysis": {
      "analyzer": {
        "my_stop_analyzer": {
          "type": "stop"
        }
      }
    }
  }
}

然后映射文档类型:

{
  "properties": {
    "suggest": {
      "type": "completion",
      "preserve_separators": false,
      "preserve_position_increments": false
    },
    "address": {
      "type": "text"
    },
    "id": {
      "type": "keyword"
    }
  }
}

然后这个查询:

{
  "suggest": {
    "suggestions": {
     "prefix": "westhill gardens",
      "completion": {
        "field": "suggest",
        "fuzzy": {
          "fuzziness": 2
        }
      }
    }
  }
}

将导致两者:

"address": "5, West hill Gardens, Bromyard AAA"
"address": "7, Westhill Gardens, Bromyard HR74HW"

但如果您尝试搜索:"prefix": "7 gardens" - 它不会给你结果(因为这种机制的所谓前缀建议性质)。

还有什么选择？ nGrams，如前所述，或者您也可以尝试使用 query_string .简单示例，假设您有一个标准映射:

{
  "properties": {
    "suggest": {
      "type": "text"
    },
    "address": {
      "type": "text"
    },
    "id": {
      "type": "keyword"
    }
  }
}

然后使用 query_string :

{
  "query": {
        "query_string" : {
            "default_field" : "suggest",
            "query" : "west* Gardens*",
            "default_operator": "OR",
            "split_on_whitespace": "true",
            "fuzziness" : 2
    }
  }
}

例如，它给了我结果:

"address": "267, Westhill Gardens, Bromyard HR74HW",
"address": "5, West hill Gardens, Bromyard AAA",
"address": "1, West hill Bromyard HR74HW"

但请注意，使用 * 通配符会导致更差的性能和内存消耗(一定要避免在术语开头使用 *)，但另一方面 query_string是一个非常通用的工具。

*** NGram 案例更新***

因为我之前写过关于 NGrams 的文章，所以我将在这里发布第一个想法。

一些初步假设:

• 在输入 3 个字符后启用自动完成(设置:“min_gram”:3)
• 我们需要分析数字、空格、逗号等 - 如果用户键入“7, W”，我们需要获取结果集
• 用于测试启用 ngram 向量 - 它允许查看它的实际工作原理(设置“term_vector”:“yes”)，但应在生产中禁用

映射 - 用于索引和类型 - 如下所示:

{
   "settings": {
      "number_of_shards": 1,
      "analysis": {
         "tokenizer": {
            "ngram_tokenizer": {
               "type": "nGram",
               "min_gram": 3,
               "max_gram": 10
            }
         },
         "analyzer": {
            "ngram_tokenizer_analyzer": {
               "type": "custom",
               "tokenizer": "ngram_tokenizer"
            }
         }
      }
   },
   "mappings": {
      "addresses": {
         "properties": {
            "suggest": {
               "type": "text",
               "term_vector": "yes",
               "analyzer": "ngram_tokenizer_analyzer"
            },
            "address": {
              "type": "text"
            },
            "id": {
              "type": "keyword"
            }
         }
      }
   }
}

现在可以对文档进行索引。您可以通过以下方式检查分析器的工作原理(感谢“term_vector”:“yes”):

GET http://127.0.0.1:9200/sug/addresses/{documentId}/_termvector?fields=suggest

然后查询(这次是 bool 查询)非常简单:

{ 
  "query" : 
  { "bool" : 
    { "must" : [ 
        { "match" : { "suggest": { "query": "1, Westhil" } } }
    ]}
}

我认为它应该满足您描述的所有要求 - 使用地址的起始部分、门牌号或任何其他部分以及空格问题进行搜索。你可以减少min_gram至 2如果真的有必要的话。如果您需要了解更多详细信息，请随时提问，或者按照您的建议提出一个新问题。