elasticsearch - 升级后Elasticsearch涵盖所有领域的速度缓慢

Question

我们使用远程方法的重新索引将2.4群集升级到6.2群集。在2.4中，我们使用catch-all _all字段执行搜索，并且所有查询的响应时间都在500毫秒以下。

在6.2中，_all字段不再可用于新索引，因此我们最终创建了一个称为all的新文本类型字段，例如"all": {"type": "text"}，并在所有其他字段(其中约2000个)上设置了copy_to。但是现在，在这个新的通用字段all上进行搜索的时间比在2.4 _all上进行搜索的时间长2至10倍。 (在执行查询之前，我们刷新了两个集群上的缓存。)

这两个集群都是单个数据中心，同一节点上的单个节点8GB内存，通过 flex 云托管。两个索引具有相同数量的文档(大约600万个)，并且具有大约150个Lucene段文件。

为什么有任何线索？

更新:这两个索引都返回不包含全部捕获字段的文档，即它们不存储全部捕获字段。

这是查询和响应的示例:

$ curl --user "$user:$password" \
> -H 'Content-Type: application/json' \
> -XGET "$es/$index/$mapping/_search?pretty" -d'
> {
>     "size": 1,
>     "query" : {
>         "match" : { "all": "sherlock" }
>     }
> }
> '
{
  "took" : 42,
  "timed_out" : false,
  "_shards" : {
    "total" : 5,
    "successful" : 5,
    "failed" : 0
  },
  "hits" : {
    "total" : 28133,
    "max_score" : 2.290815,
    "hits" : [ {
      "_index" : "sherlock",
      "_type" : "doc",
      "_id" : "513763",
      "_score" : 2.290815,
      "_source" : {
        "docid" : 513763,
        "age" : 115,
        "essay" : "Has Mr. Sherlock Holmes?",
        "name" : {
          "last" : "Pezzetti",
          "first" : "Lilli"
        },
        "ssn" : 834632279
      }
    } ]
  }
}

更新2 :我忘记提及的另一点是，暂存应用程序当前正在使用2.4群集，该应用程序每隔几分钟就会向其发送一些查询。这会带来诸如操作系统缓存之类的其他因素吗？

Answer 1

您是否存储了_all字段并以原始设置将其返回？你现在还吗？如果您没有，现在却要做，那是您看到的响应开销，而不是搜索开销。基本上，如果不需要，您应该在响应中(来自_source)忽略该字段(以及与此相关的任何其他字段)。

检查_source filtering了解更多