elasticsearch - 从ES 1.4.2版本7.9更新后， Elasticsearch 性能下降

Question

我们想将OLD ES 1.4.2设置升级到新的ES 7.9。为此，我们正在测试搜索性能。
我通过查询返回不同编号的搜索查询来测试搜索性能。 5个不同的客户端(REST API)同时显示文档。我正在使用滚动API通过依次调用它来获取结果，以获取所有匹配的结果。我只是在遍历结果之前提出下一个滚动请求。有些查询返回非常大的数据，有些查询返回中等的数据。有一个查询可返回索引文档的90％。在ES 1.4.2中，此滚动API查询需要2个小时才能完成，而在ES 7.9中，同一查询需要大约11个小时才能完成。我原本期望在升级到ES 7.9后性能会提高，但发现性能会大大下降。有人知道背后的原因吗？我为两个ES版本使用的所有默认设置。请在这里提供帮助。谢谢
样本查询:
#Query 1:
http:// localhost:9200 / cgh_hs_hg19_20170821 / _search？scroll = 1m

{
    "size": 1000,
   
     
    "query" : {
      "match_phrase" : {
         "num_hits" : "1"
      }
   }
}

Mappings : 
{
  "settings":
  {
      "number_of_shards" : 5,
      "number_of_replicas": 1,
      "refresh_interval": "30s"
  },
 "mappings": 
 {
                "properties": 
                {
                    "build_version": 
                    {
                        "type": "text",
                        "store": true
                    },
                    "externalprobe_id": 
                    {
                        "type": "text",
                        "store": true
                    },
                    "gc_percent_1": 
                    {
                        "type": "float",
                        "store": true
                    },
                    "gc_percent_2": 
                    {
                        "type": "float",
                        "store": true
                    },
                    "gc_percent_3": 
                    {
                        "type": "float",
                        "store": true
                    },
                    "has_snp_resite": {
                        "type": "boolean",
                        "store": true
                    },
                    "hits": 
                    {
                        "type": "nested",
                        "properties": 
                        {
                            "annotations": 
                            {
                                "properties":
                                {
                                    "accession": 
                                    {
                                        "type": "text",
                                        "store": true
                                    },
                                    "cytoband": 
                                    {
                                        "type": "text",
                                        "store": true
                                    },
                                    "description": 
                                    {
                                        "type": "text",
                                        "store": true
                                    },
                                    "gene_name": 
                                    {
                                        "type": "text",
                                        "store": true
                                    },
                                    "gene_symbol": 
                                    {
                                        "type": "text",
                                        "store": true
                                    }
                                }
                            },
                            "chr_name": 
                            {
                                "type": "text",
                                "store": true
                            },
                            "chr_order":
                            {
                                "type": "integer",
                                "store": true
                            },
                            "chr_start": 
                            {
                                "type": "integer",
                                "store": true
                            },
                            "chr_stop": 
                            {
                                "type": "integer",
                                "store": true
                            },
                            "cpg_count_100": 
                            {
                                "type": "float",
                                "store": true
                            },
                            "cpg_count_200":
                            {
                                "type": "float",
                                "store": true
                            },
                            "gc_percent": 
                            {
                                "type": "float",
                                "store": true
                            },
                            "is_exonic": 
                            {
                                "type": "integer",
                                "store": true
                            },
                            "is_intragenic": 
                            {
                                "type": "integer",
                                "store": true
                            },
                            "is_masked": 
                            {
                                "type": "boolean",
                                "store": true
                            },
                            "is_primary_hit": 
                            {
                                "type": "boolean",
                                "store": true
                            },
                            "masked_length": 
                            {
                                "type": "integer",
                                "store": true
                            },
                            "midpoint": 
                            {
                                "type": "integer",
                                "store": true
                            },
                            "rank": 
                            {
                                "type": "integer",
                                "store": true
                            },
                            "score": 
                            {
                                "type": "float",
                                "store": true
                            },
                            "strand": 
                            {
                                "type": "text",
                                "store": true
                            }
                        }
                    },
                    "is_catalog": 
                    {
                        "type": "boolean",
                        "store": true
                    },
                    "is_hom_filtered":
                    {
                        "type": "boolean",
                        "store": true
                    },
                    "is_pseudoautosomal": 
                    {
                        "type": "boolean",
                        "store": true
                    },
                    "is_tm_filtered":
                    {
                        "type": "boolean",
                        "store": true
                    },
                    "md5_hash": 
                    {
                        "type": "text",
                        "store": true
                    },
                    "num_hits": 
                    {
                        "type": "integer",
                        "store": true
                    },
                    "on_backbone":
                    {
                        "type": "boolean",
                        "store": true
                    },
                    "perf_score":
                    {
                        "type": "float",
                        "store": true
                    },
                    "query": 
                    {
                        "properties": 
                        {
                            "bool": 
                            {
                                "properties":
                                {
                                    "must":
                                    {
                                        "properties":
                                        {
                                            "nested": 
                                            {
                                                "properties": 
                                                {
                                                    "path": 
                                                    {
                                                        "type": "text"
                                                    },
                                                    "query":
                                                    {
                                                        "properties": 
                                                        {
                                                            "bool": 
                                                            {
                                                                "properties":
                                                                {
                                                                    "must": 
                                                                    {
                                                                        "properties": 
                                                                        {
                                                                            "range": 
                                                                            {
                                                                                "properties": 
                                                                                {
                                                                                    "midpoint": 
                                                                                    {
                                                                                        "properties": 
                                                                                        {
                                                                                            "from": 
                                                                                            {
                                                                                                "type": "text"
                                                                                            },
                                                                                            "to": 
                                                                                            {
                                                                                                "type": "text"
                                                                                            }
                                                                                        }
                                                                                    }
                                                                                }
                                                                            },
                                                                            "term": 
                                                                            {
                                                                                "properties":
                                                                                {
                                                                                    "chr_name":
                                                                                    {
                                                                                        "type": "text"
                                                                                    }
                                                                                }
                                                                            }
                                                                        }
                                                                    }
                                                                }
                                                            }
                                                        }
                                                    }
                                                }
                                            }
                                        }
                                    }
                                }
                            }
                        }
                    },
                    "sequence": 
                    {
                        "type": "text",
                        "store": true
                    },
                    "size": 
                    {
                        "type": "long"
                    },
                    "species_code":
                    {
                        "type": "text",
                        "store": true
                    },
                    "status": 
                    {
                        "type": "text",
                        "store": true
                    },
                    "tm_value":
                    {
                        "type": "float",
                        "store": true
                    }
                }
            }
        }

Answer 1

首先，您应该问自己:默认的5个分片1.X配置对您来说是否合适？
根据 flex 分析，碎片的最佳目标大小约为50GB。
过度分片通常是导致 flex 性能下降的原因。
我猜您已在1.x和7.X之间更改了一些已弃用的映射，并且您已重新索引了数据。
之后必须执行forcemerge以确保在磁盘上进行良好的重新分区。
完成这些常规维护后，您将可以进行更多调查。
性能瓶颈可能来自许多不同的因素(RAM，CPU，IO速度等)，并且群集7.x上的硬件上下文可能与1.x群集上的硬件上下文不同。