gpt4 book ai didi

performance - 大单碎片与多碎片

转载 作者:行者123 更新时间:2023-12-02 22:56:42 25 4
gpt4 key购买 nike

ElasticSearch分片有两种最佳实践:

  • 每个节点的最佳分片数为1。
  • 分片大小最大为50 GB。

  • 就我而言,它们有些争议。更具体地说,假设索引大小为2 TB,并且有10个节点。我应该配置多少个碎片:

    选项1:10个分片,每个200GB

    要么

    选项2:40个碎片,每个碎片50GB

    哪个查询延迟性能更好的选择?

    最佳答案

    理论上,无论哪种“最佳”通常都是最佳的,实际上,您需要进行一些权衡。大多数时候,您肯定会希望每个主分区至少有一个副本(容错),因此每个节点至少要有2个分区(除非您有5个主分区,每个400GB)。为了达到最佳效果,让我们踏踏实实...

    您没有提到每个节点的堆容量,但是由于您不应该超过每个节点30.5GB的堆限制,因此您应该倾向于使用最多约50GB数据的碎片。 50片@ 40GB也可以。

    我不会尝试200GB的碎片,因为那可能太大了。我也不会尝试拥有1000个2GB的分片,因为分片会太多。

    最终,这取决于您的用例和硬件。您的索引正在承受沉重的搜索负担,还是主要处理索引请求?您的集群需要处理多少个并发搜索/索引请求?最好的了解方法是对所有这些进行测试,但是如果没有更多信息,第二种选择显然比第一种更好。并且不要忘记,每个主分片也可能需要一个副本,这会使您的存储需求增加一倍(即每个节点400GB)

    关于performance - 大单碎片与多碎片,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/51099608/

    25 4 0
    Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
    广告合作:1813099741@qq.com 6ren.com