amazon-web-services - 为什么 AWS Elasticsearch Minimum free storage space metric 不同于 cat allocation api

Question

我在 AWS 中有一个 Elasticsearch 集群，并被告知集群的最小存储空间约为 2GB。在升级每个节点上的存储之前，我决定深入挖掘一下。作为引用，集群有 8 个节点，每个节点上有 35GB 的存储空间。我很难理解为什么每个节点的 FreeStorageSpace 指标(以及集群的最小 FreeStorageSpace 指标)不一致。

在 ES 实例运行状况选项卡上查看每个节点的可用存储空间:

当我 cat/allocation 时:

最终，我试图确定我的节点上的可用存储空间是根据 Cloudwatch 指标报告的最少剩余存储空间量是 2gb，还是根据 cat 分配 api 是 8.8gb - 这将帮助我决定如何扩展。我知道 Amazon ES 在每个实例上为内部操作保留了一定百分比的存储空间，但假设这会减少上图中的 disk.avail。任何关于为什么这些不排队的见解都会很棒。

Answer 1

这是因为 AWS Elasticsearch 作为一项托管服务，有其自己的存储开销。

来自 AWS Documentation :

Operating system reserved space: By default, Linux reserves 5% of thefile system for the root user for critical processes, system recovery,and to safeguard against disk fragmentation problems.

Amazon ES overhead: Amazon ES reserves 20% of the storage space ofeach instance (up to 20 GiB) for segment merges, logs, and otherinternal operations.

有两个指标可以查看您的免费存储空间:

FreeStorageSpace CW 指标 - 这将包含开销并显示最终用户可用的实际空间。

来自 AWS Documentation对于 FreeStorageSpace:

FreeStorageSpace will always be lower than the value that theElasticsearch _cluster/stats API provides. Amazon ES reserves apercentage of the storage space on each instance for internaloperations.

Elasticsearch API - 由于这些是原生 Elasticsearch API，因此它们将显示可用的原始空间，这将高于实际空间。