elasticsearch - 如何确定我的 Elasticsearch 服务器的内存需求

Question

我这里有一个场景，

拥有大约 1.4 TB 数据的 Elasticsearch DB，

 _shards": {
     "total": 202,
     "successful": 101,
     "failed": 0
}

每个索引大小大约在 3 GB 到 30 GB 之间，在不久的将来，预计每天会有 30GB 的文件大小。

操作系统信息:

 NAME="Red Hat Enterprise Linux Server"
 VERSION="7.2 (Maipo)"
 ID="rhel"
 ID_LIKE="fedora"
 VERSION_ID="7.2"
 PRETTY_NAME="Red Hat Enterprise Linux Server 7.2 (Maipo)"

系统具有 32 GB 的 RAM，文件系统为 2TB(已使用 1.4TB)。我为 Elasticsearch 服务器配置了最大 15 GB。但这还不足以让我查询这个数据库。服务器因服务器上的单个查询命中而挂起。

我将在此服务器的文件系统中包含 1TB，以便总可用文件系统大小为 3TB。我还计划将内存增加到 128GB，这是一个近似值。

有人可以帮我计算一下如何确定服务器同时响应至少 50 个请求所需的最小 RAM 吗？

如果您能建议任何工具/公式来分析此要求，我们将不胜感激。如果您可以给我任何其他带有数字的场景，这也会很有帮助，以便我可以使用它来确定我的资源需求。

Answer 1

您需要使用多个节点进行扩展以保持效率。Elasticsearch 的每个节点内存甜蜜点为 64GB，其中 32GB 为 ES 保留。

https://www.elastic.co/guide/en/elasticsearch/guide/current/hardware.html#_memory更多细节。如果您将 Elasticsearch 用于严肃的事情，这本书非常适合阅读