elasticsearch - Logstash/Elasticsearch/Kibana 资源规划

Question

如何根据负载规划资源(我怀疑是elasticsearch实例):

在负载情况下，我的意思是约 500K 个事件/分钟，每个事件包含 8-10 个字段。

我应该转动哪些配置旋钮？我是这个堆栈的新手。

Answer 1

每分钟 500,000 个事件相当于每秒 8,333 个事件，这对于小型集群(3-5 台机器)来说应该很容易处理。

将 720M 每日文档(43B 文档)保持打开状态 60 天就会出现问题。如果 10 个字段中的每个字段都是 32 字节，则需要 13.8TB 的磁盘空间(单个副本接近 28TB)。

为了进行比较，我最多有 5 个节点(64GB RAM，31GB 堆)，1.2B 文档消耗 1.2TB 磁盘空间(副本为双倍)。该集群无法在每台机器只有 32GB RAM 的情况下处理负载，但现在有 64GB RAM 就足够了。这是我们 10 天的数据。

粗略地说，您预计消耗的文档数量是我的集群的 40 倍，消耗的磁盘空间是我的集群的 10 倍。

我没有确切的数字，但我们使用 doc_values 的试点项目为我们节省了 90% 的堆内存。

如果所有这些数学都成立，并且 doc_values 也那么好，那么就实际索引字节而言，您可以使用类似的集群。我会征求有关拥有这么多单独文档的开销的更多信息。

我们已经进行了一些 Elasticsearch 调整，但可能还有更多的事情可以做。

我建议您从几台 64GB 的机器开始。您可以根据需要添加更多。添加几个(较小的)客户端节点作为索引和搜索请求的前端。