logging - Elasticsearch 盘空间计算

Question

如何计算 flex 搜索服务器的磁盘空间，每天 4TB 日志所需的节点数。

flex 搜索索引中需要存储多少磁盘空间？

如何计算节点数？

索引是否压缩？

从logstash行到甲酸的10G日志需要多少磁盘空间？

索引是否被压缩？

以下是true的false以及为什么(如果将节点配置为使用5个分片)

存储 5 分片节点的 10G 日志是否需要 50G 磁盘空间？

Answer 1

许多问题需要长答案。简而言之:

空间:视情况而定。你有二进制数据吗？还是未压缩的文字？您想要多少个副本-可能是0？如果是原始文本和0个副本:您所需的空间很可能<您的原始数据大小。

也许一个节点足以满足您的方案。或者您有1000次点击/秒？然后，您可能需要更多节点。 (近线性可伸缩=>如果需要，添加节点)。

是，从ES约0.90开始，默认设置为

通常，您还希望将数据存储到磁盘，而不仅是存储在内存中(although would be possible)=>参见1。

请参阅3.

不是 space=nodes*rawData。它更像 space=compress(rawData)*replicas。

成功的关键是自己进行试验，以找出适合您需求的东西(这些情况因情况而异)。

另请参阅以下答案以获得更好的理解:

Shards and replicas in Elasticsearch

ElasticSearch - Optimal number of Shards per node