elasticsearch - 日志，度量标准和分析数据都应归入一个数据湖还是应单独存储？

Question

背景:

我正在设置我的第一个 flex 堆栈，尽管我将开始简单，但是我想确保我从良好的体系结构开始。我最终希望有以下解决方案:托管指标，服务器日志(expressjs APM)，单页应用程序监视(APM RUM js代理)，Redis指标，MongoDB指标和自定义事件分析(即:销售，客户已取消)等)。

问题:

我应该将所有这些存储在一个Elasticsearch集群上，并使用搜索过滤掉不同的情况，还是应该为每个情况创建一个单独的实例，并根据角色明确定义它们。

(我希望使用单个数据湖)

Answer 1

用于记录用例:

，您可以将所有日志存储在文件系统共享中，然后再将其吸收到任何搜索解决方案中，以便可以在需要时重新输入

存储后，可以将它们摄取到一个具有不同索引的群集中，也可以将其摄取到多个群集中，这是其开放选择，但是它取决于

的数据量

如果每个节点的大小和计算结果证明一个独立的ES集群是合理的，则可以这样做，否则，请使用一个具有故障转移集群的单个集群

有关指标:

您可以将它们直接摄取到具有不同索引模式的一个群集中

如果大小和计算需求恰到好处，请分别创建群集

如有必要，创建故障转移/备份群集

在这两种情况下，您都将需要存储集群快照。

我个人建议使用ELK记录用例，而Promethous用作度量。

报告/分析:

对于每月和每年的报告/分析这样的用例，日志数据将非常庞大，您需要将文件共享中的数据提取到hadoop中以进行汇总/基于某些字段汇总，然后再提取将减少的数据转换为ELK可以将大小减少1000倍，并减少计算需求。