elasticsearch - ELK的规划能力需要考虑哪些因素？

Question

我是ELK堆栈的新手，正在尝试学习它。
我想了解是否计划如何将100GB /天的数据容量保留30天，以及如何计划。
数据主要是访问日志，应用程序日志，事件。
我将需要运行一些正则表达式来填充数据字段(除非对此有任何默认的定界符支持)。
我打算保留3个副本。

如果为此需要多少台服务器和哪种类型的配置，可以请人指导我吗？

首先十分感谢 。

Answer 1

我们使用集群化的Elasticsearch实例的“热-热架构”(docs)(您可以在一台服务器上运行多个!)。每个具有31克内存。

我们的“热”实例配置了3天的保留时间和一次ssd突袭。在这三天之后，数据将转移到“热” HD Raid，保留时间为(30-90天)。很好，因为使用ssds可以在kibana中搜索最新数据，因此处理速度非常快。

有时，我们在一台服务器上启动了1个Elastic Master(4g内存)和2个Elastic Clients(31g内存)。

我认为这样的机器至少应具有128g内存，1tb ssd容量，4-6tb hd容量。