logstash - Logstash 设置建议

Question

我已经按照下面提到的架构实现了 logstash(在测试中)。



成分分解

Rsyslog 客户端:默认情况下，所有 Linux destros 中都安装了 syslog，我们只需要配置 rsyslog 即可将日志发送到远程服务器。

Logstash: Logstash 将从 syslog 客户端接收日志，它会
存储在 Redis 中。

Redis: Redis 将作为broker 工作，broker 是在logstash 索引之前保存agent 发送的日志数据。拥有代理将提高 logstash 服务器的性能，Redis 充当日志数据的缓冲区，直到 logstash 索引并存储它。因为它在 RAM 中，所以它太快了。

Logstash:是的，两个 logstash 实例，第一个用于 syslog 服务器，
第二个用于从redis读取数据并发送到elasticsearch。

Elasticsearch :中央日志服务器的主要目标是在一个地方收集所有日志，此外它还应该提供一些有意义的数据用于分析。就像您应该能够在指定的时间段搜索特定应用程序的所有日志数据一样。因此，我们的 logstash 服务器必须具有搜索和良好的索引功能。为此，我们将安装另一个名为 elasticsearch 的开源工具。Elasticsearch 使用一种创建索引的机制，然后搜索该索引以使其更快。它是一种文本数据的搜索引擎。

Kibana : Kibana 是一种用户友好的查看、搜索和可视化方式
您的日志数据

但我对 redis 有点困惑。使用这个场景，我将在 Logstash 服务器和一个 redis 上运行 3 个 java 进程，这将需要 Hugh ram。

问题
我可以只使用一种 logstash 和 Elasticsearch 吗？或者最好的方法是什么？

Answer 1

我实际上正在我的公司设置 logstash、redis、elasticsearch、kibana(又名 ELK 架构)。

我在虚拟机之间拆分了进程。虽然你可以把它们放在同一台机器上，但如果一台机器死了会怎样？然后，您将同时保留索引器和集群。

您还存在无法在 Elasticsearch 上正确复制分片的问题。由于您只有一台服务器，因此不会复制分片，并且您的集群健康状况将始终为黄色。您需要添加足够的服务器以避免 split-brain scenario .

为什么要保留Redis？

由于 Redis 可以与多个 logstash 索引器通信，一个关键点是这使得索引对您的托运人透明，因为如果一个索引器出现故障，备用索引器将承担负载。这使您的设置具有高可用性。

这不仅仅是运送日志以及将它们编入索引和可搜索的问题。虽然您的设置可能会在非常小的、罕见的情况下工作，但人们使用 ELK 设置所做的事情是数百台服务器，甚至数千台服务器，因此 ELK 架构旨在扩展。所有这些服务器还需要由称为 Puppet 的东西进行远程管理。

最后，如果您还没有阅读，我建议您阅读 James Turnbull 的 The Logstash Book。

以下是一些迄今为止对我有帮助的推荐书籍:

Pro Puppet，第二版

Elasticsearch Cookbook，第二版

Redis 手册

Redis 在行动

掌握 Elasticsearch

Elasticsearch 服务器

Elasticsearch:权威指南

人偶类型和提供者

人偶3食谱