用于日志文件聚合的 Logstash 与 Rsyslog

Question

我正在研究从我们的 CentOs 6.x 服务器集中日志文件聚合的解决方案。在安装 Elasticsearch/Logstash/Kibana (ELK) 堆栈后，我遇到了一个 Rsyslog omelasticsearch 插件，它可以将消息从 Rsyslog 以 logstash 格式发送到 Elasticsearch，并开始问自己为什么我需要 Logstash。

Logstash 有许多不同的输入插件，包括接受 Rsyslog 消息的插件。在我需要从多个服务器收集日志文件内容的用例中，是否有理由使用 Logstash？另外，将消息从 Rsyslog 发送到 Logstash 而不是直接发送到 Elasticsearch 是否有好处？

Answer 1

如果我需要一些 rsyslog 没有的东西，我会在中间使用 Logstash。例如，从 IP 地址获取 GeoIP。

另一方面，如果我需要在 Elasticsearch 中索引系统日志或文件内容，我会直接使用 rsyslog。它可以进行缓冲(磁盘+内存)、过滤，您可以选择文档的外观(例如，您可以输入文本严重性而不是数字)，并且可以解析非结构化数据。但主要优势是性能，rsyslog 专注于性能。这是一个关于 Logstash、rsyslog 和 Elasticsearch 的演示文稿，其中包含一些数字(以及提示和技巧):
http://blog.sematext.com/2015/05/18/tuning-elasticsearch-indexing-pipeline-for-logs/