java - Filebeat 与直接从应用程序将日志推送到 Logstash

Question

我计划为我们的一个项目构建一个集中式日志系统，该项目有多个用 Java、Python 和 Scala 编写的组件。我想从不同部分(REST 服务器、Spark 作业、Airflow 服务器)收集日志以记录到 Elastic 搜索中并建立索引。我可以看到 Python 中都有直接库& Java日志模块将日志从应用程序直接推送到logstash。我可以看到 filebeat 可以在服务器上配置，将日志从文件推送到logstash。使用 filebeat 比直接将日志发送到 Logstash 有什么优势？最佳实践是什么？

Answer 1

以下是这两种方法的一些优点和缺点:

应用程序日志 => Logstash

优点:

• 需要管理的组件较少​​，且流程简单

缺点:

• Logstash 拥堵或中断可能会对您的应用程序产生不利影响
• 更改日志目标可能需要您重新部署或重新启动应用程序

应用程序日志 => Filebeat => Logstash

优点:

• Filebeat 是一个轻量级实用程序，可让您将日志处理与应用程序逻辑解耦
• 更改日志目标非常简单，并且它本身支持多个 Logstash 目标实例之间的负载平衡
• 可以使用其他字段来丰富日志，或者您可以仅通过更改 filebeat 配置来执行日志的条件处理，例如将客户 A 的日志发送到 Logstash A
• 日志在本地缓冲，即使logstash进程重新启动或在一定时间内不可用，日志也会可靠地传输到Logstash(前提是您的日志文件保留在磁盘上以供filebeat使用并且具有适当的配置)<

缺点:

• 应用架构中需要管理的另一个组件
• 需要额外的系统资源(通常进行非常轻量级的处理)