elasticsearch - ELK堆栈中的Logstash和Filebeat

Question

我们正在服务器上设置elasticsearch，kibana，logstash和filebeat，以分析来自许多应用程序的日志文件。由于某些原因*，每个应用程序日志文件最终都位于ELK服务器上的单独目录中。我们大约有20个日志文件。

据我了解，我们可以为每个运行logstash管道配置文件
应用程序日志文件。那将是一个运行logstash的实例
有20条并行的管道，每个管道将需要自己的管道
击败港口。请确认这是正确的吗？

我们可以运行一个filebeat实例吗，还是每个实例都需要一个
管道/日志文件？

这种体系结构还可以吗？您是否看到主要的缺点？

谢谢!

*有不同的供应商负责不同的应用程序，它们在许多不同的操作系统上运行，并且其中许多将不会或无法安装文件信号。

Answer 1

We do not recommend reading log files from network volumes. Whenever possible, install Filebeat on the host machine and send the log files directly from there. Reading files from network volumes (especially on Windows) can have unexpected side effects. For example, changed file identifiers may result in Filebeat reading a log file from scratch again.

Reference

We always recommend installing Filebeat on the remote servers. Using shared folders is not supported. The typical setup is that you have a Logstash + Elasticsearch + Kibana in a central place (one or multiple servers) and Filebeat installed on the remote machines from where you are collecting data.

Reference

对于一个正在运行的filebeat实例，您可以通过定义多个输入部分来将不同的配置设置应用于不同的文件，如下例 check here for more

filebeat.inputs:

- type: log

  enabled: true
  paths:
    - 'C:\App01_Logs\log.txt'
  tags: ["App01"]
  fields: 
    app_name: App01

- type: log
  enabled: true
  paths:
    - 'C:\App02_Logs\log.txt'
  tags: ["App02"]
  fields: 
    app_name: App02

- type: log
  enabled: true
  paths:
    - 'C:\App03_Logs\log.txt'
  tags: ["App03"]
  fields: 
    app_name: App03

您可以在过滤器中使用if语句创建一个logstash管道

filter {

    if [fields][app_name] == "App01" {

      grok { }

    } else if [fields][app_name] == "App02" {

      grok { }

    } else {

      grok { }

    }
}

当我们从filebeat发送时，条件也可以是 if "App02" in [tags]或 if [source]=="C:\App01_Logs\log.txt"