elasticsearch - 多个配置文件导致重复消息

Question

我有一台在 AWS 中运行的 Logstash 机器。在 Logstash 中，我有 3 个配置文件，每个配置文件都定义了 1 个输入。这些输入正在从以下来源读取日志

来自 s3

来自http输入

来自文件节拍

问题是我在 Kibana 中收到重复的消息。因此，对于 Filebeat 生成的 1 条消息，我在 Kibana 中看到了 3 条消息。我试图删除 1 个配置文件，但数量减少到 2。所以我很确定这是由于这些配置文件造成的。

令我困惑的是为什么会这样。我在所有 3 个配置文件上定义了单独的输入，但仍然收到重复的消息。这些是所有 3 个配置文件的输入部分。

s3输入

input {
  s3 {
     bucket => "elb-logs"
     region => "us-east-1"
     prefix => "demo/AWSLogs/792177735214/"
     type   => "elb-logs"
     delete => true
  }

}

Http输入

input {
  http {
     type   => "frontend-logs"
     codec  => "json"
  }
}

文件节拍

input {
  beats {
    port => "5043"
  }
}

对于所有 3 个配置文件，都有一个共同的输出部分，即

output {
    elasticsearch { hosts => [ "10.0.0.1:9200" ] }
}

Answer 1

Logstash 会将三个配置文件连接在一起(s3 输入、Http 输入、Filebeat)并查看三个输出部分。

三个输出部分与特定的输入无关——相反，Logstash 会将输入从三个源中的任何一个发送到所有配置的输出。结果，您的消息将被输出三次到同一个目的地。

我将创建一个单独的单一输出配置文件，并从您的 3 个输入配置文件中删除输出部分。