elasticsearch - Filebeat:将不同的日志从Filebeat发送到不同的Logstash管道

Question

我想要一个filebeat实例可以将数据发送到不同的logstash管道的功能。

这可能吗？

我已经配置了一个logtash服务，它具有两个管道
管道给出了单独的端口。
假设管道1(端口5044)，管道2(端口5045)

现在我想使用filebeat将数据发送到logstash。所以我有
两种日志文件类型分别为log1，log2。

我想将log1发送到Pipeline1，将log2发送到Pipeline 2。

我只运行filebeat的一个实例，我该怎么做？

Answer 1

Filebeat只能有一个输出，您将需要运行另一个filebeat实例或更改您的logstash管道以仅侦听一个端口，然后基于标记过滤数据，根据Logstash进行过滤比拥有两个实例更容易。

在Filebeat中，您可以为每个输入指定一个标签，并在logstash中使用这些标签将日志发送到所需的管道。

例如，标记为log1的事件将发送到pipeline1，标记为log2的事件将发送到pipeline2。

您的配置需要在Filebeat中是这样的:

- type: log
  enabled: true
  paths:
    - "/path/to/your/logs/*.json"
  tags: ["logN"]

然后，您需要在logstash过滤器中有条件，并输出到所需的每个标签:

filter {
    if "logN" in [tags] {
        filters
    }
}
output {
    if "logN" in [tags] {
        output
    }
}