elasticsearch - 如何使用fluentd(td-agent.cong)在elasticsearch中创建多个索引

Question

我正在设置 EFK 堆栈。在 Kibana 中，我想代表一个应用程序索引和一个系统日志索引。

我正在使用 fluentd 进行日志转发。

系统日志 -->/var/log/messages 和/var/log/secure

应用程序 -->/var/log/application.log

什么是 td-agent.cong 创建两个索引请帮助

感谢您

Answer 1

如果您正在使用 ElasticSearch 输出插件并希望使用 kibana，您可以通过更改 来配置您的索引名称。 logstash_prefix 属性。

阅读文档:elasticsearch output plugin documentation

我在 fluentd.conf 文件之后添加了这个来演示您的用例。
在这个文件中，我有 2 个匹配项:
1. “警报” - 将所有带有“alert”(FluentLogger.getLogger(“alert”))的日志通过管道传输到 elasticsearch 中的“alert”索引。

默认匹配 - 将使用“fluentd”索引(这是该插件的默认索引)将所有日志通过管道传输到 elasticsearch。

fluentd/conf/fluent.conf

@type 转发
端口 24224
绑定(bind) 0.0.0.0

<match alert.**>
  @type copy
  <store>
    @type elasticsearch
    host elasticsearch
    port 9200
    logstash_format true
    logstash_prefix alert
    logstash_dateformat %Y%m%d
    type_name access_log
    tag_key @log_name
    flush_interval 1s
  </store>
  <store>
    @type stdout
  </store>
</match>


<match *.**>
  @type copy
  <store>
    @type elasticsearch
    host elasticsearch
    port 9200
    logstash_format true
    logstash_prefix fluentd
    logstash_dateformat %Y%m%d
    include_tag_key true
    type_name access_log
    tag_key @log_name
    flush_interval 1s
  </store>
  <store>
    @type stdout
  </store>
</match>