elasticsearch - 使用Logstash “%{[source]}”仅显示Elasticsearch Index的文件名

Question

我想使用源文件中的文件名作为我的Elasticsearch条目的索引，因为我们将有多个使用FileBeats和LogStash登录到Elasticsearch的不同日志文件。

目前我有:

input
{
  beats {
    port => 5044
  }
}

filter {
    json {
    source => "message"
    }   
}

output {
    elasticsearch {
        hosts => "localhost:9200"
        manage_template => false
        index => "%{[source]}"
        document_type => "%{[@metadata][type]}"
        user => ***
        password => ***
    }
}

这为我提供了“C:\ logs \ test-20170518.json”。我想将 test-20170518 用作索引。可以使用来源完成此操作吗？

Answer 1

您可以为此使用grok过滤器插件。试试这个

input
{
  beats {
    port => 5044
  }
}

filter {
    json {
        source => "message"
    }  
    grok {
        match => [
            "source",
            "C:\\logs\\%{DATA:myIndex}.json"
      ]
    } 
}


output {
    elasticsearch {
        hosts => "localhost:9200"
        manage_template => false
        index => "%{[myIndex]}"
        document_type => "%{[@metadata][type]}"
        user => ***
        password => ***
    }
}