elasticsearch - Filebeat/Logstash 从输出中删除不需要的字段和值

Question

我的 Filebeat 配置很简单——

- input_type: log
  paths:
    - C:\log\FilebeatInputTest.txt

output.logstash:
  hosts: ["http://X.X.X.X:XXXX"]

如果我在 ilebeatInputTest.txt 中写一些东西，比如 - This is from Filebeat

我在 Elastic 搜索中得到的输出类似于 -.......
“索引”:“logstash-”
“资源” : {
"@timestamp": "2017-05-19T06:41:02.663Z",
“打”: {
“主机名”:“CHITTARS02”，
“名称”:“CHITTARS02”，
“版本”:“5.4.0”
},
“输入类型”:“日志”，
"message": "这是来自 Filebeat",
“偏移量”:23，
"来源": "C:\\log\\FilebeatInputTest.txt",
“类型”:“日志”
}
.....

我的管道是 Filebeat(monitoring FilebeatInputTest.txt) > Logstash > Elasticsearch

logstash.cnf如下——

input {

    beats {
        port => 25000
    }
}
output {

    elasticsearch {
        hosts => ["http://xx.xx.xx.xx:XX"]
        user => "elastic"
        password => "changeme"
    }
}

问题:我可以从输出中删除所有不需要的键和值吗？也就是说，我希望我的输出应该是这样的 -

.......
“索引”:“logstash-”
“资源” : {
"message": "这是来自 Filebeat",
}
......

我想删除 "@timestamp", "beat","input_type""offset","source","type"

我尝试了以下 -

filter{
    prune {
        blacklist_names => ["@timestamp", "beat","input_type""offset","source","type"]
    }

}

和

filter{
    mutate {
        remove_field => ["@timestamp", "beat","input_type""offset","source","type"]
    }
}

但没有帮助，结果是一样的

Answer 1

您使用的方法正确，但您的 remove_field 列表中有错字。你错过了一个逗号。应该是:

filter{
    mutate {
        remove_field => [ "@timestamp", "beat", "input_type", "offset", "source", "type" ]
    }
}