elasticsearch - Filebeat添加不需要的空白字段

Question

我的目标是使用Filebeat从不同的服务器收集日志，并使用ElasticSearch和Kibana对其进行汇总/可视化。目前，我正在将Logstash从场景中排除。
到目前为止，我已经能够将Filebeat配置为实时推送日志，并且我能够通过Kibana界面确认日志确实已推送到ElasticSearch。

问题:
问题是Filebeat(或ElasticSearch)会自动将额外的空字段/属性添加到索引。
我可以在Kibana界面上看到一些字段:

aws.cloudtrail.user_identity.session_context.creation_date
azure.auditlogs.properties.activity_datetime
azure.enqueued_time
azure.signinlogs.properties.created_at
cef.extensions.agentReceiptTime
cef.extensions.deviceCustomDate1
cef.extensions.deviceCustomDate2
cef.extensions.deviceReceiptTime
cef.extensions.endTime
cef.extensions.fileCreateTime
cef.extensions.fileModificationTime
cef.extensions.flexDate1
...

它们都是空字段。
当我使用 GET /[index]/_mapping检查该索引的映射时，可以看到大约3000个我没有真正添加的字段。我不确定如何添加这些字段以及如何删除它们。

复制:
我使用的Filebeat和ElasticSearch docker 图像:

elasticsearch:7.8.0
elastic/filebeat:7.8.0

在基本镜像之上，我将基本配置文件简单化为:

# filebeat.yml

filebeat.inputs:
- type: log
  paths:
    - /path_to/my_log_file/metrics.log

output.elasticsearch:
  hosts: ["http://192.168.0.1:9200"]

# elasticsearch.yml

cluster.name: "docker-cluster"
network.host: 0.0.0.0

node.name: node-1

discovery.seed_hosts: ["127.0.0.1"]

cluster.initial_master_nodes: ["node-1"]

典型的日志消息如下所示:

2020-07-01 08:40:07,432 - CPUUtilization.Percent:50.0|#Level:Host|#hostname:a78f2ab3da65,timestamp:1593592807
2020-07-01 08:40:07,437 - DiskAvailable.Gigabytes:43.607460021972656|#Level:Host|#hostname:a78f2ab3da65,timestamp:1593592807

谢谢

Answer 1

输入Elastic Common Schema(ECS)，即godsend!
Filebeat启动时，它将安装具有通用模式中所有ECS字段的索引模板，这就是为什么您在索引映射中看到这么多字段的原因，但这并不是真正的问题。
然后，在Kibana界面上，在“表” View (“发现”选项卡)上看到所有那些“空”字段。但是，如果切换到JSON View ，则会看到这些字段实际上不在文档内部。 Filebeat不会将它们添加到您的文档中。之所以在“表格” View 中看到它们，是因为Kibana正在请求它们(使用docvalue_fields)。只需单击“检查”，然后查看Kibana发送给Elasticsearch的请求。
因此，真的没有什么可担心的。
来到您的实际消息中，如果您要解析CPUUtilization.Percent:50.0，则可以将其实际存储到名为"system.cpu.total.pct": 50的标准ECS字段中，并且可以在Kibana的Metrics应用程序中看到这些值随时间变化。 DiskAvailable.Gigabytes:43.607460021972656也一样