elasticsearch - 未正确加载 Kubernetes 上带有 filebeat 的 nginx 模块的模板字段映射

Question

我正在使用 k8s list 在 kubernetes 中部署 filebeat:https://raw.githubusercontent.com/elastic/beats/7.5/deploy/kubernetes/filebeat-kubernetes.yaml

filebeat 模板加载到 elasticsearch 中，但 nginx 模块的映射不完整:

"nginx" : {
  "properties" : {
    "access" : {
      "properties" : {
        "geoip" : {
          "type" : "object"
        },
        "user_agent" : {
          "type" : "object"
        }
      }
    },
    "error" : {
      "properties" : {
        "connection_id" : {
          "type" : "long"
        }
      }
    }
  }
},

在 fields.yaml 中定义的大多数 nginx 属性都是别名，并且没有定义为别名的属性进入 filebeat 模板。

作为 filebeat 配置的一部分，我有什么遗漏吗？

我还尝试了我的自定义 fields.yaml，我用它们的具体定义替换了别名，并且 elasticsearh 加载的映射看起来不错。

Answer 1

正如 Elastic 的 Marcin Tojek 在 Elastic 社区线程“Filebeat Filebeat versions from 7.0 - 7.8 fail to create alias field mappings for majority of modules”中指出的那样，Beats 平台引用 7.8，升级一章，部分 Upgrade from 6.x to 7.x声明如下:

Starting with 7.0, the fields exported by Beats conform to the Elastic Common Schema (ECS). Many of the exported fields have been renamed. See Breaking changes in 7.0 for the full list of changed names.

To help you transition to the new fields, we provide a compatibility layer in the form of ECS-compatible field aliases. To use the aliases, set the following option in the Beat’s configuration file before you upgrade the Elasticsearch index template to 7.0.

migration.6_to_7.enabled: trueThe field aliases let you use 6.x dashboards and visualizations with indices created by Beats 7.0 or later. The aliases do not work with saved searches or with API calls that manipulate documents directly.

请注意，截至 2020 年 7 月 29 日，Filebeats 引用 7.8 章节 Exported fields提到这一点，Filebeat 模块的部分也没有提到，它仍然列出了所有在全新安装时默认不再创建的别名，除非明确启用“ migration.6_to_7.enabled: true”。