elasticsearch - kubernetes上的Filebeat-排除 namespace 不起作用

Question

我在kubernetes集群之外有一个文件拍，作为应用程序安装在主机上。我想忽略filebeat中的两个 namespace ，因为它们很大，并且在Elastichsearch中不需要它们。

这是我在filebeat.yml中的输入定义:

- type: log
  enabled: true
  paths:
    - /var/lib/docker/containers/*/*.log
  json.message_key: log
  json.keys_under_root: true
  processors:
    - add_kubernetes_metadata:
        in_cluster: false
        host: main-backend
        kube_config: /etc/kubernetes/admin.conf
    - drop_event.when.regexp:
        or:
          - kubernetes.namespace: "kube-system"
          - kubernetes.namespace: "monitoring"

但是，我仍然在我的Elasticsearch中看到来自那些命名空间的大量日志。有什么方法可以调试它为什么会发生？

Answer 1

你可以尝试以下给出的

- drop_event:
          when:
            or:
            - not:
                equals:
                  kubernetes.namespace: "kube-system"
            - not:
                equals:
                  kubernetes.namespace: "monitoring"
            - regexp:
                kubernetes.pod.name: "filebeat-*"
            - regexp:
                kubernetes.pod.name: "elasticsearch-*"