elasticsearch - 如何让filebeat忽略某些容器日志

Question

我在 Kubernetes 集群中使用 elasticserach 6.8 和 filebeat 6.8.0。我希望 filebeat 忽略某些容器日志，但这似乎几乎不可能:)。

这是我的自动发现配置

filebeat.autodiscover:
  providers:
   - type: kubernetes
     hints.enabled: true
     templates:
      - condition:
        contains:
          kubernetes.namespace: bagmessage
        config:
         - type: docker
           containers.ids:
             - "${data.kubernetes.container.id}"
           processors:
             - drop_event:
                 when:
                   or: 
                     - contains:
                         kubernetes.container.name: "filebeat"
                     - contains:
                         kubernetes.container.name: "weave-npc"
                     - contains:
                         kubernetes.container.name: "bag-fluentd-es"
                     - contains:
                         kubernetes.container.name: "logstash"
                     - contains:
                         kubernetes.container.name: "billing"

我已经尝试了这种配置的许多变体，但 filebeats 仍在处理我希望它忽略的容器日志。

我想知道我想做的事情是否可行，如果可行，我做错了什么？

谢谢

Answer 1

我在您的配置中看到的第一个错误是 condition 的缩进不正确template 中的部分.应该:

   - type: kubernetes
     hints.enabled: true
     templates:
       - condition:
           contains:
             kubernetes.namespace: bagmessage

其次，我不确定 kubernetes.*配置中的处理器可以看到 type: docker .您可以尝试引用 docker.container.name反而。或者，您可以将所有 k8s 特定条件移至 condition栏目下 templates :

filebeat.autodiscover:
  providers:
    - type: kubernetes
      hints.enabled: true
      templates:
        - condition:
            and:
              - contains.kubernetes.namespace: bagmessage
              - contains.container.name: billing
          config:
              ...

另外，请确保“container.name”(但不是“pod.name”)确实是您想要的。