elasticsearch - Fluentbit Kubernetes - 如何从现有日志中提取字段

Question

我已经在我的 Kubernetes 集群上使用 Fluent-bit 配置了 EFK 堆栈。我可以在 Kibana 中看到日志。

我也部署了nginx pod，我也可以在Kibana中看到这个nginx pod的日志。但是所有日志数据都发送到单个字段“日志”，如下所示。

如何将每个字段提取到一个单独的字段中。这个问题已经有一个流利的解决方案。 Kibana - How to extract fields from existing Kubernetes logs

但是我怎样才能用 fluent-bit 达到同样的效果呢？

我已经通过在 Kubernetes 的默认 FILTER 部分下添加一个 FILTER 部分来尝试下面的操作，但它没有用。

[FILTER]
    Name                parser
    Match               kube.*
    Key_name            log
    Parser              nginx

从这里(https://github.com/fluent/fluent-bit/issues/723)，我可以看出没有对 fluent-bit 的 grok 支持。

Answer 1

在我们关于 Kubernetes 过滤器的官方文档中，我们有一个示例，说明如何让您的 Pod 根据注释为您的数据建议解析器:

https://docs.fluentbit.io/manual/filter/kubernetes