kubernetes - 您如何将来自不同服务的 Fargate EKS Fluent Bit 日志发送到单独的 Cloudwatch 组？

Question

我关注了this guide在我的 EKS 集群上配置 Fluent Bit 和 Cloudwatch，但目前所有日志都转到一个日志组。我尝试遵循一个单独的教程，该教程使用 Fluent Bit 的 kubernetes 插件在到达 [OUTPUT] 配置之前标记服务。这导致了问题，因为 Fargate EKS 当前不按照 bottom of this doc 处理 Fluent Bit [INPUT] 配置。 .

有没有人遇到过这个？我想将日志拆分成单独的服务。

这是我当前的 YAML 文件。我添加了解析器和过滤器以查看是否可以获得任何其他信息以在 Cloudwatch 上使用。

kind: Namespace
apiVersion: v1
metadata:
  name: aws-observability
  labels:
    aws-observability: enabled
---
kind: ConfigMap
apiVersion: v1
metadata:
  name: aws-logging
  namespace: aws-observability
data:
  parsers.conf: |
    [PARSER]
        Name docker
        Format json
        Time_Key time
        Time_Format %Y-%m-%dT%H:%M:%S.%L
        Time_Keep On
        
  filters.conf: |
    [FILTER]
        Name kubernetes
        Match kube.*
        Kube_CA_File /var/run/secrets/kubernetes.io/serviceaccount/ca.crt
        Kube_Token_File /var/run/secrets/kubernetes.io/serviceaccount/token
        # Kube_Tag_Prefix kube.var.log.containers.
        Kube_URL https://kubernetes.default.svc:443
        Merge_Log On
        Merge_Log_Key log_processed
        Use_Kubelet true
        Buffer_Size 0
        Dummy_Meta true
  
  output.conf: |
    [OUTPUT]
        Name cloudwatch_logs
        Match   *
        region us-east-1
        log_group_name fluent-bit-cloudwatch2
        log_stream_prefix from-fluent-bit-
        auto_create_group On

Answer 1

所以我发现其实做这个很简单。

fluent bit 上的默认输入标签包含您正在登录的服务的名称，因此您实际上可以堆叠多个 [OUTPUT] block ，每个 block 使用围绕您的服务名称的通配符 .这就是我将流发送到不同日志组所要做的全部工作。这是我的 YAML 以供引用。

kind: Namespace
apiVersion: v1
metadata:
  name: aws-observability
  labels:
    aws-observability: enabled
---
kind: ConfigMap
apiVersion: v1
metadata:
  name: aws-logging
  namespace: aws-observability
data:
  output.conf: |
    [OUTPUT]
        Name cloudwatch_logs
        Match   *logger*
        region us-east-1
        log_group_name logger-fluent-bit-cloudwatch
        log_stream_prefix from-fluent-bit-
        auto_create_group On
        
    [OUTPUT]
        Name cloudwatch_logs
        Match   *alb*
        region us-east-1
        log_group_name alb-fluent-bit-cloudwatch
        log_stream_prefix from-fluent-bit-
        auto_create_group On