kubernetes - 自定义 Fluentd 日志记录

Question

我正在从在 Docker Swarm 集群上运行我的容器迁移到在 Google Container Engine 上运行的 Kubernetes。在 Docker Swarm 上运行时，我配置了 Docker Engine 的日志记录驱动程序 (https://docs.docker.com/engine/admin/logging/overview/) 以将 Fluentd 格式的日志转发到运行在 Docker Swarm 节点上的 Fluentd 容器，该容器具有自定义配置，然后将 Docker 日志转发到Elasticsearch 集群(运行 Kibana)，以及一个 AWS S3 存储桶。如何将其移植到我的 Kubernetes 节点？

我读到我可以使用守护进程集 (https://kubernetes.io/docs/concepts/workloads/controllers/daemonset/) 在每个节点上运行我的 Fluentd 容器，但是我找不到任何关于配置 Docker 引擎日志驱动程序以将 Docker 日志转发到 Fluentd 容器的文档，此外, 以我需要的格式格式化日志。

Answer 1

我们使用了另一种解决方案，我们将 fluentd 作为 daemonset 运行，但是 docker 将日志写入日志并 fluentd 使用 systemd 插件访问它们。 https://github.com/reevoo/fluent-plugin-systemd .我们还使用 fabric8 kubernet 元数据插件 - https://github.com/fabric8io/fluent-plugin-kubernetes_metadata_filter另一种方法是使用类型 tail 和/var/log/containers/*.log 作为路径。查看 kubernetes_metadata_filter 中有一些示例。