amazon-web-services - 将日志从特定 Pod 发送到外部服务器

Question

我们需要仅从一个 k8s pod(具有巨大流量负载的 pod)向 Splunk 服务器发送大量(非常)日志，我查看了文档并发现了这个:

https://kubernetes.io/docs/concepts/cluster-administration/logging/#sidecar-container-with-a-logging-agent

但是，文档中有一个注释，说明了大量资源消耗。还有其他选择吗？我的意思是更有效率？由于这些 Pod 处理流量，我们无法添加额外的负载，这可能会危及稳定性......

Answer 1

有一个获取 Kubernetes 日志的官方解决方案:Splunk Connect for Kubernetes。在底层，它还使用 fluidd 进行日志记录部分。

https://github.com/splunk/splunk-connect-for-kubernetes

您将首先找到一个示例配置和在 microK8s 上测试它的方法，以熟悉配置和部署:https://mattymo.io/deploying-splunk-connect-for-kubernetes-on-microk8s-with-helm/

如果您只需要来自特定容器的日志，您可以使用值文件的这一部分仅选择您感兴趣的容器中的日志:

  fluentd:
    # path of logfiles, default /var/log/containers/*.log
    path: /var/log/containers/*.log
    # paths of logfiles to exclude. object type is array as per fluentd specification:
    # https://docs.fluentd.org/input/tail#exclude_path
    exclude_path:
    #  - /var/log/containers/kube-svc-redirect*.log
    #  - /var/log/containers/tiller*.log
    #  - /var/log/containers/*_kube-system_*.log (to exclude `kube-system` namespace)