java - 如何从单个 Docker 容器中捕获多个日志流？

Question

假设我在 Docker 中部署了一个 Java Web 应用程序，其中有几个组件在容器中生成日志:

Web 应用程序本身，登录到 STDOUT和 STDERR

应用服务器，登录到 server.log

JVM，将 GC 事件记录到 gc.log

其他，例如底层 Linux 操作系统

应用程序日志被路由到 Splunk，但我们应该如何检索其他组件的日志？

似乎至少有两种选择:

将所有内容记录到 STDOUT .不理想，因为这会混合日志并产生更难以分离的输出，因为不同的组件会产生不同格式的日志。

为除主进程之外的每个进程使用边车容器，并让这些边车从例如server.log和 gc.log , 并将它们传送到 STDOUT .更好，但这会对磁盘使用产生重大影响。

有更好的解决方案吗？

Answer 1

TLDR；不要混合日志流，使用 sidecar 是更好的解决方案，并且对磁盘使用没有“重大影响”。使用 sidecar 将日志重定向到标准输出，并依靠容器生态系统读取单个容器日志的能力。
注意:带有日志重定向逻辑的 Sidecar 没有显着的开销。我引用 Kubernetes documentation支持这一点 - “重定向日志背后的逻辑是最小的，所以它几乎不是一个显着的开销”

关键是不要混淆日志流，因为稍后将单个流与混合日志流分开可能很乏味，如果不是不可能的话(像异常堆栈跟踪这样的日志事件跨越多行)。例如，如果您混合了日志流，要分析 GC，您需要单独分离出 GC 日志事件，然后再将其输入您选择的工具。
解决方法是使用 side-car pattern ，详细示例here
关注 Single Responsibility Principle .让每个边车尾随一个日志文件并将其流式传输到标准输出。为了实现这一点，所有的 sidecars 都应该可以访问 webapp 容器的日志卷挂载(例如/var/log)，并且 webapp 应该将其所有日志写入共享卷挂载。
webapp 会将自己的日志写入标准输出(例如通过 LogBack 或 Log4j 的 ConsoleAppender)和共享卷挂载下的任何其他附加日志文件(例如/var/log)。例如，对于 GC 日志，设置 JVM 参数，以使日志在共享卷挂载下生成，-Xloggc:/var/log/mywebapp/gc.log .
对于每个额外的日志文件，您需要一个边车拖尾(重定向)日志到标准输出。因此，在您的情况下，您需要三个边车，一个用于 gc.log，一个用于 server.log，另一个用于/var/log/syslog
下面给出了一个示例 Sidecar 容器定义摘录。

  - name: count-log-1
    image: busybox
    args: [/bin/sh, -c, 'tail -n+1 -f /var/log/mywebapp/gc.log']
    volumeMounts:
    - name: varlog
      mountPath: /var/log

上面的示例显示了一个从/var/log 共享卷挂载到标准输出的单边车定义重定向/拖尾日志文件。此示例复制自 this Kubernetes documentation .