logging - 如何为 Apache Kafka 代理启用 GC 日志记录，同时防止日志文件覆盖并限制磁盘空间使用

Question

我们最近决定在多个集群(具体版本有所不同)上为 Apache Kafka 代理启用 GC 日志记录，以帮助调查与 Kafka 相关的内存和垃圾收集问题。我们希望为正在运行的代理(而不是诸如“kafka-topics.sh”之类的 Kafka 操作)执行此操作。我们还希望避免我们知道可能发生的两个问题:

• 代理因任何原因重新启动时会覆盖日志文件
• 日志使用过多的磁盘空间，导致磁盘被填满(如果集群运行足够长的时间，日志文件将填满磁盘，除非进行管理)

当进程的 Java GC 日志记录启动时，它似乎会替换任何同名文件的内容。这意味着，除非您小心，否则您将丢失 GC 日志记录，也许当您更有可能需要它时。

设置环境变量GC_LOG_ENABLED在运行 kafka-server-start.sh 之前设置为“true”会启用 GC 日志记录，但不能解决上述两个问题。这添加了这些固定参数集:-Xloggc:<gc-log-file-loc> -verbose:gc -XX:+PrintGCDetails -XX:+PrintGCDateStamps -XX:+PrintGCTimeStamps哪里gc-log-file-loc与使用“-gc.log”而不是“.out”的 .out 文件位于同一目录和名称中。

Answer 1

您可以设置KAFKA_GC_LOG_OPTS在运行 kafka-server-start.sh 之前使用以下特定 JVM 参数。这是有效的，因为 kafka-run-class.sh 特别在 JVM 选项中包含该环境变量的内容，但前提是它被传递 -loggc在其命令行上； kafka-server-start.sh 确实通过了这个。

如果您通过 Apache Ambari 启动 Kafka，则需要设置 KAFKA_GC_LOG_OPTS在 Kafka 服务 > 配置 > 高级 kafka-env > kafka-env 模板中。如果你在这里设置它，它似乎只会用于 kafka-server-start.sh 。其他脚本当前未通过-loggc到 kafka-run-class.sh。

现在让我们讨论 KAFKA_GC_LOG_OPTS 中包含的 JVM 参数.

要启用 GC 日志记录到文件，您需要添加 -verbose:gc -Xloggc:<log-file-location> .

您需要特别考虑日志文件名，以防止在代理重新启动时被覆盖。似乎每次调用都需要有一个唯一的名称，因此附加时间戳似乎是最好的选择。您可以添加类似“date +'%Y%m%d%H%M'”之类的内容来添加时间戳。在本例中，它的形式为YYYYMMDDHHMM。在某些版本的 Java 中，您可以将“%t”放入日志文件位置，它将被格式为 YYYY-MM-DD_HH-MM-SS 的代理启动时间戳替换。

现在开始管理磁盘空间的使用。如果有比我现有的方法更简单的方法，我会很高兴。

首先，利用 Java 内置的 GC 日志文件轮换。 -XX:+UseGCLogFileRotation -XX:NumberOfGCLogFiles=10 -XX:GCLogFileSize=100M是启用此轮换的一个示例，最多有 10 个来自 JVM 的 GC 日志文件，每个文件的大小不超过 100MB。 10 x 100MB 是最大使用量 1000MB。

通过最多 10 个文件的 GC 日志文件轮换，“.0”、“.1”、...“.9”将添加到您在 Xloggc 中指定的文件名中。 .0 将是第一个，在达到 .9 后，它将取代 .0 并以循环方式继续。在某些版本的 Java 中，“.current”会额外添加到当前正在写入的日志文件名称的末尾。

由于独特的文件命名，我们显然必须避免覆盖，每个代理进程调用可以有 1000MB，因此这不是管理 Kafka 代理 GC 使用的磁盘空间的完整解决方案日志。您最终将为每个代理提供一组最多 10 个 GC 日志文件——随着时间的推移，这个文件会不断增加。最好的解决方案(在 *nix 下)似乎是使用 logrotate 实用程序(或其他一些实用程序)来定期清理过去 N 天内未修改的代理 GC 日志。

请务必进行计算并确保您有足够的磁盘空间。

人们经常希望在 GC 日志中获得比默认值更多的详细信息和上下文，因此请考虑添加 -XX:+PrintGCDetails -XX:+PrintGCTimeStamps -XX:+PrintGCDateStamps就像 GC_LOG_ENABLED=true 所做的那样.

Putting all end parameters together into KAFKA_GC_LOG_OPTS and starting a broker you might have:
TIMESTAMP=`date +'%Y%m%d%H%M'`
# GC log location/name prior to .n addition by log rotation
GC_LOG_NAME="{{kafka_log_dir}}/kafka-broker-gc.log-$TIMESTAMP"

GC_LOG_ENABLE_OPTS="-verbose:gc -Xloggc:$GC_LOG_NAME"
GC_LOG_ROTATION_OPTS="-XX:+UseGCLogFileRotation -XX:NumberOfGCLogFiles=10 -XX:GCLogFileSize=100M"
GC_LOG_FORMAT_OPTS="-XX:+PrintGCDetails -XX:+PrintGCTimeStamps -XX:+PrintGCDateStamps"

export KAFKA_GC_LOG_OPTS="$GC_LOG_ENABLE_OPTS $GC_LOG_ROTATION_OPTS $GC_LOG_FORMAT_OPTS"
./kafka-server-start.sh server.properties

在命令行中，替换 {{kafka_log_dir}}与 Kafka 日志目录的位置或 GC 日志想要存放的位置。您也可以更改日志文件命名。

在 Ambari 下，您可以将这些行(但不运行 kafka-server-start.sh)添加到 Ambari UI 中的“kafka-env template”字段。 {{kafka_log_dir}}将自动替换为该字段上方定义的 Kafka 日志目录。您需要重新启动代理才能启动代理日志记录(考虑进行滚动升级)。