apache-kafka - Kafka Connect 的 jmx_prometheus_javaagent 配置？

Question

Prometheus jmx_exporter项目在这里给出了Kafka的官方示例配置:

https://github.com/prometheus/jmx_exporter/blob/master/example_configs/kafka-0-8-2.yml

Kafka Connect 是否有类似的配置将 Kafka Connect JMX 指标导出到 Prometheus？

Answer 1

我目前使用的解决方案是官方的 Confluent Helm Charts 和 Docker 镜像，它内置了 Prometheus 指标导出:

https://github.com/confluentinc/cp-helm-charts/tree/master/charts/cp-kafka-connect

作为引用，如果您想要一个非 Docker、非 Kubernetes 的解决方案，以前 100% 有效的方法如下:

1) 定义这个文件kafka-connect-jmx.yaml。我将此配置文件存储在 /usr/share/ 中，您可以将其放在其他位置，但您需要更改下面的路径引用。

whitelistObjectNames: ["kafka.connect:*"]
lowercaseOutputName: false
lowercaseOutputLabelNames: false

rules:
  - pattern: 'status: running'
    value: 1
  - pattern: 'status: *'
    value: 0
  - pattern: ".*"

2) 下载https://repo1.maven.org/maven2/io/prometheus/jmx/jmx_prometheus_javaagent/0.12.0/jmx_prometheus_javaagent-0.12.0.jar。我放在/usr/share/里，你也可以放在别的地方，但是需要在第3步更新路径。

3) 当您运行 Kafka Connect connect-distributed 时，请确保已设置此环境变量并且路径与步骤 1+2 中使用的路径相匹配

KAFKA_OPTS=-javaagent:/usr/share/jmx_prometheus_javaagent-0.12.0.jar=7072:/usr/share/kafka-connect-jmx.yaml