java - 使用 Java API 定期获取 Kafka Producer 指标

Question

我知道 Kafka API 中可用于生产者指标的 metric() 方法。实际上，我正在尝试通过以下方式定期获取 10k 记录、100k 等记录的指标:

我正在 Intellij IDE 中运行我的生成器，它将生成大约一百万条记录。我尝试通过以下方式打印指标:

for (Entry<MetricName, ? extends Metric> entry : producer.metrics().entrySet()) {
    System.out.println(entry.getKey().name() + " : " + entry.getValue().metricValue());
}

但是这个方法返回的是生产者的整体指标。

如何使用 metrics() 获取特定间隔的request-rate 和 request-total 生产者指标？

Answer 1

您必须按照所需的时间间隔明确检查这些指标的值。

类似(简化逻辑):

Producer<String, String> producer = new KafkaProducer<>(configs);

// Find the metrics you are interested in
Metric requestTotalMetric = null;
for (Entry<MetricName, ? extends Metric> entry : producer.metrics().entrySet()) {
    if ("request-total".equals(entry.getKey().name())) {
        requestTotalMetric = entry.getValue();
    }
}

for (int i = 0; i < 1000000000; i++) {
    producer.send(new ProducerRecord<String, String>("topic", "record"));
    // Get metric value at desired interval
    if (i % 100000 == 0) {
        System.out.println(i + " : " + requestTotalMetric.metricValue());
    }
}