apache-kafka - 如果生产者端 ack 延迟非常高，应该监控哪些 Kafka 代理指标

Question

如果生产者端的确认延迟非常高，我们是否可以使用一些代理指标来监控 Kafka 代理。

我们正在使用 datadog 来监控生产者和 Kafka 代理端。可以看出生产者的ack滞后超过10秒。但是，在broker方面，我觉得只用message.in.rate和 kafka.net.bytes_in.rate效率不高。最好我们可以在代理端设置一些 LAG 指标来指示 the broker is fully loaded to acknowledge back the producer.
另外，我们只使用 kafka.acks = 1为分区领导。

我想知道是否有人对此有一些经验，欢迎提供任何建议。 :) 提前致谢。

Answer 1

我猜你在谈论“指标”而不是矩阵!

在 Producer 上，您有 kafka.producer:type=producer-metrics,client-id="{client-id}" .该指标有两个有趣的属性:

request-latency-avg:以毫秒为单位的平均请求延迟

request-latency-max:以毫秒为单位的最大请求延迟

在经纪人方面，您需要检查一些指标来调查您的问题:

消息转换时间:如果生产者使用比代理更旧的消息格式，则会发生向下转换。 kafka.network:type=RequestMetrics,name=MessageConversionsTimeMs,request=Produce

请求总时间:Kafka 处理请求所花费的总时间。 kafka.network:type=RequestMetrics,name=TotalTimeMs,request=Produce
如果这很高，您可以检查分割指标:

请求在请求队列中等待的时间:kafka.network:type=RequestMetrics,name=RequestQueueTimeMs,request=Produce

在leader处理请求的时间:kafka.network:type=RequestMetrics,name=LocalTimeMs,request=Produce

请求在响应队列中等待的时间:kafka.network:type=RequestMetrics,name=ResponseQueueTimeMs,request={Produce|FetchConsumer|FetchFollower}

发送响应的时间:kafka.network:type=RequestMetrics,name=ResponseSendTimeMs,request=Produce

这些都列在 Kafka 文档的推荐监控列表中: http://kafka.apache.org/documentation/#monitoring