apache-kafka - 监控 Kafka 集群、生产者和消费者

Question

我是 Kafka 的新手，我有三个节点的 Kafka 集群，有多个消费者和生产者。我想根据三个参数监控 Kafka 集群:

1.Topic wise monitoring - to get incoming rate of topic , lag in a topic, number of active consumers attached with the topic, number of partitions
2.Consumer based monitoring - the topic from which it is consuming,consumption speed. a number of messages consumed.
3.Message-Based Monitoring - topic name in which message is produced,and status of message i.e whether it's processed or pending.

我已经尝试过各种监控工具，例如 (KafkaOffsetMonitor,Burrow)，但没有一个与我的用例相匹配。那么有人可以建议如何设置这种监控系统吗？是否有可用的 API，我可以通过它们获得上述信息-提到的细节

Answer 1

您可以启动 JConsole 并监控配置了 JMX 的整个 Kafka 集群。参见 https://kafka.apache.org/documentation#monitoring了解详情。