apache-kafka - 来自kafka的元数据信息

Question

我是 Confluent/Kafka 的新手，我想从 kafka 中查找元数据信息

我想知道

生产商名单

主题列表

主题的架构信息

汇合版本是 5.0

可以提供此信息的类(方法)是什么？
是否有任何相同的 Rest API
Zookeeper 连接也是获取此信息所必需的。

Answer 1

1) 我不认为 Kafka 代理知道生产者在主题中产生消息，因此没有用于列出它们的命令行工具。但是，对此 SO question 的答案建议您可以通过查看 MBeans over JMX 来列出生产者。

2)为了列出您需要运行的主题:

kafka-topics --zookeeper localhost:2181 --list

否则，如果您想使用 Java 客户端列出主题，您可以调用 listTopics() KafkaConsumer的方法.

您还可以通过 ZooKeeper 获取主题列表

ZkClient zkClient = new ZkClient("zkHost:zkPort");
List<String> topics = JavaConversions.asJavaList(ZkUtils.getAllTopics(zkClient));

3) 要获取主题的架构信息，您可以使用 Schema Registry API

特别是，您可以通过调用获取所有主题:

GET /subjects HTTP/1.1
Host: schemaregistry.example.com
Accept: application/vnd.schemaregistry.v1+json, application/vnd.schemaregistry+json, application/json

它应该给出类似于以下的响应:

HTTP/1.1 200 OK
Content-Type: application/vnd.schemaregistry.v1+json

["subject1", "subject2"]

然后，您可以获得特定主题的所有版本:

GET /subjects/subject-name/versions HTTP/1.1
Host: schemaregistry.example.com
Accept: application/vnd.schemaregistry.v1+json, application/vnd.schemaregistry+json, application/json

最后，您可以获得在此主题下注册的特定版本的架构

GET /subjects/subject_name/versions/1 HTTP/1.1
Host: schemaregistry.example.com
Accept: application/vnd.schemaregistry.v1+json, application/vnd.schemaregistry+json, application/json

或者只是最新注册的模式:

GET /subjects/subject-name/versions/latest HTTP/1.1
Host: schemaregistry.example.com
Accept: application/vnd.schemaregistry.v1+json, application/vnd.schemaregistry+json, application/json

为了在 Java 中执行此类操作，您可以准备自己的 GET 请求(请参阅如何操作 here)或使用 Confluent 的 Schema Registry Java 客户端。您可以在他们的 Github repo 中查看实现和可用方法。 .

关于您关于 Zookeeper 的问题，请注意 ZK is a requirement for Kafka .

Kafka uses ZooKeeper so you need to first start a ZooKeeper server if you don't already have one. You can use the convenience script packaged with kafka to get a quick-and-dirty single-node ZooKeeper instance.