java - 使用 Apache Kafka 0.10.0 API 和 Java 创建 Kafka 代理集群

Question

我想使用 Kafka 0.10 API 创建一个代理集群，最好使用 Java。据我阅读 kafka_2.11-0.10.0.0.jar 确实支持使用以下方式创建代理:

import kafka.cluster.Broker;
import kafka.cluster.Cluster; 

但我找不到任何这样做的文档。我最近阅读了 [1]，其中介绍了如何在 Java 中使用 Kafka API 创建主题。我们可以做类似的事情创建代理集群，更新分区，将现有数据/分区迁移到新代理(因为这些新代理不会自动分配任何数据分区，因此除非将分区移动到它们)不会做任何工作 [2])

[1] How Can we create a topic in Kafka from the IDE using API

[2] https://kafka.apache.org/0100/ops.html#basic_ops_cluster_expansion

Answer 1

我有一些示例代码，您可能会觉得有用。

要创建代理，请查看 KafkaTestServer 。它确实是为了更简单的测试，所以它不创建集群，只是一个代理，但扩展起来应该不难。

一旦我在测试服务器中内置了创建/查询/删除主题的功能，我就创建了一个独立的管理客户端，用于对其他服务器执行相同的操作，因此，如果您已经创建了代理集群，那么您应该能够使用代码来维护其上的主题。看看KafkaAdminClient .

管理客户端基本上是 scala kafka.admin.AdminUtils 类的纯 java 包装器，因此它可以在幕后处理所有 scala <--> java 转换。