apache-kafka - 如何将新的 Kafka 代理机器动态添加到集群

Question

我们有 Kafka 融合集群，集群包括 3 Kafka 代理，

版本详情:

Kafka machines are installed on rhel version 7.2 
Kafka confluent version is 0.1x
Zookeeper version: 3.4.10
schema-registry version: 4.0.0

每台Kafka broker机器包含以下服务

Kafka broker
Zookeeper server
Schema registry

现在我们要向当前的 Kafka 集群添加一个额外的新 3 Kafka 代理机器(额外的 Kafka 机器是 - kafka04/05/06 具有相同的 Kafka版本 – 0.1X , )

所以集群最终应该是:

6 Kafka 代理机器 - kafka01、kafka02、kafka03、kafka04、kakfa05、kafka05

3 个动物园管理员 服务器 - kafka01、kafka02、kafka03

3 模式注册表 服务 - kafka01、kafka02、kafka03

为了将新的 3 Kafka 代理连接到现有的 Kafka 集群，我们需要更改所有 Kafka 机器(旧 Kafka 机器和新 Kafka 机器)上的配置

我们不确定应该更改 Kafka 代理中的配置文件到底是什么，但是根据我的理解，我们应该更改 Kafka 和 zookeeper 设置，如下所示

我很乐意收到关于以下程序的评论/注释

1. 在新的 Kafka 代理 kafka04/05/06 上编辑 server.properties 文件，并更改 broker.id 参数如下

   在 kafka04 上 - broker.id=4在 kafka05 - broker.id=5在 kafka06 - broker.id=6

2. 在所有 Kafka 机器上编辑 server.properties - kafka01/02/03/04/05/06并将以下参数改为集群总节点数

    offsets.topic.replication.factor=6
    transaction.state.log.replication.factor=6
   

3. 在新的 Kafka 机器上 - Kafka 04/05/06 编辑 server.properties 并更新参数 - zookeeper.connect 与位于 kafka01 , kafka02 , kafka03

   上的 zookeeper 服务器 ip

   例子

    zookeeper.connect=10.10.10.1:2181,10.10.10.2:2181,10.10.10.3:2181
   

4. 在 Kafka 机器上 – kafka 04/05/06 ，编辑文件 – zookeeper.properties 作为
   正在关注

   server.1=10.10.10.1:2888:3888
   server.2=10.10.10.2:2888:3888
   server.3=10.10.10.3:2888:3888
   

5. 编辑Kafka 04/05/06上的myid文件，将参数broker.id修改为正在关注

   在 kafka04 上设置:

    broker.id=4
   

   在 kafka05 上设置:

    broker.id=5
   

   在 kafka06 上设置:

    broker.id=6
   

6. 如上设置后，重启kafka01/02/03/04/05/06上的所有Kafka brokers服务，并重启kafka01/02/03<上的zookeeper servers

   并验证所有Kafka服务和zookeeper服务启动成功

引用信息 - https://www2.microstrategy.com/producthelp/current/PlatformAnalytics/en-us/Content/Add_kafka_node_to_kafka_cluster.htm

Answer 1

添加代理时，您不需要更改现有代理的配置，也不需要重新启动它们。如果您不添加新的 ZooKeeper 服务器，这同样适用于 ZooKeeper。

在新的代理上，您只需要设置一个不同的 broker.id 值。

我不建议将主题(包括内部)的复制因子增加到超过 3。

启动新代理后，您可能希望重新平衡现有数据。有很多工具可以做到这一点，包括 kafka-reassign-partitions.sh 工具。 Kafka 文档有一节详细介绍了该过程:https://kafka.apache.org/documentation/#basic_ops_cluster_expansion