apache - 安全地替换 Zookeeper Quorum 中的坏节点

Question

我们有 5 个节点 zookeeper quorum ( A,B,C,D,E ) 在生产中运行，上周有 1 个节点宕机( E ) 。仲裁是健康的，但我们需要用新的健康节点 ( F )

替换 ( E )

我在两个选项之间徘徊

1. add ( F ) to the quorum and then remove  ( E )
2. replace ( F ) with ( E ) restart followers and then restart leader

我测试了选项#2，我可以看到在强制领导(通过重启领导)之后，( F ) 在仲裁中被接受

Quorum 是健康的，但我只是想确定这是否是标准程序

我找不到任何有关此版本节点替换的 apache 文档

ZK Version : 3.4.6

Answer 1

是的，对于 3.5.* 之前的版本，ZK 集群的重新配置需要协调重启确保配置已更新以用新节点替换旧节点，以便新节点( s) 可以加入法定人数并且旧的被移除。我找到了这个gist有帮助。

一般来说，对于升级，建议采用滚动重启 - 引用 apache link .

如果可能的话，我建议你考虑升级到3.5*版本，其中dynamic reconfiguration无需重新启动即可。