java - 用于分配分片索引的 Zookeeper

Question

我在网上看到一些关于使用 Zookeeper 在服务器联机时为其分配分片编号的帖子(假设您正在跨集群分片数据)——但我一直找不到 Java 代码示例来说明如何做这。有人已经开始工作了吗？谢谢。

Answer 1

跨集群分片数据有很多细节，例如复制和故障恢复。我假设通过分片，你的意思是你有 N 个节点，每个节点应该处理 1/N 个请求，并且客户端可以发现哪些服务器已启动.

您首先创建一个持久节点/service。每个服务器创建一个 ephemeral /service 启动时的子项，类似于 /service/hostname:port。客户端维护一个 watch在 /service 上，并在添加和删除子项时收到通知(客户必须在每次通知后更新 watch )。通过这种方式，客户端知道哪些服务器正在为请求提供服务，并且可以适本地分发请求(轮询、随机)。当服务器宕机时，它的临时节点将消失，客户端可以停止向它发送请求。

如果您正在寻找动物园管理员库，curator可能是最好的一个。客户会使用 Path-Cache ，而服务器只是创建一个临时节点。