apache - 将结果从 Zookeeper 传输到网络服务器

Question

在我的项目中，我正在计算动物园管理员工作人员的大约 10-100mbs 数据。然后，我使用 HTTP PUT 将数据从工作进程传输到我的网络服务器，最终将其交付给客户端。无论如何使用 Zookeeper 或 Curator 来传输该数据，还是我自己将数据从 Worker 进程中取出并转移到我的整体之外的进程中？

Answer 1

我不建议使用 Zookeeper 来传输数据，尤其是这么大的数据。它并不是真正设计用来做这件事的。 Zookeeper 在用于同步分布式进程或存储一些在多个主机之间共享的相对较小的配置数据时效果最佳。

有一个hard limit of 1 Mb per ZK node如果您尝试将其推到极限，当 Zookeeper 服务处理大量数据时，Zookeeper 客户端可能会超时并进入断开连接状态。