hadoop - HDFS 可以复制到其他集群吗？

Question

HDFS 正在复制到同一个集群中的事实 3。这很好，但是有没有办法设置 HDFS 以便它也可以复制到不同的集群/服务器？假设 1 个复制到同一个集群，另一个复制到另一个 HDFS 集群中的某个地方。

如果 HDFS 不支持此功能，是否有任何围绕 Hadoop 的工具允许我们这样做？你们如何在其他服务器上进行复制？

Answer 1

目前没有任何机制可以满足您的要求。 HBase 实现了跨集群复制，HDFS 还没有实现。有一个 plan to support HDFS 中的跨数据中心复制，但尚未实现。

您可以使用 distcp定期将数据复制到另一个集群的机制。这将在每个集群上放置 3 个副本(无论如何，这通常是您想要的跨数据中心/集群复制)。但是请注意，由于必须定期执行此操作，因此它不能完全替代实时复制。如果您在副本之间丢失了一个集群，则写入“主”集群的任何数据都将丢失，直到该集群恢复为止。