hadoop - 使用单个 hadoop 客户端将文件上传到多个 hdfs

Question

基本上我可以通过输入命令来上传文件:

hadoop fs -put filename/path/to/dir

这将写入当前配置的集群。

如果我使用同一个客户端将文件上传到不同的集群，是否可能？使用如下命令:

hadoop fs -put filename hdfs://cluster2_namenode_ip/path/to/dir

或一些替代方案？

谢谢!

Answer 1

是的，它有效。您必须确保您的 hadoop 客户端与另一个集群上的 hadoop 版本相同。此外，您应该与其他集群的工作节点建立连接。

有一些特殊情况。如果您的集群配置了 namenode ha 或 kerberos，您将无法仅使用该命令；需要一些额外的配置。