hadoop - distcp 在 hadoop 版本 2.0.0 和 0.20 之间不工作

Question

在两个版本的 hadoop 之间的 distcp 期间，出现以下错误:

服务器 IPC 版本 9 无法与客户端版本 3 通信

我正在使用以下命令: hadoop 分布式

解决方案将不胜感激。

Answer 1

distcp 在从 hdfs://到 hdfs://的版本之间不起作用

您必须在目标集群上运行 distcp，并在源集群上使用 hftp://协议(protocol)(只读协议(protocol))。

注意:默认端口对于不同的协议(protocol)是不同的，所以命令最终看起来像:

hadoop distcp hftp://<source>:50070/<src path> hdfs://<dest>:8020/<dest path>

或者，如果你更喜欢假值

hadoop distcp hftp://foo.company.com:50070/data/baz hdfs://bar.compnay.com:8020/data/