hadoop - Distcp 源长度不匹配

Question

我在两个不同的 hadoop 集群之间执行 distcp 命令时遇到问题，

Caused by: java.io.IOException: Mismatch in length of source:hdfs://ip1/xxxxxxxxxx/xxxxx and target:hdfs://nameservice1/xxxxxx/.distcp.tmp.attempt_1483200922993_0056_m_000011_2

我尝试使用 -pb 和 -skipcrccheck:

hadoop distcp -pb -skipcrccheck -update hdfs://ip1/xxxxxxxxxx/xxxxx hdfs:///xxxxxxxxxxxx/ 

hadoop distcp -pb  hdfs://ip1/xxxxxxxxxx/xxxxx hdfs:///xxxxxxxxxxxx/ 

hadoop distcp -skipcrccheck -update hdfs://ip1/xxxxxxxxxx/xxxxx hdfs:///xxxxxxxxxxxx/ 

但似乎没有任何效果。

请提供任何解决方案。

Answer 1

我在两个完全相同版本的 Hadoop 集群之间遇到了相同的 distcp 问题。对我来说，这是由于其中一个源目录中的一些文件仍然打开。一旦我分别为每个源目录运行 distcp，我就能发现情况确实如此——除了带有打开文件的一个目录之外，它对所有目录都工作正常，并且只对那些文件有效。当然，乍一看很难说。