java - 两个远程集群之间的 DistCp 容错

Question

我需要将目录从一个集群复制到另一个具有类似 HDFS 的集群(两者都是 MAPR 集群)。

我计划使用 DistCp Java API。但我想避免目录中文件的重复副本。我想知道这些操作是否容错？也就是说，如果文件由于连接丢失而没有完全复制，DistCp 是否再次启动副本以正确复制文件？

Answer 1

distcp 使用 MapReduce 来影响其分发、错误处理和恢复以及报告。

请参阅Update and Overwrite

You can use -overwrite option to avoid duplicates Moreover, you can check update option as well. If network connection fails, once its connection recovered then you can re-initiate with overwrite option

请参阅上面指南链接中提到的 -update 和 -overwrite 的示例。