hadoop - map reduce 过程中连接超时

Question

我正在使用 distcp 命令将数据从一个集群传输到另一个集群。我在 map reduce 过程中遇到以下问题:

java.net.ConnectException: 连接超时

我正在使用以下命令:

/home/hadoop/hadoop/bin/hadoop distcp -update -skipcrccheck "hftp://source:50070//hive/warehouse//tablename" "hdfs://destination:9000//hive/warehouse//tablename"

我该如何解决这个问题。解决方案将被应用。

Answer 1

如果您尝试将数据从一个 HDFS 传输到另一个，那么您为什么要使用 hftp 命令？

hftp 用于将数据从 ftp 服务器传输到 hdfs。

试试这个 hdfs 到 hdfs

/home/hadoop/hadoop/bin/hadoop distcp -update -skipcrccheck "hdfs://source:50070/hive/warehouse/tablename" "hdfs://destination:9000/hive/warehouse/tablename"

对于 ftp 到 hdfs，请使用正确的 ftp 地址。