hadoop - Hadoop EC2 安装的 Spark 脚本 : IPC client connection refused

Question

我试图在 EC2 的 spark 脚本设置的 EC2 集群上使用 distcp 在 Hadoop 和 Amazon S3 之间复制

[root]# bin/hadoop distcp s3n://bucket/f1 hdfs:///user/root/

我得到的错误是

INFO ipc.Client: Retrying connect to server: .. Already tried n time(s).

Copy failed: java.net.ConnectException: Call to ..my_server failed on connection excep\
tion: java.net.ConnectException: Connection refused

Answer 1

Spark EC2 脚本可能有意不启动 JobTracker 和 TaskTracker 服务。所以在运行 Spark EC2 安装脚本后，为了启动服务，我运行了

{HADOOP_HOME}/bin/start-all.sh

引用:感谢 Brock Noland 的 https://groups.google.com/a/cloudera.org/forum/#!topic/cdh-user/H6wAfdeLIJo