ssh - 从 EC2 实例 : ssh connection to host refused 中调用 spark-ec2

Question

为了运行 Amplab 的训练练习，我在 us-east-1 上创建了一个 key 对。 , 已经安装了训练脚本 ( git clone git://github.com/amplab/training-scripts.git -b ampcamp4 ) 并创建了 env。变量 AWS_ACCESS_KEY_ID 和 AWS_SECRET_ACCESS_KEY 按照 http://ampcamp.berkeley.edu/big-data-mini-course/launching-a-bdas-cluster-on-ec2.html 中的说明进行操作

正在运行

 ./spark-ec2 -i ~/.ssh/myspark.pem -r us-east-1  -k myspark --copy launch try1

生成以下消息:

 johndoe@ip-some-instance:~/projects/spark/training-scripts$ ./spark-ec2 -i ~/.ssh/myspark.pem -r us-east-1  -k myspark --copy launch try1
 Setting up security groups...
 Searching for existing cluster try1...
 Latest Spark AMI: ami-19474270
 Launching instances...
 Launched 5 slaves in us-east-1b, regid = r-0c5e5ee3
 Launched master in us-east-1b, regid = r-316060de
 Waiting for instances to start up...
 Waiting 120 more seconds...
 Copying SSH key /home/johndoe/.ssh/myspark.pem to master...
 ssh: connect to host ec2-54-90-57-174.compute-1.amazonaws.com port 22: Connection refused
 Error connecting to host Command 'ssh -t -o StrictHostKeyChecking=no -i /home/johndoe/.ssh/myspark.pem root@ec2-54-90-57-174.compute-1.amazonaws.com 'mkdir -p ~/.ssh'' returned  non-zero exit status 255, sleeping 30
 ssh: connect to host ec2-54-90-57-174.compute-1.amazonaws.com port 22: Connection refused
 Error connecting to host Command 'ssh -t -o StrictHostKeyChecking=no -i /home/johndoe/.ssh/myspark.pem root@ec2-54-90-57-174.compute-1.amazonaws.com 'mkdir -p ~/.ssh'' returned non-zero exit status 255, sleeping 30
 ...
 ...
 subprocess.CalledProcessError: Command 'ssh -t -o StrictHostKeyChecking=no -i /home/johndoe/.ssh/myspark.pem root@ec2-54-90-57-174.compute-1.amazonaws.com '/root/spark/bin/stop-all.sh'' returned non-zero exit status 127

哪里 root@ec2-54-90-57-174.compute-1.amazonaws.com是用户和主实例。我试过 -u ec2-user并增加 -w一直到 600，但得到同样的错误。

我可以在 us-east-1中看到master和slave实例当我登录 AWS 控制台时，我实际上可以从“本地” ip-some-instance SSH 到主实例 shell 。

我的理解是 spark-ec2 脚本负责定义主/从安全组(监听哪些端口等)，我不应该调整这些设置。这就是说，master 和 slaves 都在 ampcamp3-slaves/masters sec. 组中收听 post 22( Port:22, Protocol:tcp, Source:0.0.0.0/0)。

我在这里不知所措，在我将所有研发资金花在 EC2 实例上之前，我将不胜感激......谢谢。

Answer 1

这很可能是由于 SSH 需要很长时间在实例上启动，导致 120 秒超时在机器可以登录之前到期。你应该能够运行

./spark-ec2 -i ~/.ssh/myspark.pem -r us-east-1  -k myspark --copy launch --resume try1

(使用 --resume 标志)从停止的地方继续，而无需重新启动新实例。这个问题将在 Spark 1.2.0 中得到修复，我们有一个新机制可以智能地检查 SSH 状态，而不是依赖固定的超时。我们还通过构建新的 AMI 来解决长期 SSH 启动延迟背后的根本原因。