amazon-web-services - 集群使用 Spark 1.2.0 EC2 启动脚本卡在 'ssh-ready' 状态

Question

我正在尝试使用其预先打包的 EC2 脚本启动一个独立的 Spark 集群，但它只是无限期地处于“ssh 就绪”状态:

ubuntu@machine:~/spark-1.2.0-bin-hadoop2.4$ ./ec2/spark-ec2 -k <key-pair> -i <identity-file>.pem -r us-west-2 -s 3 launch test
Setting up security groups...
Searching for existing cluster test...
Spark AMI: ami-ae6e0d9e
Launching instances...
Launched 3 slaves in us-west-2c, regid = r-b_______6
Launched master in us-west-2c, regid = r-0______0
Waiting for all instances in cluster to enter 'ssh-ready' state..........

然而，我可以毫无怨言地通过 SSH 进入这些实例:

ubuntu@machine:~$ ssh -i <identity-file>.pem root@master-ip
Last login: Day MMM DD HH:mm:ss 20YY from c-AA-BBB-CCCC-DDD.eee1.ff.provider.net

       __|  __|_  )
       _|  (     /   Amazon Linux AMI
      ___|\___|___|

https://aws.amazon.com/amazon-linux-ami/2013.03-release-notes/
There are 59 security update(s) out of 257 total update(s) available
Run "sudo yum update" to apply all updates.
Amazon Linux version 2014.09 is available.
root@ip-internal ~]$

我想弄清楚这是否是 AWS 或 Spark 脚本中的问题。直到最近我才遇到过这个问题。

Answer 1

Spark 1.3.0+
这个问题是fixed in Spark 1.3.0 .

Spark 1.2.0
您的问题是由于 conflicting entries in you SSHs known_hosts file SSH 静默停止造成的.
要解决您的问题，请添加 -o UserKnownHostsFile=/dev/null给您的 spark_ec2.py脚本like this .

或者，为了清理并避免稍后在使用 SSH 连接到集群时遇到问题，我建议您:

删除 ~/.ssh/known_hosts 中的所有行包括 EC2 主机，例如:

ec2-54-154-27-180.eu-west-1.compute.amazonaws.com,54.154.27.180 ssh-rsa (...)

使用 this solution完全停止检查和存储您的 EC2 实例的临时 IP 的指纹