amazon-ec2 - 在 AWS EC2 上添加新的 Spark worker - 访问错误

Question

我有使用 spark-ec2 脚本启动的现有 oeprating Spark 集群。我正尝试按照说明添加新的从站:

• 停止集群
• 在 AWS 控制台上，在其中一个从站上“像这样启动”
• 启动集群

虽然新实例被添加到同一个安全组并且我可以使用相同的私钥成功地通过 SSH 连接到它，但是 spark-ec2 ... start 调用无法访问这台机器原因:

Running setup-slave on all cluster nodes to mount filesystems, etc...

[1] 00:59:59 [FAILURE] xxx.compute.amazonaws.com

Exited with error code 255 Stderr: Permission denied (publickey).

，显然，在尝试在此实例上部署 Spark 内容时出现了大量其他错误。

原因是Spark Master机器没有这个新slave的rsync访问权限，但是22端口是开放的...

Answer 1

问题是在 Spark Master 上生成的 SSH key 没有传输到这个新的 slave。带有 start 命令的 Spark-ec2 脚本省略了这一步。解决方案是使用带有 --resume 选项的 launch 命令。然后 SSH key 被转移到新的从站，一切顺利。

另一种解决方案是将主人的公钥 (~/.ssh/id_rsa.pub) 添加到新添加的奴隶 ~/.ssh/authorized_keys。 (在 Spark 邮件列表上得到这个建议)