使用 starcluster 在亚马逊 EC2 上进行 R 和 Snow

Question

我正在尝试在 AWS EC2 集群上使用 R 并行运行分析。我在用starcluster 设置和管理 EC2 集群，并尝试使用 snow 和R 中的 foreach。首先，我的集群中有 2 个节点，1 个主节点和 1 个节点 worker 。

starcluster start mycluster 
starcluster listinstances

-----------------------------------------
mycluster (security group: @sc-mycluster)
-----------------------------------------
....
Cluster nodes:
     master running i-xxxxxxxxx masterIP.compute-1.amazonaws.com
    node001 running i-xxxxxxxxx node001IP.compute-1.amazonaws.com
Total nodes: 2

starcluster sshmaster mycluster

然后启动 R 并加载 snow 包并尝试创建集群对象。

R
library("snow")

cl = makeCluster(c("masterIP.compute-1.amazonaws.com", "node001IP.compute-1.amazonaws.com"), type = "SOCK")

但是，这给了我以下错误消息:

The authenticity of host 'masterIP.compute-1.amazonaws.com (xx.xxx.xx.xx)' can't be established.
ECDSA key fingerprint is xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx.
Are you sure you want to continue connecting (yes/no)? yes
Warning: Permanently added 'masterIP.compute-1.amazonaws.com,xx.xxx.xx.xx' (ECDSA) to the list of known hosts.
Permission denied (publickey).

所以我尝试将 ssh key (具体来说是keyname.rsa)复制到 .ssh 文件在 EC2 上并重试。但这仍然不起作用；我收到了同样的权限被拒绝(公钥)。错误。我的想法是星团处理了ssh的设置和节点之间的通信，所以我有点很困惑为什么我无法设置它。我还尝试仅添加node001，因此 cl = makeCluster(c("node001IP.compute-1.amazonaws.com"), type = "SOCK")，但出现了相同的错误。

Answer 1

事实证明，经过多次修补后，所需要的只是 R 版本 2.15 的更新。命令cl = makeCluster(c("masterIP.compute-1.amazonaws.com", "node001IP.compute-1.amazonaws.com"), type = "SOCK")之后工作完美。