r - 在 R 中使用 Segue 无限期配置 EMR 集群

Question

我正在尝试使用 R名为 Segue 的包裹由 JD Long 撰写，我读过一本名为“Parallel R”的书，称赞这是将 R 与 AWS 结合使用的终极简单性。

但是，连续第二天我遇到了一个问题，我开始创建一个集群，它只是说 STARTING无限期。

我在 OS X 和 Linux 上使用大小为 2、6、10、20 和 25 的集群进行了尝试。我让它们都运行了至少 6 小时。我在 AWS EMR 管理控制台中启动集群没问题，尽管我不知道如何连接 Segue/R到在管理控制台而不是通过 createCluster() 启动的集群.

所以我的问题是 - 是否有某种方法可以解决集群的配置问题，或者通过手动创建集群并以某种方式获得 Segue 来绕过问题与那个一起工作？

这是我所看到的示例:

library(segue)

Loading required package: rJava

Loading required package: caTools

Segue did not find your AWS credentials. Please run the setCredentials() function.

setCredentials("xxx", "xxx")

emr.handle <- createCluster(numInstances=10)

STARTING - 2013-07-12 10:36:44
STARTING - 2013-07-12 10:37:15
STARTING - 2013-07-12 10:37:46
STARTING - 2013-07-12 10:38:17

....这持续了好几个小时……

更新##:经过 36 小时和多次失败的尝试后，当我在 1 个节点上尝试时，它开始工作(随机...)。然后我用 10 个节点尝试了它，效果很好。据我所知，本地或 AWS 上没有任何变化......

Answer 1

我代表 AWS 支持代表回答我自己的问题，他给了我以下迟来的解释:

The problem with the EMR creation is with the Availability Zone specified (us-east-1c), this availability zone is now constrained and doesn't allow the creation of new instances, so the job was trying to create the instances in a infinite loop.

You can see information about constrained AZ here: http://docs.aws.amazon.com/AWSEC2/latest/UserGuide/using-regions-availability-zones.html#concepts-regions-availability-zones

"As Availability Zones grow over time, our ability to expand them can become constrained. If this happens, we might restrict you from launching an instance in a constrained Availability Zone unless you already have an instance in that Availability Zone. Eventually, we might also remove the constrained Availability Zone from the list of Availability Zones for new customers. Therefore, your account might have a different number of available Availability Zones in a region than another account."

So you need to specify another AZ, or what I recommend is not specify any AZ, so EMR is going to be able to select any available.

我找到了这个线程:https://groups.google.com/forum/#!topic/segue-r/GBd15jsFXkY

在 Google 网上论坛上，可用性区域的主题之前出现过。在该线程中设置为新默认值的区域是给我带来问题的区域。我正在尝试编辑 Segue 的源代码。