amazon-web-services - 尝试在 EMR 上安装 Spark 时引导失败

Question

我正在使用此链接在 EMR(Amazon 上的 Elastic Map Reduce)上安装 Spark Cluster https://aws.amazon.com/articles/Elastic-MapReduce/4926593393724923

为了创建 Spark 集群，我运行了以下命令，但我的集群每次都遇到引导失败。我无法解决这个问题，如果有人能在这里帮助我，那就太好了。

aws emr create-cluster --name SparkCluster --ami-version 3.2 \
--instance-type m3.xlarge --instance-count 3 --ec2-attributes \
KeyName=MYKEY --applications Name=Hive --bootstrap-actions \
Path=s3://support.elasticmapreduce/spark/install-spark

已解决:使用这个:

aws emr create-cluster --name SparkCluster --ami-version 3.7 \
--instance-type m3.xlarge --instance-count 3 --service-role \
EMR_DefaultRole --ec2-attributes \
KeyName=emr,InstanceProfile=EMR_EC2_DefaultRole \
--applications Name=Hive --bootstrap-actions \
Path=s3://support.elasticmapreduce/spark/install-spark 

Answer 1

在给定用户的 SSH key 和 IAM 角色的情况下，对该用户有效的答案摘要(在评论中来回花了一些时间):

aws emr create-cluster --name SparkCluster --ami-version 3.7 --instance-type m3.xlarge --instance-count 3 --service-role EMR_DefaultRole --ec2-attributes KeyName=emr,InstanceProfile=EMR_EC2_DefaultRole --applications Name=Hive --bootstrap-actions Path=s3://support.elasticmapreduce/spark/install-spark

有关 EMR IAM 角色的说明可在 http://docs.aws.amazon.com/ElasticMapReduce/latest/DeveloperGuide/emr-iam-roles-creatingroles.html 找到和 http://docs.aws.amazon.com/ElasticMapReduce/latest/DeveloperGuide/emr-iam-roles-launch-jobflow.html