hadoop - AWS Spark 集群设置错误

Question

我已经创建了一个 AWS key 对。

我正在逐字逐句地遵循此处的说明:https://aws.amazon.com/articles/4926593393724923

当我输入 "aws emr create-cluster --name SparkCluster --ami-version 3.2 --instance-type m3.xlarge --instance-count 3 --ec2-attributes KeyName=MYKEY --应用程序名称=Hive --bootstrap-actions Path=s3://support.elasticmapreduce/spark/install-spark"

用完整路径和我的 key 对的名称替换 MYKEY(我已经尝试了所有方法)，我收到以下错误:

`调用RunJobFlow操作时出现客户端错误(InvalidSignatureException):我们计算的请求签名与您提供的签名不匹配。检查您的 AWS secret 访问 key 和签名方法。有关详细信息，请参阅服务文档。

这个请求的规范字符串应该是'邮政/

内容类型:应用程序/x-amz-json-1.1主机:elasticmapreduce.us-east-1.amazonaws.com用户代理:aws-cli/1.7.5 Python/2.7.8 Darwin/14.1.0x-amz-日期:20150210T180927Zx-amz-target:ElasticMapReduce.RunJobFlow

内容类型；主机；用户代理；x-amz-日期；x-amz-目标dbb58908194fa8deb722fdf65ccd713807257deac18087025cec9a5e0d73c572'

String-to-Sign 应该是'AWS4-HMAC-SHA25620150210T180927Z20150210/us-east-1/elasticmapreduce/aws4_requestc83894ad3b43c0657dac2c3ab7f53d384b956087bd18a3113873fceeabc4ae26'`

我做错了什么？

Answer 1

知道了。遗憾的是，上面的页面没有提到必须设置环境变量 AWS_SECRET_ACCESS_KEY 和 AWS_ACCESS_KEY。你必须先这样做。我从一个完全不同的设置指南了解到你必须首先这样做:http://spark.apache.org/docs/1.2.0/ec2-scripts.html .

在我设置之后，Amazon 说明起作用了。