Hadoop distcp 从 S3 复制 : Signature does not match error

Question

我正在尝试将文件从 S3 复制到我在 Amazon EC2 上的 hadoop HDFS。

我使用的命令是:

bin/hadoop distcp s3://<awsAccessKeyId>:<awsSecretAccessKey>@<bucket_name>/f1 hdfs://user/root/

• f1是文件名
• 我也将它更改为 s3n 以查看它是否有效，但它没有。
• 我将 secret 访问 key 中的正斜杠替换为 %2F

我得到的错误是:SignatureDoesNotMatch

org.jets3t.service.S3ServiceException: S3 GET failed for '/%2Ff1'

<Message>The request signature we calculated does not match the signature you provided. Check your key and signing method.</Message>

<StringToSignBytes>...</StringToSignBytes>

<RequestId>...</RequestId>

<HostId>..</HostId>

<SignatureProvided>NsefW5en6P728cc9llkFIk6yGc4=\
    </SignatureProvided>

<StringToSign>GETMon, 05 Aug 2013 15:28:21 GMT/<bucket_name>/%2Ff1</StringToSign>

<AWSAccessKeyId><MY_ACCESS_ID><\ /AWSAccessKeyId></Error>

我只有一个 AWS 访问 key ID 和 key 。我检查了我的 AWS 账户，它们是一样的。我使用相同的 AWS 访问 key 和 key 登录到我的 EC2 集群。我也尝试过使用 core-site.xml，但这也没有帮助。

谢谢，拉吉夫

Answer 1

重新生成我的 AWS key 和 key ，使我的 key 中没有正斜杠对我有用。引用:https://issues.apache.org/jira/browse/HADOOP-3733