hadoop - 我可以将 Hadoop 与 AWS4-HMAC-SHA256 一起使用吗？

Question

我新创建的存储桶使用 AWS Signature Version 4 .我正在尝试将它与 Hadoop 一起使用并收到消息:

Exception in thread "main" org.apache.hadoop.fs.s3.S3Exception:
org.jets3t.service.S3ServiceException: S3 GET failed for '/' XML Error Message:
<?xml version="1.0" encoding="UTF-8"?>
<Error>
<Code>InvalidRequest</Code>
<Message>The authorization mechanism you have provided is not supported.
         Please use AWS4-HMAC-SHA256.</Message>
</Error>

Hadoop Amazon S3 上没有提到这个页。 Hadoop 现在与 S3 不兼容还是我错过了配置选项？

我尝试按照 suggested on the SDK page 上的建议添加 -Dcom.amazonaws.services.s3.enableV4 ， 没有运气。我假设 Hadoop 不使用 Amazon SDK。

FWIW 我正在使用 Apache Spark，但它使用 Hadoop。

编辑:我找到了 this Jira ticket .

Answer 1

您可能正在尝试使用 s3n 获取数据，但这是行不通的。切换到 s3a，不要忘记包含端点:

hdfs dfs -Dfs.s3a.awsAccessKeyId=<access key ID> -Dfs.s3a.awsSecretAccessKey=<secret acces key> -Dfs.s3a.endpoint=<s3 enpoint> -ls s3a://<bucket_name>/...

您可以在此处找到的端点:http://docs.aws.amazon.com/general/latest/gr/rande.html#s3_region