hadoop - AWS 实例 distcp 到 s3 - 访问 key

Question

如果我有一个使用角色创建的 EC2 实例，获取访问 key 以执行从 hdfs 到 s3 的 distcp 的最佳实践方法是什么？

我不想使用我们的自动部署工具将访问 key 发送到实例，因为这意味着将 key 存储在众目睽睽之下。有没有办法让实例使用 CLI 请求一组 key ？

我需要为 hadoop distcp /data s3n://<access_key>:<secret_key>@mybucket/baackup/data 准备它们

Answer 1

当使用角色启动 Amazon EC2 实例时，实例将通过实例元数据服务获得对临时安全 key 的访问权限。它的工作原理如下:

• 在身份和访问管理 (IAM) 中创建了一个角色
• 向角色授予适当的权限
• Amazon EC2 实例启动并选择了该角色。如果您使用 Amazon Elastic MapReduce (EMR) 启动实例，那么通常会为它们分配一个特定于 EMR 的角色(您可以修改该角色
• 通过 URL http://169.254.169.254/latest/meta-data/iam/security-credentials/ 临时安全凭证

调用 AWS 开发工具包的软件会自动查看此 URL 以检索安全凭证。如果您使用的软件不会自动查看此 URL，您可以提取它们并将它们传递给软件。

参见:Retrieving Security Credentials from Instance Metadata