amazon-web-services - EC2 中的 AWS IAM 角色以及从 JupyterHub 访问 S3

Question

在 JupyterHub 中，安装在具有 IAM 角色的 EC2 实例中，当我尝试使用此代码访问该存储桶中的文件时，该角色允许访问特定 S3 存储桶:

s3nRdd = spark.sparkContext.textFile("s3n://bucket/file")

我收到这个错误:

IllegalArgumentException: u'AWS Access Key ID and Secret Access Key must be specified as the username or password (respectively) of a s3n URL, or by setting the fs.s3n.awsAccessKeyId or fs.s3n.awsSecretAccessKey properties (respectively).'

但是，当我在与该角色具有相同策略的内核配置中导出 AWS 访问 key ID 和 secret 访问 key 时，该文件的读取成功。

由于最佳实践是使用 IAM 角色，为什么 EC2 角色在这种情况下不起作用？

--更新--EC2 IAM 角色具有以下 2 个策略:

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Sid": "Stmt1488892557621",
            "Action": "s3:*",
            "Effect": "Allow",
            "Resource": [
                "arn:aws:s3:::<bucket_name>",
                "arn:aws:s3:::<bucket_name>/*"
            ]
        }
    ]
}


{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Action": "ec2:*",
            "Effect": "Allow",
            "Resource": "*"
        },
        {
            "Sid": "Stmt1480684159000",
            "Effect": "Allow",
            "Action": [
                "iam:PassRole"
            ],
            "Resource": [
                "*"
            ]
        }
    ]
}

此外，我正在使用不支持 s3a 协议(protocol)的 hadoop 版本 2.4.0，并且无法更新。

Answer 1

S3n 不支持 IAM 角色，而且 2.4 无论如何都是一个非常过时的版本。在 s3n 方面不像 2.5 那样有问题，但仍然不够完美。

如果您想使用 IAM 角色，您将不得不切换到 S3a，是的，对您来说，这确实意味着升级 Hadoop。对不起。