amazon-web-services - 写入 S3 时 AWS Glue 作业被拒绝访问

Question

我有一个由 CloudFormation 创建的 Glue ETL 作业。此作业从 RDS Aurora 中提取数据并写入 S3。

当我运行此作业时，我收到以下错误。

该作业具有 IAM 服务角色。

此服务角色允许

1. 胶水和 RDS 服务，
2. 假设 arn:aws:iam::aws:policy/AmazonS3FullAccess 和 arn:aws:iam::aws:policy/service-role/AWSGlueServiceRole，以及
3. 具有全范围的 rds:* 、 kms:* 和 s3:* 操作，允许对应的 RDS、KMS 和 S3 资源。

无论 S3 存储桶是使用 AES256 还是 aws:kms 加密，我都会遇到同样的错误。

无论作业是否具有安全配置，我都会收到相同的错误。

我的工作与我手动创建的完全相同，并且无需安全配置即可成功运行。

我错过了什么？这是完整的错误日志

"/mnt/yarn/usercache/root/appcache/application_1...5_0002/container_15...45_0002_01_000001/py4j-0.10.4-src.zip/py4j/protocol.py", line 319, in get_return_value py4j.protocol.Py4JJavaError: An error occurred while calling o145.pyWriteDynamicFrame. : org.apache.spark.SparkException: Job aborted due to stage failure: Task 3 in stage 2.0 failed 4 times, most recent failure: Lost task 3.3 in stage 2.0 (TID 30, ip-10-....us-west-2.compute.internal, executor 1): com.amazon.ws.emr.hadoop.fs.shaded.com.amazonaws.services.s3.model.AmazonS3Exception: Access Denied (Service: Amazon S3; Status Code: 403; Error Code: AccessDenied; Request ID: F...49), S3 Extended Request ID: eo...wXZw= at com.amazon.ws.emr.hadoop.fs.shaded.com.amazonaws.http.AmazonHttpClient$RequestExecutor.handleErrorResponse(AmazonHttpClient.java:1588

Answer 1

不幸的是，该错误并没有告诉我们太多信息，只是它在您的 DynamicFrame 写入过程中失败了。

403可能的原因只有少数，你可以检查一下你是否都遇到过:

1. 目标存储桶的存储桶策略规则。
2. IAM 角色需要权限(尽管您提到拥有 S3*)
3. 如果这是跨账户，则需要检查存储桶和用户上的允许策略等内容。 (一般来说，Canonical Account ID 的信任是最简单的)
4. 我不知道您的角色和存储桶的策略文档可能有多复杂，但请记住，明确的拒绝语句优先于允许。
5. 如果问题与 KMS 相关，我会检查以确保您为 Glue 连接选择的子网有到达 KMS 端点的路由(您可以在 VPC 中为 KMS 添加端点)
6. 确保问题不在于也为您的工作配置的临时目录，或者可能不是您最终的写入操作。
7. 检查您的帐户是否是您正在写入的位置的“对象所有者”(通常在帐户之间读取/写入数据时出现问题)

如果上述方法都不起作用，您可以进一步了解您的设置。也许是写操作的代码。