amazon-web-services - gsutil - 使用联合用户 AWS key 时出现 cp、rsync 问题

Question

我正在尝试从 AWS S3 到 GCP 存储的简单 rsync(或 cp)。例如

gsutil rsync -d -r -n s3://mycustomer-src gs://mycustomer-target

在 GCP 上的 VM 上尝试此操作时，我收到如下错误消息。请注意，如果我在 VM 上安装 aws cli，那么我就可以很好地访问/浏览 AWS S3 内容。 AWS 凭证存储在 ~/.aws/credentials 文件中。

Building synchronization state...
Caught non-retryable exception while listing s3://musiclab-etl-dev/: AccessDeniedException: 403 InvalidAccessKeyId
<?xml version="1.0" encoding="UTF-8"?>
<Error><Code>InvalidAccessKeyId</Code><Message>The AWS Access Key Id you provided does not exist in our records.</Message><AWSAccessKeyId>ASIAJ3XGCQ7RGZYPD5UA</AWSAccessKeyId><RequestId>CE8919045C68DEC4</RequestId><HostId>i7oMBM61US3FyePJka8O+rjoHSo1rIZbRGnVZvIGkjEVPh6lXdbp03pZOtJ68F3pPdAAW1UvF5s=</HostId></Error>
CommandException: Caught non-retryable exception - aborting rsync

这是 gsutil 中的错误吗？任何解决方法或提示表示赞赏。

注意 - 客户的 AWS 帐户设置为联合访问，需要使用 AWS key ，该 key 是通过类似于此的脚本获得的 - https://aws.amazon.com/blogs/security/how-to-implement-a-general-solution-for-federated-apicli-access-using-saml-2-0/AWS key 设置为在 session token 过期时过期。

如果我使用具有典型 AWS key (不过期)的不同 AWS 账户(无联合)，则 rsync(或 cp)可以正常工作。

Answer 1

gsutil 似乎仍在使用旧版 AWS_SECURITY_TOKEN 而不是 AWS_SESSION_TOKEN。如果您的脚本没有自动设置，您可以像这样手动设置:

export AWS_SECURITY_TOKEN=$AWS_SESSION_TOKEN

在此之后，您应该可以正常使用 gsutil。