amazon-s3 - 由于身份验证，gsutil 无法复制到 s3

Question

我需要将许多(1000 多个)文件从 GCS 复制到 s3 以利用 AWS lambda 函数。我已编辑 ~/.boto.cfg 并注释掉了 2 个 aws 身份验证参数，但简单的 gsutil ls s3://mybucket 因 GCE 或 EC2 虚拟机。

错误是不支持您提供的授权机制。请使用AWS4-HMAC-SHA256。。

我使用的gsutil版本:4.28，GCS和S3存储桶的位置分别是US-CENTRAL1和美国东部(俄亥俄州) - 如果相关的话。

我一无所知，因为 AWS key 有效并且我启用了 http/https。使用我笔记本电脑的 Cyber​​duck 从 GCS 下载并上传到 S3 是不切实际的 (>230Gb)

Answer 1

根据https://issuetracker.google.com/issues/62161892 , gsutil v4.28 确实通过向 ~/.boto 添加新的 支持 AWS v4 签名[s3] 部分如

[s3]
# Note that we specify region as part of the host, as mentioned in the AWS docs:
# http://docs.aws.amazon.com/general/latest/gr/rande.html#s3_region
host = s3.eu-east-2.amazonaws.com
use-sigv4 = True

该部分的使用继承自 boto3，但当前不是由 gsutil config 创建的，因此需要为目标端点显式添加它。

对于 s3 到 GCS，我会考虑更多无服务器存储传输服务 API。