amazon-s3 - 将控制台的输出重定向到 AWS S3 上的文件

Question

假设我有一个返回我的网站 JSON 当我发送 时的数据获取 请求使用 curl .我想将 curl 的输出重定向到 AWS S3 .应该在 S3 上为其创建一个新文件。

目前我能够重定向输出以将其存储在本地。

curl -s -X GET 'http://website_that_returns_json.com' > folder_to_save/$(date +"%Y-%m-%d_%H-%M.json")

我有 AWS CLI和 s3cmd安装。我将如何重定向 create 的输出以在 AWS S3 上创建新文件？

假设:

AWS S3 访问 key 和 secret key 已经设置。

存储文件的位置:mybucket/$(date +"%Y-%m-%d_%H-%M.json"

Answer 1

AWS Command-Line Interface (CLI)有能力stream data往返 Amazon S3:

The following cp command uploads a local file stream from standard input to a specified bucket and key:

aws s3 cp - s3://mybucket/stream.txt

所以，你可以使用:

curl xxx | aws s3 cp - s3://mybucket/object.txt

但是，在本地保存文件然后将其复制到 Amazon S3 可能更安全。