amazon-web-services - 将文件上传并压缩到s3

Question

我最近开始使用S3，遇到了将大文件（10 gb +-）上传和压缩到s3的需求。
我正在使用的当前实现是在本地创建一个临时压缩文件，然后将其上载到s3，最后删除该临时文件。事实是，对于一个10 GB的文件，在上载完成之前，我已存储了将近20 GB的本地语言。我需要一种方法将文件传输到s3，然后在那里进行压缩。
这种方法可行吗？如果是，我应该如何处理？如果没有，有什么办法可以使所需的本地空间最小化？
我见过有人意将文件编码上传到S3，下载到同一区域中的EC2，在那压缩，然后上传回S3，同时删除S3上的第一个副本。这可能行得通，但是在我看来，上传2个文件来获得一个文件并不是成本上的优势。

我尝试上传压缩流没有成功，但是我刚刚发现s3不支持压缩流，现在我不知道该如何进行。

我正在使用.NET上的gzip库

Answer 1

在Linux外壳中，通过aws-cli，它是在您问了问题大约3个月后才添加的:-)

Added the ability to stream data using cp

因此，我想您最好的方法是将gzip的输出传递给aws cli：

从标准输入上载：

gzip -c big_file | aws s3 cp - s3://bucket/folder/big_file.gz

下载到标准输出：

aws s3 cp s3://bucket/folder/big_file.gz - | gunzip -c ...