amazon-web-services - awscli s3 : upload via stdin

Question

我想将 tarball 上传到 s3，而不会产生临时文件的成本(我们的磁盘空间不足)。对于其他实用程序，我会将 tar 命令的输出通过管道传输到上传命令，但它不仅仅适用于 awscli:

$ echo ok | aws s3 cp /dev/stdin s3://my-bucket/test
upload failed: /dev/stdin to s3://my-bucket/test [Errno 29] Illegal seek

有什么办法可以做我想做的事吗？

Answer 1

这应该可以解决问题:

tar cv aws-test|aws s3 cp - s3://bucket/aws-test.tar.gz

编辑:确保您使用的是较新版本的 aws cli。我已经验证它适用于 1.7.3 而不适用于 1.2.9
请注意，如果文件超过 50GB，您应该使用 expected-size 以字节为单位传递文件大小的估计，例如:

tar cv /home/folder | gzip | s3 cp --expected-size=1234567890 - s3://bucket/folder.tar.gz

来源: s3 cp reference docs