gpt4 book ai didi

amazon-s3 - 在 S3 上压缩文件

转载 作者:行者123 更新时间:2023-12-02 19:50:10 28 4
gpt4 key购买 nike

我在 S3 上有一个 17.7GB 的文件。它是作为 Hive 查询的输出生成的,并且未压缩。

我知道,通过压缩,它的大小约为 2.2GB (gzip)。当传输是瓶颈(250kB/s)时,如何尽快将该文件下载到本地。

我还没有找到任何直接的方法来压缩 S3 上的文件,或者在 s3cmd、boto 或相关工具中启用传输压缩。

最佳答案

S3不支持流压缩,也无法远程压缩上传的文件。

如果这是一次性过程,我建议将其下载到同一区域的 EC2 计算机上,在那里压缩,然后上传到您的目的地。

http://docs.aws.amazon.com/AWSEC2/latest/UserGuide/EC2_GetStarted.html

如果您更频繁地需要此功能

Serving gzipped CSS and JavaScript from Amazon CloudFront via S3

关于amazon-s3 - 在 S3 上压缩文件,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/14495176/

28 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com