gpt4 book ai didi

linux - 将数据从 AWS Ubuntu Server 移动到 Amazon S3 存储桶的最佳方式是什么?

转载 作者:塔克拉玛干 更新时间:2023-11-03 01:56:42 24 4
gpt4 key购买 nike

<分区>

我正在将大量数据 ( link to data ) 下载到 AWS Ubuntu 服务器,希望最终将数据获取到已安装的 S3 存储桶中。问题是,如果我要将所有数据(例如 >1TB 的数据)下载到具有 200GB 磁盘的 AWS Ubuntu 服务器,它将超出磁盘的限制。因此,在这些限制条件下,如何才能高效地将数据传输到 S3 存储桶?

我考虑过将单个文件下载到磁盘,同步到 S3,然后删除文件,尽管这种方法看起来效率极低。

24 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com