gpt4 book ai didi

amazon-s3 - 在S3到EC2之间最快/最好的方式复制数据?

转载 作者:行者123 更新时间:2023-12-03 09:32:37 25 4
gpt4 key购买 nike

我有大量数据(〜30G,分成约100个文件),我想在S3和EC2之间传输:当启动EC2实例时,我想将数据从S3复制到EC2本地磁盘尽可能快地完成处理后,我想将结果复制回S3。

我正在寻找一种可以来回快速/并行复制数据的工具。我有好几个脚本被黑客攻破,其中一个脚本做得不错,所以我不是在寻找指向基本库的指针。我正在寻找快速可靠的产品。

最佳答案

我认为使用 flex 块存储而不是S3存储文件可能会更好。 EBS类似于S3上的“驱动器”,可以将其安装到EC2实例中,而不必每次都复制数据,从而使您可以在EC2实例之间持久保存数据,而不必每次都写入或读取S3。

http://aws.amazon.com/ebs/

关于amazon-s3 - 在S3到EC2之间最快/最好的方式复制数据?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/749178/

25 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com