amazon-s3 - 将数百万个文件从 S3 复制到 GCS 的最佳方式？

Question

我正在寻找一种方法，将大量文件(超过 1000 万个)从 S3 存储桶移动到 Google Cloud Storage，但到目前为止遇到了问题。

目前我正在使用 gsutil，因为它本身支持 S3 和 GCS 之间的通信，但我获得的性能不太好。也许我只是做错了事情，但我一直在使用以下 gsutil 命令:

gsutil -m cp -R s3://bucket gs://bucket

我启动了一个 c3.2xlarge AWS 实例(16GB 8CPU)，这样我就可以获得足够的马力，但该盒子的吞吐量似乎并没有比 2GB 2CPU 盒子更好，我不明白？

我一直在摆弄 ~/.boto 配置文件，目前设置了以下选项:

parallel_process_count = 8
parallel_thread_count = 100

我认为将线程数增加 10 倍肯定会有所帮助，但从我到目前为止的测试来看，还没有产生任何影响。还有什么可以提高性能吗？

或者是否有更好的工具可以将 S3 数据移动到 GCS？我正在查看 SDK，很想用 Java 编写一些东西。

Answer 1

Google Cloud Storage Online Cloud Import专门用于从大量 URL 列表或 S3 存储桶将大尺寸和大量文件导入到 GCS。它是针对使用“gsutil -m”需要太长时间的数据大小而设计的(这是首先尝试的一件好事)。目前可以免费使用。

(免责声明，我是该项目的 PM)