amazon-s3 - 将s3数据迁移到谷歌云存储

Question

我在 Google App Engine 上部署了一个 python 网络应用程序。

我需要获取存储在 Amazon S3 上的日志文件并将其加载到 Google Cloud Storage。一旦它在 Google Cloud Storage 中，我可能需要执行一些转换并最终将数据导入 BigQuery 进行分析。

我尝试使用 gsutil 作为某种概念证明，因为 boto 在 gsutil 的保护下，我想在我的项目中使用 boto。这没有用。

我想知道是否有人设法直接在两个云之间传输文件。如果可能的话，我想看一个简单的例子。最后，这个任务必须通过在 GAE 上执行的代码来完成。

Answer 1

按此 thread ，您可以使用 gsutil 将数据从 S3 流式传输到 Google Cloud Storage，但每个字节仍然需要两跳:S3 到您的本地计算机，然后您的计算机到 GCS。但是，由于您使用的是 App Engine，因此您应该能够从 S3 中提取并存入 GCS。除了 App Engine 是中介之外，它与上面的进程相同，即每个字节都从 S3 传输到您的应用程序，然后传输到 GCS。您可以将 boto 用于拉侧和 Google Cloud Storage API为插入侧。