google-cloud-platform - 如何将文件从互联网直接下载到 Google Cloud 存储桶

Question

我想直接从互联网下载一个超过 20GB 的文件到谷歌云存储桶中。就像在本地命令行中执行以下操作一样:

wget http://some.url.com/some/file.tar 

我拒绝将文件下载到我自己的计算机，然后使用以下命令将文件复制到存储桶:

gsutil cp file.tar gs://the-bucket/

目前我正在尝试(就在此时此刻)使用 datalab 下载文件，然后将文件从那里复制到存储桶。

Answer 1

与 Google Cloud Storage 相关的 Google Cloud Platform 的一项功能是称为“Storage Transfer Service”的功能区。相关文档可用 here .

在最高级别，此功能允许您定义 Google 外部的数据源，例如作为 URL 或 AWS S3 存储提供的数据，然后安排在后台将其复制到 Google Cloud Storage。此功能似乎执行您想要的任务……数据直接从 Internet 源复制到 GCS。

一个完全不同的故事是 GCP 本身提供计算能力的实现。这意味着您可以通过简单的机制(例如 VM、Cloud Functions 或 Cloud Run)在 GCP 上运行您自己的逻辑。这有助于我们了解这个故事，因为我们意识到我们可以执行我们的代码，将基于 Internet 的数据从 GCP 本身下载到本地临时文件。然后可以将该文件从 GCP 中上传到 GCS。最终会出现在 GCP 中的数据从来没有从源头到谷歌去任何地方。从源中检索后，数据从 GCP 计算到 GCS 存储的传输速率应该是最佳的，因为它专门通过 Google 的内部超高速网络传输。