google-drive-api - 将文件从 Google Drive 复制到 Google 内的 Google Cloud Storage

Question

是否可以将文件从 Google Drive 复制到 Google Cloud Storage？我想它会非常快，因为两者都在类似的存储系统上。

我还没有看到有关无缝执行此操作的任何方法的任何信息，而无需下载文件(可能是谷歌系统外的系统)然后重新上传它。大约一年前，有人问过类似的问题:Transfer files from dropbox/drive to Google cloud storage .

有没有办法直接做到这一点，文件一直保留在谷歌内？

Answer 1

@frunkad 评论了一个很好的解决方法的链接，但为了完整起见，我将在这里背诵，因为它目前是搜索中的最高结果。
您可以打开 Colab(Google 服务器上的 Juypiter Notebook)，挂载您的 gDrive 并使用 gCloud CLI 复制文件。

打开 https://colab.research.google.com/并连接到机器

通过执行以下代码，单击链接并粘贴验证 key

来安装您的驱动器

from google.colab import drive
drive.mount(‘/content/drive’)

连接到您的 Google Cloude 存储。 (项目 id 可以找到 here

from google.colab import auth
auth.authenticate_user()project_id = 'your-project-id'
!gcloud config set project {project_id}
!gsutil ls

使用 gsutil 复制文件。使用 -m 标签进行多线程以提高速度。 (您必须在安装的驱动器中找到一个名为“我的驱动器”的子文件夹)

bucket_name = 'your_bucket_name'
!gsutil -m cp -r /content/drive/My\ Drive/Your-Data/* gs://{bucket_name}/

原作者 Philip Lies
链接到他的合作实验室: https://colab.research.google.com/drive/1Xc8E8mKC4MBvQ6Sw6akd_X5Z1cmHSNca