ubuntu - 将数据集从我的 PC 上传到 Google Cloud Platform 上的虚拟机实例的最佳方式

Question

我有一个用于深度学习实验的大数据集(大约 50 GB)。我将在 Google Cloud Platform 提供的虚拟机实例上训练我的网络。所以我需要将我的数据集上传到虚拟机中。
我尝试使用带有以下命令的 gcloud 控制台:

gcloud compute scp --recurse C:\Users\Lenovo\Desktop\dataset root@instance-1:/home/Lenovo/dataset

它有效，但需要大约 50 小时才能结束。

有没有办法让这个过程更快？

我还有一个 Google Drive 存储库，用于存储我的数据集。可以直接从 Google Drive 下载到我的虚拟机吗？
我的虚拟机有 Ubuntu 18.04 LTS 版本的操作系统。

Answer 1

花费的时间将主要由网络上最慢的链接控制。让我们假设托管您的 GCP 虚拟机(计算引擎)的网络不会那样做。您的 Google Drive 也可能不是最慢的。运行 gcloud 的本地计算机的路径很有可能成为瓶颈。我的建议是在 GCP 上登录您的虚拟机并从您的数据中运行下载，据我所知，这些数据位于 Drive 上。

似乎有多种方法可以实现这一目标。

在 GCP 机器上运行 VNC
这将为您提供从本地 PC 访问但从 GCP 呈现的 GUI 环境。从那里您可以安装 Chrome(在 GCP 上)并访问您的云端硬盘并开始下载。

下载云端硬盘访问工具
另一种方法是安装 Drive 数据访问工具。这是我通过 Google 搜索找到的示例，但其他示例可能有效:

https://www.howtoforge.com/tutorial/how-to-access-google-drive-from-linux-gdrive/

按照那里的食谱并将驱动器文件下载到您的 GCP 上。

如果您需要进一步的大数据工作，请考虑将您的数据放在 Google Cloud Storage 上，然后将应用其他选项。

见 transferring big data sets .