google-drive-api - 我的 Google Colab 笔记本未使用我的 2TB Google 云端硬盘空间

Question

我的 Google 云端硬盘帐户有 2TB 存储空间。

我想将它们与 Cloud Colab (GPU Python 3) 一起使用。

我已经安装了驱动器空间，但我仍然坚持使用 ~69GB 的 Colab 存储。

(引用:https://stackoverflow.com/a/59513316/9726037)

(1)安装驱动器空间

WORKSPACE_PATH = 'ml/'

drive.mount('/content/drive/', force_remount=True)
ROOT_DIR  = '/content/drive/My Drive/science'
BASE_DIR  = os.path.join(ROOT_DIR, WORKSPACE_PATH)

输出:安装在/content/drive/

(2) 从 GCS 下载了大约 40GB 的数据:

bucker_name = 'my_bucket_name'
!gsutil -m cp gs://{bucket_name}/* 'path_to_my_mounted_drive'

输出:

Copying gs://xxx/test.h5...
Copying gs://xxx/train.h5...
[Errno 28] No space left on device
[Errno 28] No space left on device
[Errno 28] No space left on device
[Errno 28] No space left on device
[Errno 28] No space left on device
[Errno 28] No space left on device
[Errno 28] No space left on device
[Errno 28] No space left on device

当我检查 Colab 存储可用空间时:我只有 3GB/69GB，而不是 2 TB...

我做错了什么？

Answer 1

据我了解，当驱动器安装时，它需要缓存来自Google Drive的数据。即使您在 GDrive 上有 2TB，您仍然会受到与以前相同的限制，因为数据需要复制和缓存。

因此，您可能需要复制一部分，将其删除，然后复制下一部分。这可能会慢一点。