storage - Google Colab存储

Question

有人知道运行Google Colab的存储限制吗？上传22gb的zip文件，然后尝试解压缩后，似乎空间不足，建议使用<〜40gb的存储空间。至少这是我运行TPU实例的经验。

Answer 1

是的，Colab笔记本本地存储现在大约为40 GiB。一种查看确切值的方法(在Python 3中):

import subprocess
p = subprocess.Popen('df -h', shell=True, stdout=subprocess.PIPE)
print(str(p.communicate()[0], 'utf-8'))

但是:对于大量数据而言，本地存储是一种非理想的方式来馈送TPU，TPU并没有直接连接到运行笔记本电脑的计算机上。相反，请考虑将大型数据集存储在GCP存储中，然后从Colab笔记本中获取该数据。 (此外，Colab本地存储量可能会更改，并且Colab笔记本本身将在几个小时后过期，并随身携带本地存储。)

看一看 the canonical TPU Colab notebook。底部是一些后续步骤，其中包括指向 Searching Shakespeare with TPUs的链接。该笔记本中有以下代码片段，向您的Colab TPU演示了GCP身份验证。看起来像这样:

from google.colab import auth
auth.authenticate_user()

if 'COLAB_TPU_ADDR' in os.environ:
  TF_MASTER = 'grpc://{}'.format(os.environ['COLAB_TPU_ADDR'])

  # Upload credentials to TPU.
  with tf.Session(TF_MASTER) as sess:    
    with open('/content/adc.json', 'r') as f:
      auth_info = json.load(f)
    tf.contrib.cloud.configure_gcs(sess, credentials=auth_info)
  # Now credentials are set for all future sessions on this TPU.
else:
  TF_MASTER=''