tensorflow - 带有 GPU 的谷歌合作实验室 `ResourceExhaustedError`

Question

我正在尝试微调 Vgg16模型使用 colaboratory但是我在用 GPU 训练时遇到了这个错误。
OOM when allocating tensor of shape [7,7,512,4096]

INFO:tensorflow:Error reported to Coordinator: <class 'tensorflow.python.framework.errors_impl.ResourceExhaustedError'>, OOM when allocating tensor of shape [7,7,512,4096] and type float
     [[Node: vgg_16/fc6/weights/Momentum/Initializer/zeros = Const[_class=["loc:@vgg_16/fc6/weights"], dtype=DT_FLOAT, value=Tensor<type: float shape: [7,7,512,4096] values: [[[0 0 0]]]...>, _device="/job:localhost/replica:0/task:0/device:GPU:0"]()]]

Caused by op 'vgg_16/fc6/weights/Momentum/Initializer/zeros', defined at:

我的虚拟机 session 也有这个输出:

    --- colab vm info ---
python v=3.6.3
tensorflow v=1.4.1
tf device=/device:GPU:0
model name  : Intel(R) Xeon(R) CPU @ 2.20GHz
model name  : Intel(R) Xeon(R) CPU @ 2.20GHz
MemTotal:       13341960 kB
MemFree:         1541740 kB
MemAvailable:   10035212 kB

我的 tfrecord只是 118 个 256x256 JPG，带有 file size <2MB
有解决方法吗？它在我使用 CPU 而不是 GPU 时有效

Answer 1

看到少量空闲 GPU 内存几乎总是表明您创建了一个没有 allow_growth = True 的 TensorFlow session 。选项。看:
https://www.tensorflow.org/guide/using_gpu#allowing_gpu_memory_growth

如果不设置此选项，默认情况下，TensorFlow 将在创建 session 时保留几乎所有 GPU 内存。

好消息 :从本周开始，Colab 现在默认设置此选项，因此当您在 Colab 上使用多个笔记本时，您应该会看到低得多的增长。而且，您还可以通过从运行时菜单中选择“管理 session ”来检查每个笔记本的 GPU 内存使用情况。



选择后，您将看到一个对话框，其中列出了所有笔记本和每个笔记本正在消耗的 GPU 内存。要释放内存，您也可以从此对话框终止运行时。