TensorFlow CUDA_ERROR_OUT_OF_MEMORY

Question

我正在尝试在 TensorFlow 中构建一个大型 CNN，并打算在多 GPU 系统上运行它。我采用了“塔式”系统，并为两个 GPU 拆分批处理，同时将变量和其他计算保留在 CPU 上。我的系统有 32GB 内存，但是当我运行代码时出现错误:

E tensorflow/stream_executor/cuda/cuda_driver.cc:924] failed to alloc 17179869184 bytes on host: CUDA_ERROR_OUT_OF_MEMORY
W ./tensorflow/core/common_runtime/gpu/pool_allocator.h:195] could not allocate pinned host memory of size: 17179869184
Killed

如果我将 CUDA 设备隐藏到 TensorFlow，我发现代码可以工作(尽管非常非常慢)，因此它不使用 cudaMallocHost()...

感谢您的宝贵时间。

Answer 1

有一些选项:

1-减少批量大小

2-使用内存增长:

config = tf.ConfigProto()
config.gpu_options.allow_growth = True
session = tf.Session(config=config, ...)

3-不要分配全部 GPU 内存(仅 90%):

config = tf.ConfigProto()
config.gpu_options.per_process_gpu_memory_fraction = 0.9
session = tf.Session(config=config, ...)