tensorflow - Keras/Tensorflow GPU 使用率低？

Question

我在配备 nvidia Tesla K20c GPU 的计算机上使用带有 tensorflow 后端的 keras。 (CUDA 8)

我正在训练一个相对简单的卷积神经网络，在训练期间我运行终端程序nvidia-smi来检查GPU的使用情况。正如您在以下输出中看到的，GPU 利用率通常约为 7%-13%

我的问题是:CNN训练期间GPU的使用率不应该更高吗？这是 keras/tensorflow 的 GPU 配置或使用错误的迹象吗？

nvidia-smi output

Answer 1

可能有多种原因，但很可能您在读取训练数据时遇到了瓶颈。当您的 GPU 处理了一批数据时，它需要更多数据。根据您的实现，这可能会导致 GPU 等待 CPU 加载更多数据，从而导致 GPU 使用率降低和训练时间更长。

尝试将所有数据加载到内存中(如果适合)或使用 QueueRunner这将使输入管道在后台读取数据。这将减少 GPU 等待更多数据的时间。

Reading Data Guide TensorFlow 网站上包含更多信息。