performance - keras 预测很慢

Question

我正在从事强化学习任务，并决定使用 keras NN 模型进行 Q 值近似。这种方法很常见:在每个 Action 之后，奖励都存储在内存重放数组中，然后我从中随机抽取样本并用新数据拟合模型 state-action => reward+predicted_Q (更多详情 here)。为了进行训练，必须为训练集中的每个项目预测 Q 值。

脚本运行得很慢，所以我开始调查。分析显示，56.87% 的累积时间被 占用。 _predict_loop 方法:

看起来很奇怪，原因预测只是一种单向传播。只是一组数字的一次乘法。我使用的模型非常简单:8 个输入，隐藏层上的 5 个节点，1 个输出。

我已经安装并配置了 CUDA，运行了几个示例测试，它显示使用了 GPU，我也可以看到 GPU 的巨大负载。当我运行我的代码时 - 有一条消息:“使用 gpu 设备 0:GeForce GT 730”但我可以看到 GPU负载真的很低 (约 10%)。

预测功能需要这么多时间是正常的吗？有没有办法使用 GPU 进行此计算？

Answer 1

看起来您的 NN 的大小太小而无法充分利用 GPU。通常只有当输入/隐藏/输出层大小大于 200~500(取决于实现代码)时，GPU 才比多核 CPU 更快。

然而，你的神经网络的大小只有 8/5/1，这意味着大部分时间都花在 GPU 开销上，比如 CUDA 内核启动、PCIe 数据传输等。在这种情况下，调用次数是决定的主要因素训练时间。为了加快速度，您可能需要在 CPU 上训练模型，并使用开销低得多的编程语言(例如 C/C++)。