performance - 为什么这个深度学习模型在 CPU 上的推理速度比 GPU 更快？

Question

已关闭。此问题不符合 Stack Overflow guidelines 。目前不接受答案。

---

这个问题似乎与 help center 中定义的范围内的编程无关。 .

已关闭 6 年前。

Improve this question

本文:https://arxiv.org/pdf/1609.08144.pdf “Google's Neural Machine Translation System: Bridging the Gap between Human and Machine Translation”，2016

第 12 页的表 1 列出了 2016 年神经翻译模型的推理解码时间在 CPU 上比在 GPU 上快了近 3 倍。他们的模型在深度轴上跨 GPU 高度并行。

有人有见解吗？

这是否也意味着一般来说，在 GPU 上训练时最好在 CPU 上执行神经网络的测试步骤？对于仅在 1 个 GPU(而不是多个 GPU)上训练的模型来说也是如此吗？

Answer 1

他们使用了88个CPU核心并将其表示为CPU，而只使用了单个GPU。因此理论上的峰值性能并没有那么不同。接下来，数据必须加载到 GPU 中，这是一种开销，而 CPU 上不需要。这两个因素的结合使 CPU 进程的性能更好。