cpu - cpu vs gpu-当cpu更好时

Question

As it currently stands, this question is not a good fit for our Q&A format. We expect answers to be supported by facts, references, or expertise, but this question will likely solicit debate, arguments, polling, or extended discussion. If you feel that this question can be improved and possibly reopened, visit the help center获取指导。




已关闭8年。





我知道许多示例，其中GPU的速度比CPU快得多。但是存在很难并行化的算法（问题）。当CPU可以克服GPU时，您能给我一些例子或测试吗？

编辑：

感谢您的建议！我们可以对最受欢迎和最新的CPU和GPU进行比较，例如Core i5 2500k与GeForce GTX 560 Ti。

我想知道如何比较它们之间的SIMD模型。例如：Cuda更精确地调用SIMD模型。但是，应该将SIMT与CPU上的多个读取相比较，后者在MIMD内核之间分配线程（任务）（Core i5 2500k作为4个MIMD内核给出）。另一方面，每个MIMD内核都可以实现SIMD模型，但这不是SIMT，我不知道如何比较它们。最后，可以将具有并发内核执行功能的Fermi架构视为具有SIMT的MIMD内核。

最佳答案

根据我的经验，我将总结CPU和GPU中并行程序之间在性能方面的主要差异。相信我，比较可以代代相传。因此，我仅指出CPU和GPU的优点和缺点。当然，如果您以极端的方式制作程序，即只有不好的一面，那么它肯定会在一个平台上运行得更快。但是，将这些混合在一起需要非常复杂的推理。

主机程序级别

一个关键的区别是内存传输成本。 GPU设备需要一些内存传输。在某些情况下，例如在您不得不频繁转移一些大阵列时，这种花费是不小的。以我的经验，可以将成本降到最低，但会将大多数主机代码推送到设备代码。只有在必须与程序中的主机操作系统进行交互（例如输出到监视程序）时，才可以这样做。

设备程序级别

现在我们来看一个尚未完全揭示的复杂情况。我的意思是，GPU中有许多神秘的场景尚未公开。但是，在性能方面，我们仍然有很多与众不同的CPU和GPU（内核代码）。

我几乎没有注意到这些因素对差异的显着影响。


工作量分配


GPU由许多执行单元组成，旨在处理大规模并行程序。如果您的工作量很少，说几句顺序的任务，然后将这些任务放在GPU上，那么那么多执行单元中只有一部分繁忙，因此比CPU慢。另一方面，因为CPU更好地处理短期任务和顺序任务。原因很简单，CPU要复杂得多，并且能够利用指令级并行性，而GPU则利用线程级并行性。好吧，我听说NVIDIA GF104可以做Superscalar，但是我没有机会体验它。

值得注意的是，在GPU中，工作负载被分为小块（或OpenCL中的工作组），并且块按块排列，每个块都在一个Streaming处理器中执行（我使用的是NVIDIA的术语）。但是在CPU中，这些块是按顺序执行的-除了一个循环，我别无选择。

因此，对于块数量较少的程序，它可能会在CPU上更快地运行。


控制流指令


分支总是对GPU不利。请记住，GPU喜欢平等的事物。相等的块，相等的块内的线程和相等的线程内的经线。但是最重​​要的是什么？

                            ***Branch divergences.***

Cuda / OpenCL程序员讨厌分支差异。由于以某种方式将所有线程划分为32个线程组（称为warp），并且warp中的所有线程均以锁步执行，因此分支分歧将导致warp中的某些线程被序列化。因此，经纱的执行时间将因此倍增。

与GPU不同，CPU中的每个内核都可以遵循自己的路径。另外，由于CPU具有分支预测，因此可以有效地执行分支。

因此，翘曲差异更大的程序可能会在CPU上更快地运行。


内存访问说明


这确实很复杂，所以让我们简短。

请记住，全局内存访问具有很高的延迟（400-800个周期）。因此，在旧版的GPU中，内存访问是否合并是一个关键问题。现在，您的GTX560（Fermi）具有更多2级缓存。因此，在许多情况下可以降低全局内存访问成本。但是，CPU和GPU中的缓存不同，因此其效果也不同。

我可以说的是，这实际上取决于您的内存访问模式，内核代码模式（如何将内存访问与计算，操作类型等交织在一起），以判断在GPU或CPU上运行速度是否更快。

但是以某种方式您可以预期（在GPU中）大量的高速缓存未命中会对GPU产生非常严重的影响（严重吗？这取决于您的代码）。

此外，共享内存是GPU的重要功能。访问共享内存的速度与访问GPU L1缓存的速度一样快。因此，利用共享内存的内核将具有很多好处。

我还没有真正提到的其他一些因素，但是在许多情况下，这些因素可能会对性能产生重大影响，例如银行冲突，内存事务的大小，GPU占用...

关于cpu - cpu vs gpu-当cpu更好时，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/7091958/

上一篇：wolfram-mathematica - 持有任何论据

下一篇：haskell - "you do computations in Haskell by declaring what something is instead of declaring how you get it"是什么意思？

相关文章：

linux - Nvidia GTX 590 的多 GPU GPUDirect 点对点通信问题

linux - "machine hardware"和 "hardware platform"之间的区别

performance - 双至强工作站上的 Android Studio

c# - XNA 的高 CPU 使用率

azure - 如何更改命名空间 kube-system 的 CPU 限制

Python CPU Count 在一个 Windows 服务器上工作，但在另一个 Windows 服务器上不工作？

random - CUDA CURAND 是否容易受到数据争用的影响？

algorithm - 最快的固定长度 6 int 数组

assembly - 与汇编语言相关的 MDR、MAR 寄存器

security - 为什么 CPU 推测执行不会导致 OOB 程序崩溃？

Answer 1

根据我的经验，我将总结CPU和GPU中并行程序之间在性能方面的主要差异。相信我，比较可以代代相传。因此，我仅指出CPU和GPU的优点和缺点。当然，如果您以极端的方式制作程序，即只有不好的一面，那么它肯定会在一个平台上运行得更快。但是，将这些混合在一起需要非常复杂的推理。

主机程序级别

一个关键的区别是内存传输成本。 GPU设备需要一些内存传输。在某些情况下，例如在您不得不频繁转移一些大阵列时，这种花费是不小的。以我的经验，可以将成本降到最低，但会将大多数主机代码推送到设备代码。只有在必须与程序中的主机操作系统进行交互（例如输出到监视程序）时，才可以这样做。

设备程序级别

现在我们来看一个尚未完全揭示的复杂情况。我的意思是，GPU中有许多神秘的场景尚未公开。但是，在性能方面，我们仍然有很多与众不同的CPU和GPU（内核代码）。

我几乎没有注意到这些因素对差异的显着影响。


工作量分配


GPU由许多执行单元组成，旨在处理大规模并行程序。如果您的工作量很少，说几句顺序的任务，然后将这些任务放在GPU上，那么那么多执行单元中只有一部分繁忙，因此比CPU慢。另一方面，因为CPU更好地处理短期任务和顺序任务。原因很简单，CPU要复杂得多，并且能够利用指令级并行性，而GPU则利用线程级并行性。好吧，我听说NVIDIA GF104可以做Superscalar，但是我没有机会体验它。

值得注意的是，在GPU中，工作负载被分为小块（或OpenCL中的工作组），并且块按块排列，每个块都在一个Streaming处理器中执行（我使用的是NVIDIA的术语）。但是在CPU中，这些块是按顺序执行的-除了一个循环，我别无选择。

因此，对于块数量较少的程序，它可能会在CPU上更快地运行。


控制流指令


分支总是对GPU不利。请记住，GPU喜欢平等的事物。相等的块，相等的块内的线程和相等的线程内的经线。但是最重​​要的是什么？

                            ***Branch divergences.***

Cuda / OpenCL程序员讨厌分支差异。由于以某种方式将所有线程划分为32个线程组（称为warp），并且warp中的所有线程均以锁步执行，因此分支分歧将导致warp中的某些线程被序列化。因此，经纱的执行时间将因此倍增。

与GPU不同，CPU中的每个内核都可以遵循自己的路径。另外，由于CPU具有分支预测，因此可以有效地执行分支。

因此，翘曲差异更大的程序可能会在CPU上更快地运行。


内存访问说明


这确实很复杂，所以让我们简短。

请记住，全局内存访问具有很高的延迟（400-800个周期）。因此，在旧版的GPU中，内存访问是否合并是一个关键问题。现在，您的GTX560（Fermi）具有更多2级缓存。因此，在许多情况下可以降低全局内存访问成本。但是，CPU和GPU中的缓存不同，因此其效果也不同。

我可以说的是，这实际上取决于您的内存访问模式，内核代码模式（如何将内存访问与计算，操作类型等交织在一起），以判断在GPU或CPU上运行速度是否更快。

但是以某种方式您可以预期（在GPU中）大量的高速缓存未命中会对GPU产生非常严重的影响（严重吗？这取决于您的代码）。

此外，共享内存是GPU的重要功能。访问共享内存的速度与访问GPU L1缓存的速度一样快。因此，利用共享内存的内核将具有很多好处。

我还没有真正提到的其他一些因素，但是在许多情况下，这些因素可能会对性能产生重大影响，例如银行冲突，内存事务的大小，GPU占用...