multithreading - 超线程对 AVX 有问题吗？

Question

在玩超频和运行刻录测试时，我注意到 LINPACK 的 AVX 优化版本在启用超线程时测量的多线程浮点吞吐量低于禁用它。这是在 Ivy Bridge i7 (3770k) 上。我还注意到，在禁用超线程的情况下，LINPACK 会导致更高的核心温度，尽管我以较低的核心电压运行 CPU。所有这一切让我相信，如果没有超线程，管道利用率实际上会更高。

我很好奇:这只是 LINPACK 算法的内在因素，它会导致流水线停顿或 SMT 分配效率低下，还是当两个线程都发出宽 SIMD 指令时，英特尔的 SMT 实现是否在调度流水线时遇到了问题？如果是这样，这是 Haswell 已经解决的问题，还是将在 future 的英特尔架构中解决？这是AVX512容易出现的问题吗？

最后，在使用面向英特尔系统的 AVX 进行编程时，是否可以采取任何好的步骤来避免使用 SMT 进行低效的流水线分配？

Answer 1

超线程在两个硬件线程之间共享无序执行资源，而不是将它们全部交给一个线程。通常，如果一个线程已经可以使管道保持满载，那么您最坏的情况是不会看到加速。无论哪种方式，执行单元都应该通过 4 微指令/时钟需要运行的指令进行咀嚼。

如果每个线程都在自己的内存块上工作，那么 CPU 内核就会尝试同时处理更多的实时数据。 L1/L2 缓存的竞争性共享意味着这最终可能比没有 HT 更糟糕。

此外，一些工作负载需要并行化。只有令人尴尬的并行问题(比如做许多独立的 matmul，而不是并行化一个大的)对于协调线程的开销可以忽略不计。

正如 Agner Fog 在他的 Optimizing Assembly 中提到的那样手动，如果任何竞争共享或分区的 CPU 资源是瓶颈，超线程将无济于事，而且可能会造成伤害。当代码在分支错误预测或缓存未命中上花费大量时间时，这是非常好的，因为另一个线程可以防止饥饿的管道处于空闲状态。

矩阵数学具有足够可预测的访问模式，缓存未命中和错误预测很少见。 (尤其是在为缓存大小而仔细阻止的代码中。)

如何避免 HT 无济于事:使您的代码变慢，因此单个线程无法有效地执行它以保持管道满。 >.<.不过说真的，如果有一种算法具有缓存未命中或分支错误预测，其性能与蛮力方法相同，那么使用它可能会有所帮助。例如考虑到单个线程上的分支错误预测的开销，提前测试可能几乎是一次清洗，但是当您的代码在同一核心的两个硬件线程上运行时可能会快得多，因此蛮力方法是坏处。