c++ - 编译器可以优化不相关的命令以在不同的内核上执行吗？

Question

编译器可以根据优化更改非相关命令的顺序。它还可以静默优化它们以在不同的内核中执行吗？

例如:

...
for (...) 
{
    //...
    int a = a1+a2;
    int b = b1+b2;
    int c = c1+c2;
    int d = d1+d2;
    //...
}
...

在优化方面，可能不仅会改变执行顺序，还会改变核心数量吗？编译器在标准上有什么限制吗？

UPD:我不是在问如何并行化代码，我是在问如果它没有被显式并行化，它还能被编译器并行化吗？

Answer 1

这里的内容远不止这些。指令(在您的示例中)很可能最终会并行运行，但这不是您的想法。

CPU 中有许多级别的硬件并行性，多核只是最高级别的¹⁾。在 CPU 核心内部，您有其他级别的硬件并行化，这些硬件并行化大部分是透明的²⁾(您不通过软件控制它们，您实际上看不到它们，有时可能只是它们的副作用) .流水线、额外的总线 channel 、每个内核的多个 ALU(算术逻辑单元)和 FPU(浮点单元)是其中的一部分。

指令的不同阶段将在流水线中并行运行(现代 x86 处理器有十几个流水线阶段)并且可能不同的指令将在不同的 ALUS 中并行运行(现代 x86 CPU 每个内核大约有 5 个 ALU)。

所有这一切都是在编译器没有做任何事情的情况下发生的²⁾。而且它是免费的(鉴于硬件，在硬件中添加此功能并不是免费的)。在不同的内核中执行指令并不是免费的。创建不同的线程是昂贵的。将数据移动到其他核心是昂贵的。等待其他内核执行的同步代价高昂。创建和同步线程有很多开销。像这样的小指令是不值得的。真正从多线程中获益的案例将涉及一种分析，这种分析在今天过于复杂，实际上不可行。将来的某一天，编译器将能够识别您的串行算法实际上是一种排序，并有效且正确地将其并行化。在那之前，我们必须依赖语言支持、库支持和/或开发人员对并行化算法的支持。

¹⁾ 好吧，其实超线程就是。

²⁾ 正如 MSalters 所指出的:

modern compilers are very much aware of the various ALU's and will do work to benefit from them. In particular, register assignments are optimized so you don't have ALU's compete for the same register, something which may not be apparent from the abstract sequential model.

所有这一切都间接影响执行，使硬件架构受益，没有明确的说明或声明。