c++ - 优化 CPU 流水线和缓存访问

Question

我正在尝试建立关于如何编写高效代码的直觉，以最大限度地减少 CPI(每条指令的周期数)并最大限度地减少缓存未命中和后端绑定(bind)性能。我想了解数据局部性和流水线是如何相互作用的。

据我所知，其中很多事情取决于特定的硬件，无法肯定地回答。尽管如此，我还是希望对“典型”台式计算机上“可能”发生的情况有一些合理的指导，使用使用 gcc 或 icpc 和 -O2 等通用编译器编译的程序。

考虑以下(设计的)代码。这段代码的目的是设置不同的场景来说明问题。假设缓存行是 64 字节。 (编辑)- 为了澄清，我们假设在执行 calc 时这些变量都不在任何级别的缓存中。一个响应正确地指出，如果已经缓存了任何内容，这将影响结果。

class MyClass {
public:
    MyClass() {};
    inline void calc(const double in);
private:
    double x,y[10],z[32],a,b;
};

inline void MyClass:calc(const double in) 
{
    x = 5 + in;
    y[0] = 10 + in;
    z[0] = 25 + in;
    a = 50 + in;
    q = 100 + in;//q is a variable from global scope that is not already in the cache
    *pq = 200 + in;//*pq is a pointer from global scope that is not already in the cache
    q2 = 300 + in;//q2 is a variable from global scope that is not already in the cache
    b = 400 + in;
    cout << x << ", " << y[0] << ", " << z[0] << ", " << a << ", " << q << ", " << *pq << ", " << q2 << "," << b;
}

当运行 calc 时，x 和 y[0] 可能在同一个缓存行上，所以 y[0] 将在缓存命中时被访问？ z[0] 在下一个缓存行上。但是，它可能受益于“下一个缓存行”预取并且也是缓存命中？ a 距离几个缓存行，然后 q 是来自全局范围的变量，位于内存中的某个远程位置。即使 a 是来自 z[0] 的几个缓存行，我们是否应该期望它比 q 更快地加载到处理器中？是否可能在更高级别的缓存中进行某种预取，这可能会防止完全缓存未命中？ q 肯定需要从主内存中拉取，因为它来自内存中的远程位置。 *pq 和 q 也需要自己从主内存中提取。

所以我的预期是会发生这样的事情:y[0] 会加载 L1 缓存命中，z[0] 可能会加载 L1 或 L2 缓存命中，a 可能是也可能不是 L2 缓存命中，而 q 肯定是缓存未命中。如果 q 太远以至于它也导致 TLB 缓存未命中怎么办？那它会更慢吗？我对这一切的理解是否正确？

流水线对此有何影响？处理器可以对一系列内存加载进行流水线处理，在上一行代码完成之前将 q 从主内存带入缓存。因此，在实践中，我们是否会观察到使用变量 q 的减速，它位于内存的远程位置？

请注意，calc 是内联的，因此它的指令可能构成调用它的函数中更大的操作链的一部分，我认为这有助于流水线化。

变量 *pq 如何影响流水线？编译器不知道 *pq 是指向 q2 还是指向 b 的指针。这会影响流水线的效率吗？

最后，我们到达了 b。它与 a 在同一缓存行上。自从我们上次使用 a 以来，我们不得不做几件事，但希望它仍在 L1 缓存中并且命中？同样，指针 *pq(可能指向 b)的使用会影响此处的优化吗？

Answer 1

我会尽量回答你的问题。

编译器可能会将 MyClass 对象对齐超过 8 个，尤其是当它们在静态内存中时，因此 x 和 y[0] 很可能在同一个缓存行中。大多数编译器会比小对象更多地对齐大对象。

如果MyClass对象是在本地声明的，它会被存储在栈中。在这种情况下，很可能整个对象都在 L1 缓存中。

z[0] 可能被硬件预取，但可能还不够早。

前五行可能会乱序执行，因为它们是独立的。这意味着一行中的任何缓存未命中都不会减慢下一行。

*pq = something 防止乱序执行是对的，因为(在一般情况下)编译器不知道 *pq 是否是其他一些变量的别名。

“a”不一定比“q”加载得快。例如，如果它们都在 2 级缓存中，它们的加载速度将相同。它不取决于距离，而是取决于自上次触摸以来的时间。如果两者都在主 RAM 中并且 q 很远，TLB 未命中或页面边界当然会影响获取时间。

如果 b 与 a 在同一缓存行中，则它会保持缓存状态，但是在解析 *pq 的地址并且发现它不是 b 的别名之前，您无法访问 b。

如果我们假设数据缓存是瓶颈，而代码缓存不是，那么内联 calc 函数在这里没有区别。