x86 - 英特尔酷睿 i7 处理器使用了哪种缓存映射技术？

Question

我已经了解了不同的缓存映射技术，例如直接映射和完全关联或集合关联映射，以及它们之间的权衡。 ( Wikipedia )
但我很好奇现在英特尔酷睿 i7 或 AMD 处理器中使用的是哪一个？
这些技术是如何发展的？以及需要改进的地方有哪些？

Answer 1

现代高性能 CPU 中基本上从不使用直接映射缓存 .对于相同大小的组关联缓存，命中率的巨大优势超过了节能，而控制逻辑只是稍微复杂了一点。如今，晶体管预算非常大。
对于软件来说，至少有几个彼此相距 4k 倍的数组是很常见的，这会在直接映射缓存中产生冲突未命中。 (如果一个循环需要一次遍历所有数组，则调整具有多个数组的代码可能涉及倾斜它们以减少冲突未命中)
现代 CPU 速度如此之快，以至于 DRAM 延迟超过 200 个核心时钟周期，即使对于强大的乱序执行 CPU 来说，这也太大了，无法很好地隐藏缓存未命中。

多级缓存必不可少 (并且使用的是所有高性能 CPU)为 HitTest 数据提供低延迟(~4 个周期)/高吞吐量(例如 up to 2 loads and 1 store per clock ，在 L1D 缓存和向量加载之间具有 128、256 甚至 512 位路径/store 执行单元)，同时仍然足够大以缓存合理大小的工作集。构建一个非常大/非常快/高度关联的缓存在物理上是不可能的，它的性能与当前典型工作负载的多级缓存一样；当数据必须物理传输很远时，光速延迟是一个问题。电力成本也会令人望而却步。 (实际上，功率/功率密度是现代 CPU 的主要限制因素，请参阅 Modern Microprocessors: A 90-Minute Guide!。)
在我知道的所有 x86 CPU 中，所有级别的缓存(除了 uop 缓存)都被物理索引/物理标记。大多数设计中的 L1D 缓存从页面偏移下方获取它们的索引位，因此也是 VIPT，允许 TLB 查找与标签提取并行发生，但没有任何别名问题。因此，不需要在上下文切换或任何事情上刷新缓存。 (参见 this answer for more about multi-level caches 一般和 VIPT 速度技巧，以及一些实际 x86 CPU 的一些缓存参数。)

私有(private)(每核)L1D/L1I 和 L2 缓存是传统的组关联缓存 ，通常是 8 路或 4 路用于小/快速缓存。所有现代 x86 CPU 上的缓存线大小为 64 字节。数据缓存是回写的。 (除了 AMD Bulldozer 系列，其中 L1D 是使用小型 4kiB 写入组合缓冲区进行直写。)
http://www.7-cpu.com/具有良好的缓存组织/延迟数字、带宽和 TLB 组织/性能数字，适用于各种微架构，包括许多 x86，like Haswell .
英特尔 Sandybridge 系列中的“L0”解码 uop 缓存是集合关联的，并且是虚拟寻址的 .最多 6 个 uop 的 3 个块可以缓存来自 32 字节机器代码块中指令的解码结果。相关:Branch alignment for loops involving micro-coded instructions on Intel SnB-family CPUs . (uop 缓存是 x86 的一大进步:x86 指令长度可变，难以快速/并行解码，因此缓存内部解码结果以及机器码 (L1I$) 具有显着的功率和吞吐量优势。强大的仍然需要解码器，因为 uop 缓存并不大；它在循环(包括中到大循环)中最有效。这避免了 Pentium4 错误(或当时基于传输器大小的限制)具有弱解码器和依赖跟踪缓存。)

现代英特尔(和 AMD，我假设)L3 又名 LLC 又名 最后一级缓存使用的索引函数不仅仅是地址位范围 .这是一个散列函数，可以更好地分配事物以减少固定步幅的冲突。 According to Intel my cache should be 24-way associative though its 12-way, how is that? .

从尼哈勒姆开始 , Intel 用了一个 大型包容性共享 L3 缓存，可过滤内核之间的一致性流量 .即，当一个内核读取另一个内核的 L1d 中处于修改状态的数据时，L3 标签会说明哪个内核，因此 RFO(读取所有权)只能发送到该内核，而不是广播。 How are the modern Intel CPU L3 caches organized? .包容性属性很重要，因为这意味着没有私有(private) L2 或 L1 缓存可以在 L3 不知道的情况下拥有缓存行的副本。如果它在私有(private)缓存中处于 Exclusive 或 Modified 状态，则 L3 将具有该行的无效数据，但标签仍会说明哪个核心可能有副本。绝对没有副本的内核不需要发送有关它的消息，从而通过内核和 L3 之间的内部链接节省功率和带宽。见 Why On-Chip Cache Coherence Is Here to Stay有关英特尔“i7”中片上缓存一致性的更多详细信息(即 Nehalem 和 Sandybridge 系列，它们是不同的架构，但使用相同的缓存层次结构)。
Core2Duo 有一个共享的最后一级缓存 (L2)，但在 L2 未命中时生成 RFO(读取所有权)请求的速度很慢。因此，具有适合 L1d 的小缓冲区的内核之间的带宽与不适合 L2 的大缓冲区(即 DRAM 速度)一样慢。当缓冲区适合 L2 而不是 L1d 时，大小范围会很快，因为写入核心将自己的数据驱逐到 L2，其他核心的负载可以在此处命中而不生成 RFO 请求。 (请参阅 Ulrich Drepper 的“每个程序员应该了解的内存知识”中的 Figure 3.27: Core 2 Bandwidth with 2 Threads。(Full version here)。

Skylake-AVX512 具有更大的每核 L2(1MiB 而不是 256k)，每核具有更小的 L3 (LLC) 切片。不再包容 .它使用网状网络而不是环形总线将核心相互连接起来。见 this AnandTech article (但它在其他页面的微架构细节中存在一些不准确之处，see the comment I left)。

From Intel® Xeon® Processor Scalable Family Technical Overview

Due to the non-inclusive nature of LLC, the absence of a cache line in LLC does not indicate that the line is not present in private caches of any of the cores. Therefore, a snoop filter is used to keep track of the location of cache lines in the L1 or MLC of cores when it is not allocated in the LLC. On the previous-generation CPUs, the shared LLC itself took care of this task.

这个“窥探过滤器”只有在它不能有漏报时才有用。可以将无效或 RFO ( MESI ) 发送到没有行副本的核心。当另一个核心请求独占访问它时，让一个核心保留一行的副本是不行的。因此，它可能是一个包含标签的跟踪器，它知道哪些内核可能具有哪一行的副本，但不缓存任何数据。
或者，如果不严格包含所有 L2/L1 标签，窥探过滤器可能仍然有用。我不是多核/多套接字监听协议(protocol)的专家。我认为相同的监听过滤器也可能有助于过滤套接字之间的监听请求。 (在 Broadwell 及更早版本中，只有四路和更高版本的 Xeon 具有用于核间流量的监听过滤器； dual-socket-only Broadwell Xeon and earlier don't filter snoop requests between the two sockets。)

AMD 锐龙 uses separate L3 caches for clusters of cores ，因此必须在每个集群的 L3 中复制跨多个核心共享的数据。同样重要的是，从一个集群中的核心写入需要更长的时间才能对另一个集群中的核心可见，一致性请求必须通过集群之间的互连。 (类似于多插槽 Intel 系统中的插槽之间，其中每个 CPU 包都有自己的 L3。)
因此，这为我们提供了 NUCA(非统一缓存访问)，类似于您在多插槽系统中获得的通常的 NUMA(非统一内存访问)，其中每个处理器都有一个内置的内存 Controller ，并且访问本地内存是比访问连接到另一个套接字的内存更快。

最近的英特尔多插槽系统具有可配置的监听模式，因此理论上您可以调整 NUMA 机制以使其最适合您正在运行的工作负载。见 Intel's page about Broadwell-Xeon有关可用监听模式的表格 + 说明。

另一个进步/进化是 an adaptive replacement policy in the L3 on IvyBridge and later .当某些数据具有时间局部性但工作集的其他部分要大得多时，这可以减少污染。 (即，使用标准 LRU 替换循环遍历一个巨大的数组将驱逐所有内容，让 L3 缓存仅缓存不会很快再次触及的数组中的数据。自适应替换尝试缓解该问题。)

进一步阅读:

What Every Programmer Should Know About Memory?

Why is Skylake so much better than Broadwell-E for single-threaded memory throughput? ? (多核至强 CPU 上的单线程内存带宽受 max_concurrency/延迟的限制，而不是 DRAM 带宽)。

http://users.atw.hu/instlatx64/用于内存性能计时结果

http://www.7-cpu.com/用于缓存/TLB 组织和延迟数字。

http://agner.org/optimize/用于微架构细节(主要是关于执行管道，而不是内存)和 asm/C++ 优化指南。

Stack Overflow's x86 tag wiki 有一个表演部分，其中包含指向这些内容的链接以及更多内容。