performance - 是否对现代CPU缓存进行了优化以应对不断发展的步伐？跨线程？

Question

假设我有一个大数组，并且有多个线程从该数组中读取。每个线程都通过跳一个常数来遍历数组，但是从不同的偏移量开始。因此线程1可以从元素0开始，然后读取元素32、64、96等。但是线程2从元素1开始，并且读取元素33、65、97等(请记住，“元素”可能构成我知道通常为了获得最佳的缓存性能而通常需要空间局部性，但是我还读到现代CPU具有硬件预取器，它们会在访问中寻找模式，对我来说，迈出了一大步明显的模式。

那么，此缓存在现代机器上是否友好？

如果我将步幅增加到比缓存行大的水平怎么办？

答案是否受使用多个线程的影响(因此，尽管访问相同的内存，但它们可能在具有不同缓存的不同内核上运行)？

Answer 1

缓存性能非常复杂，真正可靠的答案将来自专门设计调度工作的硬件设计人员或操作系统开发人员。我曾经在大型IBM系统上使用过性能分析工具，所以我可以给出一个部分的，过时的答案:

首先，缓存是按地址关联的。如果寻址了一段内存，则该地址的“缓存行”将被加载到缓存中。根据处理器设计的不同，长度可以为4、8、16或32个字节。 (也许更多。)这很可能是基于“地址”的硬件地址；换句话说，一条32字节的行将位于与32分频地址对齐的边界上。您的内存引用可能在该缓存行的开头，中间或结尾。

将其放入缓存后，该地址将用作“查找”以查找缓存的数据。

如果高速缓存行足够大，使得引用的“相邻”项目恰好已作为高速缓存行的一部分进行了高速缓存，那么引用位置将为您提供帮助。跳过数组将克服这一点。

缓存设计会因供应商，产品线，处理器价格等因素而有很大差异。除非(1)您对要在其上运行的计算机有很多了解，并且(2)您对在任何其他计算机上运行真的不感兴趣，否则，完美的缓存优化将变得非常困难。

要考虑的另一个因素是32位地址的大小是64位地址的一半，这对可以缓存的数据量有很大的影响。将更多的位分配给地址意味着更少的数据位，或多或少。

预取更多的是巫术，而不是科学。从内存获取数据到缓存是昂贵的，即使它与处理器执行是异步的(尽管与执行之间的距离也不会太远)。引用的位置是一个很好的规则，尽管它将基于硬件体系结构，并且不一定与微观规模的代码执行相匹配。 LRU(最近最少使用)是一种确定从缓存中引导内容的常用方法，但是从缓存中删除某些内容以为最终无法使用的内容腾出空间并不是一个很好的优化方法。至少可以这样说，预取将是明智的。

编辑:虚拟内存问题，任务切换等。

虚拟内存无疑使事情变得更加有趣，尤其是在支持多个地址空间的操作系统中。缓存最有可能基于真实地址，而不是虚拟地址，因此诸如页面交换之类的事情可能会对缓存产生有趣的副作用。通常，将要换出或释放的页面将首先失效，然后移动到“刷新列表”(可以在其中将其写入交换文件)或“空闲列表”。根据实现的不同，这些页面仍可以由应用程序回收，但它们不再可寻址-这意味着在回收它们的过程中会发生页面错误。因此，一旦页面从应用程序的工作集中移出，与该页面关联的所有缓存行很有可能会失效。如果页面的使用率不高，那么在缓存中也不会有太多空间，但是在大量交换的情况下，缓存性能和交换性能会受到影响。

同样，某些缓存设计具有“共享”缓存，并且大多数或全部具有特定于处理器和内核的缓存。如果将高速缓存指定给特定的处理器或内核，并且该内核更改了任务，则很可能会刷新整个高速缓存，以避免新进程损坏。这将不包括线程切换，因为线程在相同的进程和相同的地址空间中运行。真正的问题是系统上其他应用程序中的高 Activity 可能会影响您的缓存性能。共享缓存可以在某种程度上缓解此问题，但是必须更仔细地管理以避免损坏。