c - 如何预加载大型数组以并行缓存？

Question

我的机器是 Intel IvyBride 架构。我的 L3 缓存是 12MB，16 路关联，缓存行大小 64B。

我的程序中有一个非常大的数组 long array[12MB/sizeof(long)]。我想在程序执行之前预加载大数组以加快初始化过程。

我能想到的一种方法是“按顺序”访问从索引 0 到数组末尾的整个数组。但是，访问整个数组的时间太大了。这种方法使用一个核心。

我可以做的另一种方法是使用多个线程并行访问整个数组。每个线程只访问数组的一部分。由于这些线程可以在多个内核上运行，因此可以加快将数组预加载到共享缓存的速度。但是，这种方法需要多核来运行这些线程。

我的问题是:是否有任何硬件(如 DMA)可用于发出命令并使硬件将一堆数据预加载到共享缓存？

Answer 1

在某些情况下是可能的 - 检查您的 CPU 是否支持“DCA”(直接缓存访问)，以及您是否可以激活此功能。这可能有用:https://www.myricom.com/software/myri10ge/790-how-do-i-enable-intel-direct-cache-access-dca-with-the-linux-myri10ge-driver.html

不过我认为您并不真的需要这个，按顺序遍历整个数组应该非常高效，因为它很容易被 CPU 识别为顺序流并触发硬件预取器。由于它是 IvyBridge，即使是线性页面交叉也应该很快，因为它可以预取到下一个物理页面。并行访问多个页面可能会有一些优化(也是在 TLB 未命中延迟方面)，但最终这一切都归结为一个问题——你能否使你的内存带宽饱和。单个核心可能会在核心/L3 边界遇到瓶颈，因此最佳方式是通过在每个核心上运行一个 HW 线程来分配工作，每个核心到不同的段(大小可以是每次迭代一个 4k 页，但更大的 block 也将享受每个核心中页面映射局部性的好处)

但是，您可能遇到比访问数据更大的问题，那就是说服 L3 将数据保存在那里。据说 IvyBridge 在 L3 中使用动态替换策略，这意味着它会问自己 - 谁在使用所有这些数据，并且由于你只是预加载一次，答案可能是“没有人”。那时，L3 可能会决定完全避免缓存该数组，或者将新 block 写入旧 block 。

确切的行为取决于未发布的实际实现，但要“欺骗”它，我相信您必须多次访问每条数据行才能将其丢弃。请注意，连续访问它两次并没有帮助，因为它已经在上层缓存中，您必须在一定距离内访问它 - 不能太短以至于无法再次访问 L3，但也不能太大以避免它被获取扔掉了。当然，需要进行一些实验才能对此进行微调。

编辑:

这是一篇博客文章，介绍了您应该担心的 IvyBridges 的 L3 替换政策 -
http://blog.stuffedcow.net/2013/01/ivb-cache-replacement/

当然，实际过程应该表现得很好，因为它应该被捕获为利用 L3 缓存的好处，它只是预加载阶段可能会给您带来麻烦。如果处理时间相对较长，那么初始冷缺失可能不值得进行预加载 - 提防过早优化。