linux - 如何解释 numademo 输出

Question

numademo 实用程序(是 numactl 包的一部分)随许多流行的 linux 发行版(RHEL、SLES 等)一起提供。我试图找出与此工具相关的任何文档，但找不到任何有用的信息。要么没有人使用它，要么每个使用它的人都知道它。

这是一个示例输出

2 个节点可用

memory with no policy memcpy              Avg 10415.77 MB/s Max 10427.37 MB/s Min 10377.83 MB/s
local memory memcpy                       Avg 9499.52 MB/s Max 10423.22 MB/s Min 7239.55 MB/s
memory interleaved on all nodes memcpy    Avg 7355.64 MB/s Max 7657.19 MB/s Min 6284.92 MB/s
memory on node 0 memcpy                   Avg 5837.94 MB/s Max 6073.07 MB/s Min 5067.05 MB/s
memory on node 1 memcpy                   Avg 10285.20 MB/s Max 10425.29 MB/s Min 9206.11 MB/s
memory interleaved on 0 1 memcpy          Avg 7513.01 MB/s Max 7658.31 MB/s Min 6440.88 MB/s

setting preferred node to 0
memory without policy memcpy              Avg 6071.17 MB/s Max 6073.07 MB/s Min 6069.55 MB/s

setting preferred node to 1
memory without policy memcpy              Avg 9126.62 MB/s Max 10427.37 MB/s Min 7236.55 MB/s
manual interleaving to all nodes memcpy   Avg 7357.19 MB/s Max 7656.07 MB/s Min 6439.30 MB/s
manual interleaving on node 0/1 memcpy    Avg 7512.90 MB/s Max 7658.31 MB/s Min 6439.30 MB/s

current interleave node 1
running on node 0, preferred node 0
local memory memcpy                       Avg 10086.53 MB/s Max 10423.22 MB/s Min 8943.84 MB/s
memory interleaved on all nodes memcpy    Avg 6451.66 MB/s Max 6454.36 MB/s Min 6448.01 MB/s
memory interleaved on node 0/1 memcpy     Avg 5199.00 MB/s Max 5200.24 MB/s Min 5196.63 MB/s
alloc on node 1 memcpy                    Avg 5068.47 MB/s Max 5069.99 MB/s Min 5067.05 MB/s
local allocation memcpy                   Avg 10248.81 MB/s Max 10421.15 MB/s Min 8933.17 MB/s

setting wrong preferred node memcpy       Avg 6070.75 MB/s Max 6072.37 MB/s Min 6067.45 MB/s
setting correct preferred node memcpy     Avg 10418.04 MB/s Max 10423.22 MB/s Min 10408.74 MB/s

running on node 1, preferred node 0
local memory memcpy                       Avg 10417.63 MB/s Max 10423.22 MB/s Min 10400.48 MB/s
memory interleaved on all nodes memcpy    Avg 7653.39 MB/s Max 7660.55 MB/s Min 7641.57 MB/s
memory interleaved on node 0/1 memcpy     Avg 6949.18 MB/s Max 7658.31 MB/s Min 5201.27 MB/s
alloc on node 0 memcpy                    Avg 5952.14 MB/s Max 6073.77 MB/s Min 5065.10 MB/s
local allocation memcpy                   Avg 10419.28 MB/s Max 10425.29 MB/s Min 10402.54 MB/s

setting wrong preferred node memcpy       Avg 6069.06 MB/s Max 6073.07 MB/s Min 6059.03 MB/s
setting correct preferred node memcpy     Avg 10248.81 MB/s Max 10423.22 MB/s Min 8946.89 MB/s

我需要知道这些测试是如何进行的？

如何解释这些结果？

例如:什么会导致后面的数字出现巨大差异。

memory on node 0 memcpy                   Avg 5837.94 MB/s
memory on node 1 memcpy                   Avg 10285.20 MB/s

谢谢，哈尔沙纳

Answer 1

测试是不言自明的。它使用 libnuma 中的函数在不同的 NUMA 节点上分配内存并测量对其进行操作所需的时间。例如，看起来您的程序最初是在第二个 NUMA 域的 CPU 内核上运行的，因此访问节点 0 上的内存几乎要慢两倍。交错内存的访问速度通常是两个域访问速度的平均值，因为页面以循环方式分布。

setting preferred node to 0 表示程序告诉操作系统优先分配节点 0 上的内存。以下测试确认此策略有效，因为速度仍然很慢(如程序仍然在节点 1 上运行)。

setting preferred node to 1 告诉操作系统优先在节点 1 上分配内存。因此速度更快，因为该节点对于执行程序而言是本地的。

running on node 0, preferred node 0 - 程序将自身移动到节点 0(libnuma 还支持 CPU 绑定(bind)和内存绑定(bind))并将内存分配器设置为也首选节点 0。因此首选内存位置现在是执行程序的本地位置，因此速度很高。

等等。只需查看该实用程序的源代码即可。

结果不是很对称，原因也很复杂。请注意，NUMA 在 Linux 上的实现很糟糕，至少在 2.6.x 内核中是这样(在 3.x 中可能有所改进)。例如，内存分配器倾向于合并连续的虚拟分配，然后不再遵守内存绑定(bind)策略，例如绑定(bind)到节点 0 的 VM 区域有时会映射到节点 1 中的页面。此外，如果内存被换出到磁盘，无论何时将其带回，NUMA 策略都会被完全忽略，例如绑定(bind)到 NUMA 节点 0 的内存可能最终出现在节点 1 上。