c - 如何使用源代码测量每个节点的 MPI 基准？

Question

我想知道如何测量每个节点的内存带宽(流基准)。我的这个程序仅在一个节点上进行测量，进程和线程的数量如下:

MPI_Comm_size(MPI_COMM_WORLD, &numranks);
MPI_Comm_rank(MPI_COMM_WORLD, &myrank);
omp_set_dynamic(0);    
omp_set_num_threads(4);
#pragma omp parallel
{
}

它实际上是 mpi 和 openmp 的混合体。有没有办法指定节点并对每个节点进行测量？ (假设我有 4 个节点)我想使用源代码而不是 slurm-batch 脚本来完成此操作。我可以使用进程 ID 指定每个节点的第一个核心，但每次如何在整个节点上运行测量(包括任意数量的核心)？

如有任何建议，我们将不胜感激。

Answer 1

自从我使用 MPI 以来已经有一段时间了，所以我并没有真正回答“如何编写代码”的问题。我更多地关注事物的基准方法方面，因此您希望可以将其设计为实际测量有用的东西。基准测试很难；获得一个数字很容易，但很难获得一个有意义的数字来衡量您想要衡量的内容。

<小时/>

您可以只查询您获得哪些节点，而不是指定您获得哪些节点。 (即检测 MPI 作业的多个进程最终位于同一物理主机上、竞争内存带宽的情况。)

您还可以随机化每个节点上运行的线程数或其他内容，以查看带宽如何随着执行 memcpy、memset 或只读操作(例如缩减或 memcmp)的线程数量而变化。

<小时/>

在最近的 Intel Xeon 上，每台机器一个线程不会接近饱和内存带宽，除非是类似于台式机 CPU 的低核心数 CPU。 (只有当您的代码编译为高效的矢量化 asm 时)。 L3/内存延迟太高，导致单核有限的内存并行性导致吞吐量饱和。 (请参阅 Why is Skylake so much better than Broadwell-E for single-threaded memory throughput? 和 Enhanced REP MOVSB for memcpy 中的“延迟限制平台”。)

可能需要 4 到 8 个线程运行带宽瓶颈代码(如 STREAMS 基准测试)才能使多核 Xeon 的内存带宽饱和。更多的线程将具有大约相同的总数，除非您使用非常小的数组进行测试，以便私有(private)的每核 L2 缓存发挥作用。 (现代 Intel CPU 上为 256kB，而每核 L3 的大型共享约为 2MB)。更新:Skylake-AVX512 上每个核心专用 L2 1 MiB。

对于双路节点，NUMA 是一个因素。如果您的线程最终使用的内存全部映射到一个套接字上的物理内存 Controller ，而使另一套接字的内存 Controller 空闲，您将只能看到机器带宽的一半。这可能是测试内核的 NUMA 感知物理内存分配是否能够很好地满足您的实际工作负载的好方法。 (如果您的带宽微基准与您的实际工作负载类似)

请记住，内存带宽是节点上所有核心的共享资源，因此为了获得可重复的结果，您需要避免与其他负载竞争。即使内存占用很小的东西也可以使用大量带宽，如果它的工作集不适合私有(private)的每核 L2 缓存，所以不要假设另一个作业不会仅仅因为它只使用内存带宽而竞争内存带宽几百 MB。