mpi - 如何以编程方式检测内核数并使用所有内核运行MPI程序

Question

我不想使用mpiexec -n 4 ./a.out在我的核心i7处理器（具有4个核心）上运行程序。相反，我想运行./a.out，让它检测内核数并启动MPI以每个内核运行一个进程。

这样的问答MPI Number of processors?导致我使用mpiexec。

我要避免使用mpiexec的原因是因为我的代码注定是我正在处理的较大项目中的库。较大的项目具有GUI，并且用户将开始进行长时间的计算，这些计算将调用我的库，而该库又将使用MPI。 UI和计算代码之间的集成并非易事……因此，启动外部进程并通过套接字或其他某种方式进行通信不是一种选择。它必须是一个库调用。

这可能吗？我该怎么做？

Answer 1

一般而言，这是一件不平凡的事情。另外，几乎没有任何便携式解决方案不依赖于某些MPI实现细节。以下是与Open MPI以及可能与其他常规MPI实现（MPICH，Intel MPI等）一起使用的示例解决方案。它提供了一些特殊的命令行参数，它涉及第二个可执行文件或原始可执行文件直接调用您的库的方法。就像这样

假定原始可执行文件只是以./a.out开头。调用库函数时，它将调用MPI_Init(NULL, NULL)，这将初始化MPI。由于可执行文件不是通过mpiexec启动的，因此会退回到所谓的单例MPI初始化，即，它将创建一个由单个进程组成的MPI作业。要执行分布式计算，您必须启动更多的MPI流程，这通常会使情况变得复杂。

MPI支持动态流程管理，其中一个MPI作业可以启动第二个作业，并使用互连器与之通信。当第一个作业调用MPI_Comm_spawn或MPI_Comm_spawn_multiple时，会发生这种情况。第一个用于启动对所有MPI等级使用相同可执行文件的简单MPI作业，而第二个可以启动混合不同可执行文件的作业。两者都需要有关在何处以及如何启动流程的信息。这来自所谓的MPI Universe，它不仅提供有关已启动进程的信息，而且还提供有关动态启动进程的可用插槽的信息。 Universe由mpiexec或其他某种启动器机制构建，该机制采用例如具有节点列表和每个节点上的插槽数的主机文件。在没有此类信息的情况下，某些MPI实现（包括Open MPI）将仅在与原始文件相同的节点上启动可执行文件。 MPI_Comm_spawn[_multiple]具有一个MPI_Info参数，可用于提供具有特定于实现的信息的键值巴黎列表。 Open MPI支持add-hostfile键，该键可用于指定在生成子作业时要使用的主机文件。这对于例如允许用户通过GUI指定要用于MPI计算的主机列表很有用。但是，让我们集中讨论没有提供此类信息并且Open MPI只是在同一主机上运行子作业的情况。

假定工作程序可执行文件称为worker。或者，如果使用某些特殊的命令行选项（例如-worker）调用原始可执行文件，则它可以充当工作程序。如果要总共使用N个进程执行计算，则需要启动N-1个worker。这很简单：

（单独的可执行文件）

MPI_Comm child_comm;
MPI_Comm_spawn("./worker", MPI_ARGV_NULL, N-1, MPI_INFO_NULL, 0,
               MPI_COMM_SELF, &child_comm, MPI_ERRCODES_IGNORE);

（相同的可执行文件，有一个选项）

MPI_Comm child_comm;
char *argv[] = { "-worker", NULL };
MPI_Comm_spawn("./a.out", argv, N-1, MPI_INFO_NULL, 0,
               MPI_COMM_SELF, &child_comm, MPI_ERRCODES_IGNORE);

如果一切顺利，则将 child_comm设置为可用于与新作业进行通信的内部通信器的句柄。由于交互器使用起来有些棘手，并且父子工作划分需要复杂的程序逻辑，因此可以将交互器的两侧简单地合并为一个取代了 MPI_COMM_WORLD的“大世界”通信器。在父母一方：

MPI_Comm bigworld;
MPI_Intercomm_merge(child_comm, 0, &bigworld);

在孩子方面：

MPI_Comm parent_comm, bigworld;
MPI_Get_parent(&parent_comm);
MPI_Intercomm_merge(parent_comm, 1, &bigworld);

合并完成后，所有进程都可以使用 bigworld而不是 MPI_COMM_WORLD进行通信。请注意，子作业不与父作业共享其 MPI_COMM_WORLD。

综上所述，这是一个具有两个单独程序代码的完整功能示例。

main.c

#include <stdio.h>
#include <mpi.h>

int main (void)
{
   MPI_Init(NULL, NULL);

   printf("[main] Spawning workers...\n");

   MPI_Comm child_comm;
   MPI_Comm_spawn("./worker", MPI_ARGV_NULL, 2, MPI_INFO_NULL, 0,
                  MPI_COMM_SELF, &child_comm, MPI_ERRCODES_IGNORE);

   MPI_Comm bigworld;
   MPI_Intercomm_merge(child_comm, 0, &bigworld);

   int size, rank;
   MPI_Comm_rank(bigworld, &rank);
   MPI_Comm_size(bigworld, &size);
   printf("[main] Big world created with %d ranks\n", size);

   // Perform some computation
   int data = 1, result;
   MPI_Bcast(&data, 1, MPI_INT, 0, bigworld);
   data *= (1 + rank);
   MPI_Reduce(&data, &result, 1, MPI_INT, MPI_SUM, 0, bigworld);
   printf("[main] Result = %d\n", result);

   MPI_Barrier(bigworld);

   MPI_Comm_free(&bigworld);
   MPI_Comm_free(&child_comm);

   MPI_Finalize();
   printf("[main] Shutting down\n");
   return 0;
}

worker.c

#include <stdio.h>
#include <mpi.h>

int main (void)
{
   MPI_Init(NULL, NULL);

   MPI_Comm parent_comm;
   MPI_Comm_get_parent(&parent_comm);

   int rank, size;
   MPI_Comm_rank(MPI_COMM_WORLD, &rank);
   MPI_Comm_size(MPI_COMM_WORLD, &size);
   printf("[worker] %d of %d here\n", rank, size);

   MPI_Comm bigworld;
   MPI_Intercomm_merge(parent_comm, 1, &bigworld);

   MPI_Comm_rank(bigworld, &rank);
   MPI_Comm_size(bigworld, &size);
   printf("[worker] %d of %d in big world\n", rank, size);

   // Perform some computation
   int data;
   MPI_Bcast(&data, 1, MPI_INT, 0, bigworld);
   data *= (1 + rank);
   MPI_Reduce(&data, NULL, 1, MPI_INT, MPI_SUM, 0, bigworld);

   printf("[worker] Done\n");
   MPI_Barrier(bigworld);

   MPI_Comm_free(&bigworld);
   MPI_Comm_free(&parent_comm);

   MPI_Finalize();
   return 0;
}

下面是它的工作原理：

$ mpicc -o main main.c
$ mpicc -o worker worker.c
$ ./main
[main] Spawning workers...
[worker] 0 of 2 here
[worker] 1 of 2 here
[worker] 1 of 3 in big world
[worker] 2 of 3 in big world
[main] Big world created with 3 ranks
[worker] Done
[worker] Done
[main] Result = 6
[main] Shutting down

子作业必须使用 MPI_Comm_get_parent获取与父作业的对讲器。当进程不属于此类子作业的一部分时，返回值将为 MPI_COMM_NULL。这允许在同一可执行文件中同时实现主程序和工作程序的简便方法。这是一个混合示例：

#include <stdio.h>
#include <mpi.h>

MPI_Comm bigworld_comm = MPI_COMM_NULL;
MPI_Comm other_comm = MPI_COMM_NULL;

int parlib_init (const char *argv0, int n)
{
    MPI_Init(NULL, NULL);

    MPI_Comm_get_parent(&other_comm);
    if (other_comm == MPI_COMM_NULL)
    {
        printf("[main] Spawning workers...\n");
        MPI_Comm_spawn(argv0, MPI_ARGV_NULL, n-1, MPI_INFO_NULL, 0,
                       MPI_COMM_SELF, &other_comm, MPI_ERRCODES_IGNORE);
        MPI_Intercomm_merge(other_comm, 0, &bigworld_comm);
        return 0;
    }

    int rank, size;
    MPI_Comm_rank(MPI_COMM_WORLD, &rank);
    MPI_Comm_size(MPI_COMM_WORLD, &size);
    printf("[worker] %d of %d here\n", rank, size);
    MPI_Intercomm_merge(other_comm, 1, &bigworld_comm);
    return 1;
}

int parlib_dowork (void)
{
    int data = 1, result = -1, size, rank;

    MPI_Comm_rank(bigworld_comm, &rank);
    MPI_Comm_size(bigworld_comm, &size);

    if (rank == 0)
    {
        printf("[main] Doing work with %d processes in total\n", size);
        data = 1;
    }

    MPI_Bcast(&data, 1, MPI_INT, 0, bigworld_comm);
    data *= (1 + rank);
    MPI_Reduce(&data, &result, 1, MPI_INT, MPI_SUM, 0, bigworld_comm);

    return result;
}

void parlib_finalize (void)
{
    MPI_Comm_free(&bigworld_comm);
    MPI_Comm_free(&other_comm);
    MPI_Finalize();
}

int main (int argc, char **argv)
{
    if (parlib_init(argv[0], 4))
    {
        // Worker process
        (void)parlib_dowork();
        printf("[worker] Done\n");
        parlib_finalize();
        return 0;
    }

    // Main process
    // Show GUI, save the world, etc.
    int result = parlib_dowork();
    printf("[main] Result = %d\n", result);
    parlib_finalize();

    printf("[main] Shutting down\n");
    return 0;
}

这是一个示例输出：

$ mpicc -o hybrid hybrid.c
$ ./hybrid
[main] Spawning workers...
[worker] 0 of 3 here
[worker] 2 of 3 here
[worker] 1 of 3 here
[main] Doing work with 4 processes in total
[worker] Done
[worker] Done
[main] Result = 10
[worker] Done
[main] Shutting down

设计此类并行库时要记住一些注意事项：


MPI只能初始化一次。如有必要，请调用 MPI_Initialized来检查库是否已初始化。
MPI只能完成一次。同样， MPI_Finalized是您的朋友。它可以用于 atexit()处理程序中，以在程序退出时实现通用MPI终结。
在线程上下文中使用时（通常在涉及GUI时），必须在对线程的支持下初始化MPI。参见 MPI_Init_thread。