c++ - MPI_Comm_spawn 和 MPI_Reduce

Question

我有两个程序。产生执行一些计算的“ worker ”的“主人”，我希望主人从 worker 那里得到结果并存储总和。我正在尝试使用 MPI_Reduce 从 worker 那里收集结果，而 worker 使用 MPI_Reduce 发送给主人 MPI_Comm。我不确定这是否正确。这是我的程序:

大师:

#include <mpi.h>
#include <iostream>
using namespace std;

int main(int argc, char *argv[]) { 
    int world_size, universe_size, *universe_sizep, flag; 

    int rc, send, recv;

    // intercommunicator
    MPI_Comm everyone;

    MPI_Init(&argc, &argv); 
    MPI_Comm_size(MPI_COMM_WORLD, &world_size); 

    if (world_size != 1) {
        cout << "Top heavy with management" << endl;
    } 

    MPI_Attr_get(MPI_COMM_WORLD, MPI_UNIVERSE_SIZE, &universe_sizep, &flag);  
    if (!flag) { 
        cout << "This MPI does not support UNIVERSE_SIZE. How many processes total?";
        cout << "Enter the universe size: ";
        cin >> universe_size; 
    } else {
        universe_size = *universe_sizep;
    }
    if (universe_size == 1) {
        cout << "No room to start workers" << endl;
    }

    MPI_Comm_spawn("so_worker", MPI_ARGV_NULL, universe_size-1,  
             MPI_INFO_NULL, 0, MPI_COMM_SELF, &everyone,  
             MPI_ERRCODES_IGNORE);

    send = 0;

    rc = MPI_Reduce(&send, &recv, 1, MPI_INT, MPI_SUM, 0, everyone);

    // store result of recv ...
    // other calculations here
    cout << "From spawned workers recv: " << recv << endl;

    MPI_Finalize(); 
    return 0; 
}

worker :

#include <mpi.h>
#include <iostream>
using namespace std;

int main(int argc, char *argv[]) { 

    int rc, send,recv;


    int parent_size, parent_id, my_id, numprocs; 
    // parent intercomm
    MPI_Comm parent; 
    MPI_Init(&argc, &argv); 

    MPI_Comm_get_parent(&parent); 
    if (parent == MPI_COMM_NULL) {
        cout << "No parent!" << endl;
    }
    MPI_Comm_remote_size(parent, &parent_size); 
    MPI_Comm_rank(parent, &parent_id) ; 
    //cout << "Parent is of size: " << size << endl;
    if (parent_size != 1) {
        cout << "Something's wrong with the parent" << endl;
    }

    MPI_Comm_rank(MPI_COMM_WORLD, &my_id) ;     
    MPI_Comm_size(MPI_COMM_WORLD, &numprocs) ;  

    cout << "I'm child process rank "<< my_id << " and we are " << numprocs << endl;
    cout << "The parent process rank "<< parent_id << " and we are " << parent_size << endl;

    // get value of send
    send = 7; // just an example
    recv = 0;

    rc = MPI_Reduce(&send, &recv, 1, MPI_INT, MPI_SUM, parent_id, parent);
    if (rc != MPI_SUCCESS)
        cout << my_id << " failure on mpi_reduce in WORKER" << endl;

    MPI_Finalize(); 
    return 0; 
} 

我编译了两者并像这样执行(mpic++ for osx):

mpic++ so_worker.cpp -o so_worker
mpic++ so_master.cpp -o so_master
mpirun -n 1 so_master

这是运行产生 worker 的主人的正确方法吗？

在 master 中，我总是从 MPI_Reduce 返回 0。我可以使用内部通讯器的 MPI_reduce 还是应该使用工作人员的 MPI_Send 和主机的 MPI_Recv？我真的不确定为什么它不起作用。

如有任何帮助，我们将不胜感激。谢谢!

Answer 1

MPI_Comm_get_parent 返回包含原始进程和所有派生进程的父内部通信器。在这种情况下，调用 MPI_Comm_rank(parent, &parent_id) 不会返回父进程的等级，而是返回当前进程在内部通信器本地组中的等级:

I'm child process rank 0 and we are 3
The parent process **rank 0** and we are 1
I'm child process rank 1 and we are 3
The parent process **rank 1** and we are 1
I'm child process rank 2 and we are 3
The parent process **rank 2** and we are 1

(观察突出显示的值有何不同 - 人们会期望父进程的等级应该相同，不是吗？)

这就是 MPI_Reduce() 调用不会成功的原因，因为所有工作进程都为根等级指定了不同的值。由于原来只有一个master进程，它在parent远程组中的rank为0，因此所有worker都应该指定0为root MPI_Reduce:

//
// Worker code
//
rc = MPI_Reduce(&send, &recv, 1, MPI_INT, MPI_SUM, 0, parent);

这只是问题的一半。另一半是根集体操作(例如 MPI_REDUCE)与内部通信器的操作有点不同。首先必须决定这两个组中的哪一个将托管根。一旦确定了根组，根进程必须将 MPI_ROOT 作为 MPI_REDUCE 中的 root 的值传递给根组中的所有其他进程必须传递 MPI_PROC_NULL。也就是说，接收组中的进程根本不参与根集体操作。由于master代码是这样写的，因此master组中只能有一个进程，那么将master代码中对MPI_Reduce的调用更改为:

//
// Master code
//
rc = MPI_Reduce(&send, &recv, 1, MPI_INT, MPI_SUM, MPI_ROOT, everyone);

请注意，master 本身也不参与归约操作，例如sendbuf(在这种情况下为 &send)的值是无关紧要的，因为根不会发送要减少的数据——它只是收集对值执行的减少的结果来自远程组中的进程。