gpt4 book ai didi

c++ - mpi MPI_Send() 适用于小数据集但不适用于大数据集

转载 作者:行者123 更新时间:2023-11-30 05:36:49 26 4
gpt4 key购买 nike

最近才知道MPI_Send不能一次发送太长的数据,所以决定把数据分成几 block ,用for循环发送。下面是一个测试用例。这里的问题是,如果我使用少量数据并将其分成几 block ,程序将运行;但是,当数据很长时,不管我把它分成多少 block ,程序就是运行不起来。当我运行它时,我只听到我的电脑发出很大的噪音。所以我想知道是什么原因以及如何使 MPI_Send 将大数据集发送到其他处理器。谢谢!

    #include<iostream>
#include<mpi.h>
#include<vector>
using namespace std;

//This set of N and N+Parts won't work
#define N 1024*1024*5
#define N_PARTS 1000


//This works
#define N 1024*5
#define N_PARTS 10

#define MASTER 0


int main(int argc, char** argv)
{
int np, pid;
vector<int> arr;
for(int i=0; i<N; ++i) arr.push_back(i);

int LENGTH = N/N_PARTS;
int N_RES = N%N_PARTS;
// cout << LENGTH << endl;
// cout << N_RES << endl;
MPI_Init(&argc, &argv);
MPI_Comm_size(MPI_COMM_WORLD, &np);
MPI_Comm_rank(MPI_COMM_WORLD, &pid);

for(int i=0; i< N_PARTS-1; ++i){
MPI_Send(&arr[0]+i*LENGTH,LENGTH,MPI_INT,MASTER,0,MPI_COMM_WORLD);
}
MPI_Send(&arr[0]+LENGTH*(N_PARTS-1),N_RES,MPI_INT,MASTER,0,MPI_COMM_WORLD);
MPI_Finalize();
}

最佳答案

MPI_Send - MPI_Recv 是点对点交互。如果您从一个处理器发送数据,那么您应该在另一个处理器上接收数据。因此,您的代码必须如下所示:

if (pid == MASTER) {
for (int i = 1; i < np; i++) {
MPI_Send(&arr[0] + i*LENGTH, LENGTH, MPI_INT, i, 0, MPI_COMM_WORLD);
}
} else {
arr.resize(LENGTH);
MPI_Recv(&arr[0], LENGTH, MPI_INT, MASTER, 0, MPI_COMM_WORLD, &status);
}

您还可以阅读 this关于 MPI_SendMPI_Recv 的教程。

更新:另外我认为你不应该在每个处理器上初始化你的数据。您可以在编号为 0 的处理器上初始化数据,并将此数据发送到所有其他处理器:

if (pid == MASTER) {
for (int i = 0; i<N; ++i) arr.push_back(i);
}

关于c++ - mpi MPI_Send() 适用于小数据集但不适用于大数据集,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/33447497/

26 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com