c - 在循环中分配和释放内存(C + MPI)

Question

请参见我的以下代码片段（floatalloc2用于分配数据类型为float的2D连续数组，如果有兴趣，请参见附录）：

#include <stdio.h>
#include <stdlib.h>
#include <mpi.h>

int main(int argc, char *argv[])
{
float **p=NULL, **buffer=NULL;
int it, nt=3, i, j, k, NP, MYID, nx=1, nz=2, nsrc=3, isrc;

MPI_Init ( &argc, &argv );
MPI_Comm_size ( MPI_COMM_WORLD, &NP );
MPI_Comm_rank ( MPI_COMM_WORLD, &MYID ); 

p = floatalloc2(nx,nz);
memset(p[0],0,nz*nx*sizeof(float));

for (it=0; it<nt; it++){            
    for (isrc=MYID; isrc<nsrc; isrc+=NP){
        for (j=0; j<nz; j++){
            for (i=0; i<nx; i++){
                p[j][i] += 1.5 + (float)(isrc) + (float)(j);                   
            }
        }

    }

    for (k=0;k<nsrc-1;k++){ 
        if (MYID==k){ 
            buffer = floatalloc2(nx,nz); 
            memset(buffer[0],0,nz*nx*sizeof(float));
            buffer = p;   

        }else{                
            buffer = floatalloc2(nx,nz);
            memset(buffer[0],0,nz*nx*sizeof(float));
        }
        MPI_Barrier(MPI_COMM_WORLD);
        MPI_Bcast(&buffer[0][0],nx*nz,MPI_FLOAT,k,MPI_COMM_WORLD);
        MPI_Barrier(MPI_COMM_WORLD);
        for (j=0; j<nz; j++){
            for (i=0; i<nx; i++){
                printf("it=%d,k=%d,Node %d,p[%d][%d]=%f\n",it,k,MYID,j,i,p[j][i]);
            }
        }                        
        free(*buffer);free(buffer); /*w/o this line is ok while not ok with this line */
    }

}

MPI_Finalize();
exit(0);
}

根据经验，C会在分配内存后释放内存，即使在循环中也是如此。但是在这里，如果我不添加 free(*buffer);free(buffer);，那是相当不错的。但是，如果使用 free，则结果是错误的。那么我的代码有什么问题呢？

floatalloc2的附录：

/*@out@*/ void *sf_alloc (size_t n, size_t size )
  /*< output-checking allocation >*/
{
void *ptr; 

size *= n;

if (0>=size) sf_error("%s: illegal allocation (%d bytes)",__FILE__,size);

ptr = malloc (size);

if (NULL == ptr)
sf_error ("%s: cannot allocate %lu bytes:", __FILE__,size);

return ptr;
}


/*@out@*/ float *sf_floatalloc (size_t n)
  /*< float allocation >*/ 
{
float *ptr;
ptr = (float*) sf_alloc (n,sizeof(float));
return ptr;
}


/*@out@*/ float **floatalloc2 (size_t n1 , size_t n2 )
/*< float 2-D allocation, out[0] points to a contiguous array >*/ 
{
  size_t i2;
  float **ptr;

  ptr = (float**) sf_alloc (n2,sizeof(float*));
  ptr[0] = sf_floatalloc (n1*n2);
  for (i2=1; i2 < n2; i2++) {
    ptr[i2] = ptr[0]+i2*n1;
  }
  return ptr;
}

Answer 1

假设我们使用float **p = floatalloc2(columns, rows)。然后，为p浮点指针（rows）分配float *，为p[0]浮点分配columns*rows。如果该库不提供floatfree2()或free2()函数，则可以使用free(*p); free(p);以此顺序释放为2D数组分配的内存。这也是OP所做的。

内循环

    for (k=0;k<nsrc-1;k++){ 
        if (MYID==k){ 
            buffer = floatalloc2(nx,nz); 
            memset(buffer[0],0,nz*nx*sizeof(float));
            buffer = p;
        }else{                
            buffer = floatalloc2(nx,nz);
            memset(buffer[0],0,nz*nx*sizeof(float));
        }
        ...
        free(*buffer);free(buffer); /*w/o this line is ok while not ok with this line */
    }

buffer = p;行替换了前两行分配和初始化的2D数组；这本质上是内存泄漏。我想这个想法是将 p的内容复制到它，但是我不确定。

此外，稍后， free(*buffer); free(buffer);行最终释放了 p迭代中 k == MYID描述的2D数组。

解决此问题的一种方法是让 buffer为 p的别名。

 for (k = 0; k < nsrc-1; k++) { 
    if (MYID == k) {
        buffer = p;
    } else {                
        buffer = floatalloc2(nx,nz);
        memset(buffer[0], 0, nz*nx*sizeof(float));
    }
    ...
    if (buffer != p) {
        free(*buffer);
        free(buffer);
    }
}

这样，当 k == MYID时， k == MYID实际上指向 buffer；否则，将为每个迭代动态分配和释放它。显然，当 p为 buffer别名时，我们不会释放它，因为那样会释放 p。

您可以在 p之前添加 free(*p); free(p);，以释放为 MPI_Finalize()分配的内存，但这并不是绝对必要的，因为该过程将要退出。 （但是，如果您使用例如Valgrind查找内存泄漏，或者希望表明您（程序员）确实正确跟踪动态分配，则很有用；在这种情况下，添加注释可能会很有用。）

更好的方法是只分配一次缓冲区，然后在每次迭代中重用它：

float **p, **buffer;

p = floatalloc2(nx, nz);
memset(p[0], 0, nz*nx*sizeof p[0][0]);

buffer = floatalloc2(nx, nz);
memset(buffer[0], 0, nz*nx*sizeof buffer[0][0]);

for (it=0; it < nt; it++) {
    for (isrc=MYID; isrc < nsrc; isrc+=NP) {
        for (j=0; j<nz; j++){
            for (i=0; i<nx; i++){
                p[j][i] += 1.5 + (float)(isrc) + (float)(j);                   
            }
        }
    }

    for (k=0; k<nsrc-1; k++) {
        float **data;

        if (MYID == k) {
            data = p;
        } else {
            data = buffer;
            memset(buffer[0], 0, nz*nx*sizeof buffer[0][0]);
        }

        MPI_Barrier(MPI_COMM_WORLD);
        MPI_Bcast(&(data[0][0]), nx*nz, MPI_FLOAT, k, MPI_COMM_WORLD);
        MPI_Barrier(MPI_COMM_WORLD);

        for (j=0; j<nz; j++) {
            for (i=0; i<nx; i++) {
                printf("it=%d,k=%d,Node %d,data[%d][%d]=%f, p[%d][%d]=%f\n",
                       it, k, MYID, j, i, data[j][i], p[j][i]);
            }
        }                        
    }
}

free(*buffer);
free(buffer);

free(*p);
free(p);

请注意， p和 sizeof p[0][0]是评估为 sizeof buffer[0][0] / p每个元素的大小（以字符为单位）的语句，并且实际上不检查任何内存。即使编译器 buffer或 p == NULL，这些也是允许的并且是安全的，因为编译器仅检查表达式的类型（在 p[0] == NULL运算符的右侧）。为了提醒自己，我从未在 sizeof运算符右侧的变量引用周围使用括号。 （当您使用诸如 sizeof之类的类型时，必须加上括号。然后，我将其写为 float。）这可以帮助我记住 sizeof (float)是一个运算符，尽管它的行为不像一个函数。可能看起来像一个函数。

sizeof只是对 float **data;或 p中实际数据的引用（或别名）；我们需要使用的只是分配它， buffer或 data = p;。因为它是指向完全相同的数据的引用或别名，所以我们根本不对它进行抄送。如果这样做，我们最终将释放原始数据 data = buffer;或 free()。



在对问题的评论中，我提到使用双重间接寻址（ p，其中 buffer是元素，并且 float **data和 data[row][column]都是指针）不是很有效。在实践中，使用结构代替。例如：

typedef struct {
    int    rows;
    int    cols;
    float *data;
} float2d;
#define  FLOAT2D_INIT  { 0, 0, NULL }

static inline void float2d_alloc(float2d *m, const int rows, const int cols)
{
    do {
        if (!m) {
            fprintf(stderr, "float2d_alloc(): No matrix specified.\n");
            break;
        }

        if (rows < 1 || cols < 1) {
            fprintf(stderr, "float2d_alloc(): Invalid matrix size (%d rows, %d cols).\n", rows, cols);
            break;
        }

        m->data = malloc((size_t)rows * (size_t)cols * sizeof m->data[0]);
        if (!m->data) {
            fprintf(stderr, "float2d_alloc(): Not enough memory available.\n");
            break;
        }

        m->rows = rows;
        m->cols = cols;
        return;

    } while (0);

    /* MPI_Abort(MPI_COMM_WORLD, 1); */
    exit(1);
}

static inline void float2d_free(float2d *m)
{
    if (m) {
        free(m->data);
        m->rows = 0;
        m->cols = 0;
        m->data = NULL;
    }
}

如果已分配 data[row]，则要使用 data来访问行 float2d p;，列 r上的元素。所有数据在内存中都是连续的；有 c个元素，总大小为 p.data[r*p.cols + c]。要引用行 p.cols*p.rows上的浮点数数组，可以使用 p.cols*p.rows*sizeof p.data[0]（等效于 r）。

如果您对这种方法感兴趣，并且可以处理大量矩阵（或密集的2D数据数组），则可能希望查看 here作为结构示例，以使方法更进一步。它基本上允许一个人创建另一个矩阵的任何常规矩形部分（例如对角线，子矩阵，一些连续的奇数行，偶数行等）的实时视图（引用完全相同的数据），并保留代码标签（计算对数据的引用），以便在销毁某些数据的最终用户的矩阵时，数据会自动释放。每个元素访问的确需要两个乘法和一个加法，而不是仅一个乘法和一个加法，但实际上这是可忽略的开销，并且矩阵结构的多功能性绝对可以平衡这一点。