c++读取文件并将整数存储在 vector 中。最终占用的内存比实际文件大小多 5 倍

Question

我需要读取几个输入文件(每个文件都包含一个二维整数矩阵)并将它们存储在一个二维 vector vector 中。下面是我写的代码:

int main(int argc, char *argv[]) {
  /*
    int my_rank;
    int p;
    MPI_Init(&argc, &argv);
    MPI_Comm_rank(MPI_COMM_WORLD, &my_rank);
    MPI_Comm_size(MPI_COMM_WORLD, &p);
  */

  std::vector<std::vector<std::vector<int > > > matrices(argc);
  for(int i=1; i<argc; ++i){
      std::string line;
      std::ifstream fp(argv[i]);
      std::vector<std::vector<int> > matrix;

      if (fp.is_open()) {
          while (getline(fp, line)) {
              if(line!=""){
                  //add a new row to file
                  std::vector<int> newRow;
                  //parse each row put the values in the file buffer
                  std::stringstream buff(line);
                  //buffValue is each number in a row
                  int buffValue;
                  while (buff >> buffValue) {
                      newRow.push_back(buffValue);
                  }
                  matrix.push_back(newRow);
              }
          }
      }
      else {
          std::cout << "Failed to read files" << std::endl;
      }
     matrices.push_back(matrix);
  }
  //MPI_Finalize();
  return 0;
}

这里有两个问题:

1. 当我读入一个 175M 的文件时，程序最终占用了 900M 的常驻内存。这是一个问题，因为我通常需要读入 4 个文件，每个文件有几百 M。它最终会占用多个 G 的内存。这是因为我读取/存储整数的方式吗？

2. 如果我取消注释涉及 MPI 的行，常驻内存使用量会上升到 1.7G，这是正常现象还是我这里做错了什么，我正在使用 MPICH。

Answer 1

Vector-of-vector-of-vector 不是一个有效的结构。你有 vector 类本身的内存开销，加上 push_back 的标准行为.

A vector当需要在 push_back 之后调整大小时，内存将呈指数增长，以满足时间复杂度要求。如果您的 vector 容量当前为 10 个值，而您添加 11 个值，那么它很可能会将其容量调整为 20 个值。

这种增长的一个副作用是潜在的内存碎片。 vector 内存被定义为连续的。标准分配器没有 realloc能力，就像在 C 中一样。因此，他们必须在其他地方分配更多内存，移动数据并释放旧存储。这会在内存中留下漏洞，您的程序无法将其用于其他任何用途。更不用说减少数据的缓存位置，从而导致性能不佳。

你最好为你的矩阵创建一个内存效率更高的二维结构，然后将它们推送到 deque 上。而不是 vector . Here's one I prepared earlier ;) .至少，如果您必须对矩阵使用 vector 的 vector ，则使用 vector::reserve 对其进行预分配。 .

如果内存对您来说比 I/O 更重要，那么读取文件两次也不是不可能的。第一次，您获得有关矩阵大小和行长度的信息。然后预分配所有结构，并再次读取文件。

否则，使用某种临时池来存储矩阵的值是可以接受的:

std::deque< std::vector< std::vector< int > > > matrices;
std::vector< size_t > columns;  // number of columns, indexed by row
std::vector< int > values;      // all values in matrix

columns.reserve( 1000 );   // Guess a reasonable row count to begin with
values.reserve( 1000000 ); // Guess reasonable value count to begin with

while( getline(fp, line) ) {
    if( line.empty() ) {
        AddMatrix( matrices, columns, values );
    } else {
        std::istringstream iss( line );
        size_t count = 0;
        for( int val; iss >> val; ) {
            values.push_back( val );
            count++;
        }
        columns.push_back( count );
    }
}

// In case last line in file was not empty, add the last matrix.
AddMatrix( matrices, columns, values );

然后像这样添加矩阵:

void AddMatrix( std::deque< std::vector< std::vector< int > > > & matrices,
                std::vector< size_t > & columns,
                std::vector< int > & values )
{
    if( columns.empty() ) return;

    // Reserve matrix rows
    size_t num_rows = columns.size();
    std::vector< std::vector< int > > matrix;
    matrix.reserve( num_rows );

    // Copy rows into matrix
    auto val_it = values.begin();
    for( size_t num_cols : columns )
    {
        std::vector< int > row;
        row.reserve( num_cols );
        std::copy_n( val_it, num_cols, std::back_inserter( row ) );
        matrix.emplace_back( row );
        val_it += num_cols;
    }

    // Clear the column and value pools for re-use.
    columns.clear();
    values.clear();
}

最后，我建议你从 <cstdint> 中选择一个合适的整数类型而不是将其留给编译器。如果只需要 32 位整数，请使用 int_least32_t .如果您的数据范围适合 16 位整数，您将通过使用 int_least16_t 节省大量内存。 .