C++ std::bad_alloc 错误

Question

我正在开发 C++ 程序 (C++ 98)。它读取一个包含很多行(10000 行)的文本文件。这些是制表符分隔值，然后我将其解析为 Vector 对象的 Vector。然而，它似乎适用于某些文件(较小)，但我的一个文件给我以下错误(该文件有 10000 行，大小为 90MB)。我猜这是一个内存相关的问题？你能帮帮我吗？

错误

terminate called after throwing an instance of 'std::bad_alloc'
  what():  std::bad_alloc
Abort

代码

void AppManager::go(string customerFile) {

    vector<vector<string> > vals = fileReader(customerFile);

    for (unsigned int i = 0; i < vals.size();i++){

        cout << "New One\n\n";

        for (unsigned int j = 0; j < vals[i].size(); j++){

            cout << vals[i][j] << endl;
        }

        cout << "End New One\n\n";
    }
}

vector<vector<string> > AppManager::fileReader(string fileName) {

    string line;
    vector<vector<string> > values;

    ifstream inputFile(fileName.c_str());

    if (inputFile.is_open()) {

        while (getline(inputFile,line)) {

            std::istringstream iss(line);
            std::string val;
            vector<string> tmp;

            while(std::getline(iss, val, '\t')) {

                tmp.push_back(val);
            }

            values.push_back(tmp);
        }

        inputFile.close();
    }
    else {

        throw string("Error reading the file '" + fileName + "'");
    }

    return values;
}

Answer 1

您的代码没有任何问题，您只是在一个可能具有较小内存限制的平台上运行，可能是一个旧的编译器和一个旧的 C++ 库。这一切都在密谋反对你。你必须微优化:(

这是你可以做的，首先从最低的挂果开始:

1. 试运行文件，只计算行数。然后 values.resize(numberOfLines) ，寻找开始，然后才读取值。当然，您不会再使用 values.push_back，而只会使用 values[lineNumber] = tmp。在向其添加时调整 values vector 的大小可能会使您的进程临时所需的内存量增加一倍以上。

2. 在该行的末尾，执行 tmp.resize(tmp.size() - 它会缩小 vector 以适合数据。

3. 您可以通过将所有值存储在一个 vector 中来减少现有代码的开销。

   1. 如果每行有不同数量的元素，但您稍后按顺序访问它们，您可以存储一个空字符串作为内部分隔符，它的开销可能低于 vector 。

      <

   2. 如果每行具有相同数量的值，则按行拆分它们会增加不必要的开销 - 您知道每行中第一个值的索引，它只是 lineNumber * valuesPerLine，其中第一行有数字 0。

4. 内存映射文件。将每个单词的开头和结尾存储在一个 vector 的结构元素中，如果您需要将其分成几行，也可能带有行号。