c++ - 对大型对象(超过30个字段)覆盖istream的最佳方法是什么？

Question

我有一个非常大的文本文件，其中包含超过1100万个条目/行。每行中有35个值，每个值用“|”分隔/定界。
对于我阅读的每一行，我创建一个对象“Record”。我将它们存储在“记录” vector 中，因为我需要能够根据给定字段中的值对它们进行排序。 (如果有，请提出更好的方法)
我知道如何重写istream >>运算符，但是我从来不必对如此大的对象执行此操作，而且我不确定最好的方法是什么。我试图在每个定界符之前创建标记
IE浏览器:

using namespace std; 

inline istream& operator>>(istream& is, Record& r) {
    string line_of_text;
    string token;
    char delim = '|';

    is >> temp;

    token = line_of_text.substr(0, line_of_text.find(delim));
    r.firstField = token;
    
    // so on for each field in Record

    return is;
}

但这是不切实际且效率低下的。
有这么大的对象这样做的合理方法吗？解析这样的文本而不浪费太多内存的最佳方法是什么？
输入示例行:
xx | 0000 | 0 | 0.00 | 3.00 | 111 | 111 | 5.70 | 136000.00 | 620.23 | 80.00 | 47.00 | 0.000 | FIX | P | C | 80.00 |完整| SF | 1. | P |常规| ME | 3 | | |未报告| WFHM | 2 | N | | 1 | 0 | 0 | 0 | 0 | 0 | 126162.03 | 0.00 | 0.00 | 0.00 | 0.00 | 0.00 | 0.00 | 0.00
我也试着做

inline istream& operator>>(istream& is, Record& r) {
    return is >> r.fieldOne >> r.fieldTwo; //....etc
}

但这不起作用，因为许多字段没有用空格隔开，而只是一个'|'，是否有一种使>>跳过“|”的优美方法像空格一样吗？请记住，字段可能为空。

Answer 1

我真的很想一次找到一种用于成员指针的语法，所以...
您可以将指针到成员语法与一组重载的助手一起使用，以使编译器选择正确的转换器:

struct Record
{
    int x;
    std::string y;
    double z;
    
    void readInput(std::istream& in, int Record::*var)
    {
        std::string input;
        std::getline(in, input, '|');
        this->*var = std::stoi(input);
    }
    
    void readInput(std::istream& in, double Record::*var)
    {
        std::string input;
        std::getline(in, input, '|');
        this->*var = std::stod(input);
    }
    
    void readInput(std::istream& in, std::string Record::*var)
    {
        std::getline(in, this->*var, '|');
    }
};

这样， operator >>看起来像这样:

std::istream& operator>>(std::istream& in, Record& r)
{
    r.readInput(in, &Record::x);
    r.readInput(in, &Record::y);
    r.readInput(in, &Record::z);
    //no need to handle last value as special case as long as stream ends there and you don't care that it will be in fail() state afterwards
    return in;
}

See it online

可能会提供一些免费的功能，这些功能会使用引用而不是指向成员的指针，例如:

void readInput(std::istream& in, int& var)
{
    std::string input;
    std::getline(in, input, '|');
    var = std::stoi(input);
}

在 operator >>中的用法如下:

readInput(in, r.x);

这两种方法之间的主要区别是您是否希望仅将其与 Record一起使用，还是始终希望从istream中读取由 |分隔的整数。