c++ - 有效地将 '1' 和 '-1' 的数组写入/读取到二进制文件

Question

我是一名计算物理学研究生，我的研究要求我编写一个大型数组，将“1”和“-1”的值存储到一个二进制文件中。目前我想出了以下 MWE:

#include <fstream>
#include <sstream>
#include <bitset>

const int Num = 1024;

std::string int_array_to_string(int state[], int start, int finish){
    std::ostringstream oss("");
    for (int i=start; i<start+finish; i++)
        switch(state[i]){
            case -1: oss << 0; break;
            case  1: oss << 1; break;
        }
    return oss.str();
}
void printToBinary(int state[], std::ostream &output){
    for (int i=0; i<Num; i+=32){
        std::bitset<32> x( int_array_to_string(state, i, 32));
        unsigned long n = x.to_ulong();
        output.write(reinterpret_cast<const char*>(&n), sizeof(n));
    }
}
void fakeUpSomeData(int state[]){
    int ans = 1;
    for (int i=0; i<Num; i++){
        ans *= -1;
        state[i] = ans;
    }
}
int main(void){
    int state[Num] = {0};
    fakeUpSomeData(state);

    std::ofstream output("output.bin", std::ios::binary);

    printToBinary(state, output);

    return 0;
}

然而，这使我的程序运行速度比以前慢了三倍，我确信一定有更好的方法来做到这一点。

此外，稍后能够注册数据 block 会很有用，也就是说，如果我存储这三个状态

{1,-1,1}
{1,-1,1}
{1,1,-1}

在一个文件中，如果存在一种方法来读取第一个 block ，然后是第二个 block ，然后是第三个 block ，这将很有用。

为什么我需要这样做背后的一些背景/推理:我需要存储大约 1024*1e5 到 9632*1e6 这些整数来计算中子散射的低/高分辨率预测。因此，能够读出大小为“N”的 block 将非常有用，而不是将 1e6 个单独的二进制文件存储在一个文件夹中(只是键入该选项听起来很荒谬!)。

最后我考虑过使用 HDF5 包，但它似乎有点矫枉过正，而且我无法让 MWE 使用它来工作。

如果您有任何关于如何改进 MWE 的想法，我们将不胜感激，感谢您抽出宝贵时间。

Answer 1

查看此答案:Writing a binary file in C++ very fast

总而言之，尝试使用 C 风格的 I/O，即忘记输出流并使用 open() 和 write() 直接写入文件描述符。

您甚至可以使用缓冲区大小与将 NxN 二进制状态存储在单个 block 中所需字节数相同的 read() 并一次读取一个。