c++ - 稀疏读取 50gb 文件

Question

我有一个 50gb 的文件，我想阅读。

从 50gb 文件中读取 x 条指令。它们将按顺序排列，但位置不可预测。每条指令将读取 1 个字节。

总读取量占总文件大小的 < 0.0000001%，大概总共约 100 字节。

现在我正在使用带有偏移量的 seekg 来执行此操作，但有时需要 > 3 秒。

在这种情况下，内存映射文件会加快读取速度吗？如果我没有 50gb 的 ram，内存映射文件是否有意义？

我还能做些什么来加快速度吗？

这里是一些代码，我需要大约 2 秒才能运行(我调整它以进行 300 次读取以使其花费更长的时间):

#include <iostream>
#include <fstream>
#include <set>
#include <cstdlib>

using namespace std;

int main() {

    ifstream in("E:/t.dat", ifstream::binary);
    in.rdbuf()->pubsetbuf(0, 1);
    set<long long> S;
    srand(time(NULL));
    for(int i=0;i<300;i++){
        S.insert((long long)(rand()%50000000)*1000ll);

    }

    long long offset = 0;
    in.seekg(0,ios::beg);
    int sum = 0;
    for(set<long long>::iterator it = S.begin(); it!=S.end(); it++){
        long long toseek = *it - offset;
        while(toseek > 2000000000){
            in.seekg(2000000000,ios::cur);
            toseek -= 2000000000;
            offset += 2000000000;
        }
        in.seekg(toseek,ios::cur);
        offset += toseek;
        char c;
        in.read(&c,1);
        offset++;
        sum += (int)c;
    }
    cout<<sum<<endl;
}

Answer 1

Would memory mapping the file speed up the read in this case?

如果不了解有关文件访问模式和操作系统的更多详细信息，则很难回答这个问题。您最好的选择是尝试并测量。但对于非内存映射情况，我建议禁用缓冲 setvbuf(3)在文件上避免读取任何额外数据(或者，使用 open(2)/lseek(2)/read(2)/close(2) 的原始 Unix 文件 API)。您也可以使用 posix_fadvise(2)向操作系统提供有关如何缓冲文件页面的提示 - 在您的情况下，您可能希望传递 POSIX_FADV_RANDOM 以告诉它您将随机访问文件页面，可能 禁用会执行不必​​要的 I/O 的预读行为。

Does it even make sense to memory map the file if I don't have 50gb of ram?

当然可以，只要您有足够的地址空间——这对 32 位进程根本行不通，但在 64 位进程中就没问题。操作系统将为文件的整个范围分配虚拟地址空间，但由于按需分页，在您实际读取或写入任何给定页面之前，它不会向其提交任何物理内存。如果碰巧触摸的页面超过了物理内存一次可以容纳的数量，那么寻呼机将只调出最近最少使用的页面。