c++ - fread 在 OpenMP 线程中性能低下

Question

我使用 Intel Xeon x2(24 核)和 Windows Server 2008。
试图并行化我的 C++ 程序。模板代码在这里:

vector< string > files;
vector< vector< float > > data; 
...
data.resize( files.size() ); 

#pragma omp parallel for 
for (int i=0; i<files.size(); i++) { // Files count is about 3000
    FILE *f = fopen(files[i].c_str(), "rb"); 

    // every file is about 40 mb
    data[i].resize(someSize);
    fread(&data[i][0], sizeof(float), someSize, f); 

    fclose(f);
    ...
    performCalculations();  
}

CPU 使用率只有 0 到 5%。
当我插入而不是 fread(&data[i][0], sizeof(float), someSize, f) 时:

for (int j=0; j<data.size(); j++) {
    data[i][j] = rand(); 
}

CPU 使用率增加到 100%。
我已经尝试使用 fstream 和 WinApi ReadFile，但效果并不大。

我做错了什么？不信读盘能这么慢……

Answer 1

I don't believe that the disk reading can be so slowly...

然后你最好开始相信。与 CPU 相比，磁盘非常慢。并行 I/O 通常仅在您从多个来源(如单独的磁盘或网络连接)读取时才有用。它可以很好地解决延迟问题，但不能解决带宽问题。

尝试以串行方式一次读取所有数据，然后在并行循环中处理它。