c - C 语言中可以并行执行输入/输出操作吗？

Question

我想在 .csv 文件中用 c 语言编写一个大数组。可以并行编写吗？

也许使用 OpenMP ？

我想要并行化的代码片段是文件中的典型 IO 操作。给定一个大小为 n 的 resultVector1 和 resultVector2，

fp=fopen("output.csv","w+");
for(i=0;i<n;i++){
    fprintf(fp,"%f,%f\n",resultVector1[i],resultVector2[i]);
}
fclose(fp);

Answer 1

尝试对单个文件执行并行写入时，您将遇到许多问题。

w+ 在写入操作之前将现有文件截断为 0 长度或创建新文件，您将如何协调并行文件指针的写入？

无论如何，如果您有多个写入器，您将需要同步它们，并且您将失去顺序写入所具有的任何速度优势。事实上，由于同步开销，它们可能比单个专用顺序写入线程慢。

多思考一下你的问题。如果您确实有一个巨大的数组，例如 5 亿个整数，并且您确实需要以最快的方式将该数组读/写到持久文件中。您可以将数组除以可以分配的专用线程数，将每个段写入单独的文件。然后，您可以通过并行读取该数据来将该数组读回到您的数组中。在这种情况下，您可以使用 Parallel For 类型的模式，并避免单个文件的同步锁定开销。

因此，在我给出的示例中，如果您有 4 个线程，您将把数组分成四等分，其中每个线程将在其单独的文件中写入/读取自己的四分之一。

注意:如果所有文件都位于同一磁盘驱动器上，则在磁盘的不同部分同时进行多个读/写操作时，I/O 可能会变慢。如果您能够将每个文件保存到不同的磁盘/服务器，则可以缓解这种影响。