c++ - 在生成数据的同时写入数据的最快方法

Question

在我的程序中，我正在模拟一个 N 体系​​统进行大量迭代。对于每次迭代，我都会生成一组 6N 坐标，我需要将其附加到文件中，然后用于执行下一次迭代。该代码是用 C++ 编写的，目前使用 ofstream 的方法 write() 在每次迭代时以二进制格式写入数据。

我不是这方面的专家，但我想改进这部分程序，因为我正在优化整个代码。我觉得与在每个周期写入计算结果相关的延迟会显着降低软件的性能。

我很困惑，因为我没有实际并行编程和低级文件 I/O 方面的经验。我想到了一些我认为可以实现的抽象技术，因为我正在为使用 Unix 操作系统的现代(可能是多核)机器编程:

• 以 n 次迭代的形式将数据写入文件(似乎有更好的方法来进行...)
• 使用 OpenMP 并行化代码(如何实际实现缓冲区，以便线程适当同步并且不重叠？)
• 使用 mmap(文件大小可能很大，大约 GB，这种方法是否足够稳健？)

但是，我不知道如何最好地实现它们并适本地组合它们。

Answer 1

当然，在每次迭代时都写入文件是低效的，而且很可能会减慢您的计算速度。 (根据经验，取决于您的实际情况)

你必须使用 producer -> consumer设计模式。它们将通过队列连接起来，就像传送带一样。

• 生产者会尽可能快地生产，只有在消费者无法处理时才会放慢速度。
• 消费者会尽可能快地“消费”。

通过拆分这两个过程，您可以更轻松地提高性能，因为每个过程都更简单并且彼此之间的干扰更少。

• 如果生产者速度更快，您需要改进消费者，在您的情况下，以最有效的方式写入文件，最有可能逐 block 写入(如您所说)
• 如果消费者速度更快，您需要改进生产者，最有可能的是像您所说的那样将其并行化。

不需要同时优化两者。只优化最慢的(瓶颈)。

实际上，您使用线程和它们之间的同步队列。有关实现提示，请查看 here ，尤其是§18.12“生产者-消费者模式”。

关于流管理，您必须通过选择“最大队列大小”并在队列空间不足时让生产者等待来增加一点复杂性。小心死锁，小心编码。 (请参阅我提供的维基百科链接)

注意:使用 boost 线程是个好主意，因为线程不是很便携。 (好吧，它们是从 C++0x 开始的，但 C++0x 的可用性还不是很好)