c++ - 在多线程环境中读取/写入文件的最佳方式 (C++)

Question

我有一个读写文件的多线程程序。一个线程接收数据并将它们写入文件。每 250 Mb 的数据，就会创建一个新文件。多个其他线程可以读入这些文件以检索数据。我正在使用 C++ std 文件流。

为防止出现问题，我当前的实现对同一个文件使用两个文件描述符:一个用于读取器，一个用于写入器。互斥锁可防止同时进行多次访问，并且每次互斥锁所有者需要时都会移动文件描述符位置。

我真的需要能够尽可能快地读入文件，而互斥体并不能真正帮助我。

首先，我想知道读写文件或同时进行多次读取(在每个平台上)是否安全。其次，如果是的话，我想知道像硬盘的“磁盘读写头”这样的硬件是如何安全的。该软件一直在磁盘上运行以保存数据，我不希望我的算法减少太多硬盘生命周期(已经很短)。

谢谢你的帮助

Answer 1

多线程读取同一个文件没有问题。

现在，如果我正确理解你的描述，你不会修改已经写入的数据，你只是不断地追加数据到你的文件，直到它达到 250Mb，然后你继续写入新文件。

如果是这种情况，您可能根本不需要互斥锁。例如，您可以将整个"file"保存在内存中，直到达到 250mb，然后才将其全部写入磁盘，因此您知道磁盘上已经存在的任何文件都不会再被写入，并且可以无后顾之忧地自由阅读。至于仍在写入的文件，您可以有一个全局整数来保存已经写入了多少字节(或字符串或您使用的任何内容)，并且读取线程受此整数限制，不需要锁定，只要在写入数据后才更新整数。 (因为你说只有 1 个线程写入数据)。

即使由多个线程同时完成并由一个线程写入，简单地读取整数也不会破坏它，因此这将确保您的读取线程不会读取超出限制，并且这样的限制将始终是安全的并且一致，而写入线程可以在一个区域中和平地写入数据，保证在完成之前不会被读取线程打扰。

至于你的第二个问题，如果你确实能够将当前正在写入的文件完全保留在内存中，那将已经节省了一些硬盘使用量以及时间。此外，请记住，大多数现代 HDD 都有 32Mb+ 的缓存，因此并不是每次读写都会直接命中 HDD 本身，除非你有大量线程一直在读取随机文件和其中的随机部分。如果是这种情况，您可能无法帮助 HDD。如果不是这种情况，也没什么好担心的，因为操作系统和缓存会做它们应该做的事情:)