c - 如何避免物理磁盘 I/O

Question

我有一个通过网络写入大量数据的进程。假设它在机器 A 上运行，并通过 NFS 在机器 B 上转储大约 70-80GB 的文件。进程 1 完成并退出后，我的进程 2 运行机器 A 并通过 NFS 从机器 B 获取该文件。整个周期的瓶颈就是这个庞大的数据文件的读写。我怎样才能减少这个输入/输出时间？我能否以某种方式将数据加载到内存中，即使在进程 1 退出后仍可供进程 2 使用？

我会很感激关于这个的想法。谢谢。

编辑:由于进程 2 直接从网络“读取”数据，是否更好先把数据拷贝到本地再从本地磁盘读取？我的意思是会(通过网络读取时间)>(cp到本地磁盘)+(从本地磁盘读取)

Answer 1

如果要将数据加载到内存中，则需要 70-80 GB 的 RAM。

最好的办法可能是将本地存储(硬盘驱动器)附加到系统 A 以将此文件保存在本地。