linux - 在 VFS 之上缓冲

Question

我尝试处理的问题是保存大量(数百万)个通过网络发送的小文件(最多 50KB)。保存是按顺序完成的:服务器接收到一个文件或目录(通过网络)，并将其保存在磁盘上；下一个到达，它被保存等。显然，如果多个服务器进程共存(假设我有 5 个进程同时从网络读取和写入)，性能是 Not Acceptable ，因为 I/O 调度程序无法有效地合并 I/O写。

一个建议的解决方案是实现某种缓冲:每个服务器进程应该有一个 50MB 的缓存，它应该在其中写入当前文件，执行 chdir 等；当缓冲区已满时，它应该同步到磁盘，从而获得 I/O 突发。

我想问你的问题:1)我知道已经存在缓冲机制(磁盘缓冲)；你认为上面的场景会增加一些改进吗？ (设计比较复杂，实现一个简单的测试用例并不容易)

2) 你有什么建议吗？如果我要实现这个，你可以去哪里看？

非常感谢。

Answer 1

你需要做得比

“显然性能 Not Acceptable ”。

特别是

• 您如何衡量它？你有一个准确的、可重复的数字吗
• 你的目标是什么？

为了进行优化，您需要两件事 - 一种衡量方法(指标)和一个目标(这样您就知道何时停止，或者特定技术的用处或无用程度)。

没有任何一个，恐怕你就沉没了。