Linux:需要设计pre-fetcher将NAS中的文件缓存到系统内存中

Question

我正在为以下场景设计一个服务器:

1. 一系列单张图像存储在 NAS 上，假设有 100 张
2. 客户端通过 TCP 套接字连接到服务器并请求 image39
3. 服务器从NAS读取image39并通过socket发送回客户端
4. 客户很可能还会要求该系列中的其他图片，因此:
5. 我想启动一个线程来遍历图像、读取它们并执行 cat image39 >/dev/null 以强制缓存到服务器上的内存中
6. 线程将按如下方式获取图像:image38、image40、image37、image41 等。
7. 已经获取的图像被忽略
8. 如果客户端现在请求 image77，我想重置获取线程以获取:image76、image78 等。

这必须扩展到许多系列和客户端。大概在1000并发量级预取。我知道线程太多会导致性能下降。 fork 一个新进程会更好吗？有没有比线程或进程更有效的方法？

谢谢!!!

Answer 1

这是过早的优化。尝试在不使用“强制”缓存的技巧的情况下实现您的系统，并查看它是如何工作的。我打赌一切都会好起来的——如果事实证明您的技巧不能与系统上的其他东西一起玩，那么您将不必担心令人讨厌的意外。