linux - 使用 SAN 上目录副本的多个应用程序

Question

我有一个应用程序 (Endeca)，它是一个基于文件的搜索引擎。客户拥有 100 台 Linux 服务器，全部连接到同一个 SAN(速度非常快，光纤 channel )。目前，这 100 台服务器均使用同一组文件。目前，每台服务器都有自己的索引副本(大约 4 GB，因此总共 400 GB)。

我想做的是拥有一个目录，以及该目录的 100 个虚拟副本。如果应用程序需要更改该目录中的任何文件，只有这样才能开始创建原始文件夹的不同副本。

所以我的想法是这样的:所有 100 个人都开始使用同一个目录(但他们每个人都认为他们有自己的副本，并且不知道更好)。随着变化的出现，Linux/SAN 可能会拥有多达 100 个原始副本(现在略有不同)。

这样的事情可能吗？

我研究这种方法的原因是为了减少文件传输时间和磁盘空间。我们只需将 4 GB 索引文件复制到 SAN 一次并创建虚拟副本。如果没有进行任何更改，我们将仅使用 4 演出而不是 400 演出。

提前致谢!

Answer 1

这里最好的解决方案是在 SAN 级别利用“重复数据删除”功能。不同的供应商可能会以不同的方式调用它，但这就是我所说的:

https://communities.netapp.com/community/netapp-blogs/drdedupe/blog/2010/04/07/how-netapp-deduplication-works--a-primer

所有 100 个“虚拟”副本将利用 SAN 上的相同物理磁盘 block 。仅当文件的特定副本发生更改时，SAN 才需要分配新 block 。然后，将为该副本分配一个新 block ，但其余 99 个副本将继续使用旧 block - 从而大大减少磁盘空间需求。