gpt4 book ai didi

linux - 使用 SAN 上目录副本的多个应用程序

转载 作者:太空宇宙 更新时间:2023-11-04 04:19:12 27 4
gpt4 key购买 nike

我有一个应用程序 (Endeca),它是一个基于文件的搜索引擎。客户拥有 100 台 Linux 服务器,全部连接到同一个 SAN(速度非常快,光纤 channel )。目前,这 100 台服务器均使用同一组文件。目前,每台服务器都有自己的索引副本(大约 4 GB,因此总共 400 GB)。

我想做的是拥有一个目录,以及该目录的 100 个虚拟副本。如果应用程序需要更改该目录中的任何文件,只有这样才能开始创建原始文件夹的不同副本。

所以我的想法是这样的:所有 100 个人都开始使用同一个目录(但他们每个人都认为他们有自己的副本,并且不知道更好)。随着变化的出现,Linux/SAN 可能会拥有多达 100 个原始副本(现在略有不同)。

这样的事情可能吗?

我研究这种方法的原因是为了减少文件传输时间和磁盘空间。我们只需将 4 GB 索引文件复制到 SAN 一次并创建虚拟副本。如果没有进行任何更改,我们将仅使用 4 演出而不是 400 演出。

提前致谢!

最佳答案

这里最好的解决方案是在 SAN 级别利用“重复数据删除”功能。不同的供应商可能会以不同的方式调用它,但这就是我所说的:

https://communities.netapp.com/community/netapp-blogs/drdedupe/blog/2010/04/07/how-netapp-deduplication-works--a-primer

所有 100 个“虚拟”副本将利用 SAN 上的相同物理磁盘 block 。仅当文件的特定副本发生更改时,SAN 才需要分配新 block 。然后,将为该副本分配一个新 block ,但其余 99 个副本将继续使用旧 block - 从而大大减少磁盘空间需求。

关于linux - 使用 SAN 上目录副本的多个应用程序,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/14634048/

27 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com