gpt4 book ai didi

c# - 您能否预压缩数据文件以便稍后插入到 zip 文件中以提高性能?

转载 作者:太空狗 更新时间:2023-10-29 20:33:54 26 4
gpt4 key购买 nike

作为安装程序构建的一部分,我们必须将数以千计的大型数据文件压缩到大约十个或二十个“包”中,每个包中有数百(甚至数千)个文件,这些文件都依赖于彼此保存包中的文件。 (如果您愿意,它们会一起进行版本控制。)

然后在实际安装过程中,用户选择他们想要包含在他们系统中的包。这也让他们可以从我们的网站下载包的更新作为一个大的、版本化的文件,而不是要求他们下载数千个单独的文件,这也可能导致他们与同一包中的其他人不同步。

由于这些是数据文件,其中一些在设计和编码阶段会定期更改,这意味着我们必须重新压缩该特定 zip 包中的所有 文件,即使只有一个文件具有变了。这使得我们的安装程序构建的打包步骤每次都要花费一个多小时,其中大部分用于重新压缩我们没有接触过的东西。

我们研究过单独保留 zip 包,然后替换其中的特定文件,但是从 zip 中间插入和删除大文件并没有给我们带来太大的性能提升。 (有一点,但还不够值得。)

我想知道是否有可能将文件预处理成缓存的原始“压缩状态”,使其与写入 zip 包的方式相匹配,但只是数据本身,而不是 zip header 信息等。

我的想法是,如果可能的话,在我们的构建步骤中,我们将首先寻找任何没有与之关联的压缩缓存的数据文件,如果没有,我们将压缩该文件并将结果写入缓存。

接下来,我们将简单地将所有缓存附加到一个文件流中,添加文件所需的任何适当的 zip header 。

这意味着我们仍在每次构建期间重新创建整个 zip,但我们只是重新压缩已更改的数据。其余的将按原样编写,这非常快,因为它是直接写入磁盘。如果数据文件发生更改,其缓存将被破坏,因此下一次构建过程将重新创建它。

但是,我不确定这样的事情是否可能。是吗?如果是的话,是否有任何文档可以说明人们将如何尝试这一点?

最佳答案

是的,这是可能的。最直接的方法是将每个文件单独压缩到其自己的关联 zip 存档中,并包含一个条目。当任何文件被修改时,您将替换其关联的 zip 文件以使所有这些文件保持最新。然后您可以编写一个简单的程序来获取一组这些单条目 zip 文件并将它们合并为一个 zip 文件。您需要引用 PKZip appnote 中的文档.看看那个。

现在您已经阅读了应用说明,您需要做的是使用每个单独的 zip 文件中的本地 header 、数据和中央 header ,按顺序将本地 header 和数据写入新的 zip 文件,然后将中央 header 和本地 header 的偏移量保存在新文件中。然后在新文件的末尾保存当前偏移量,使用您保存的中央标题写入一个新的中央目录,适本地更新偏移量,并以中央目录开始的偏移量为中央目录记录的新结尾.

更新:

我认为这是一个足够有用的东西来写。可以领取here .

关于c# - 您能否预压缩数据文件以便稍后插入到 zip 文件中以提高性能?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/19454303/

26 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com