- c - 在位数组中找到第一个零
- linux - Unix 显示有关匹配两种模式之一的文件的信息
- 正则表达式替换多个文件
- linux - 隐藏来自 xtrace 的命令
作为安装程序构建的一部分,我们必须将数以千计的大型数据文件压缩到大约十个或二十个“包”中,每个包中有数百(甚至数千)个文件,这些文件都依赖于彼此保存包中的文件。 (如果您愿意,它们会一起进行版本控制。)
然后在实际安装过程中,用户选择他们想要包含在他们系统中的包。这也让他们可以从我们的网站下载包的更新作为一个大的、版本化的文件,而不是要求他们下载数千个单独的文件,这也可能导致他们与同一包中的其他人不同步。
由于这些是数据文件,其中一些在设计和编码阶段会定期更改,这意味着我们必须重新压缩该特定 zip 包中的所有 文件,即使只有一个文件具有变了。这使得我们的安装程序构建的打包步骤每次都要花费一个多小时,其中大部分用于重新压缩我们没有接触过的东西。
我们研究过单独保留 zip 包,然后替换其中的特定文件,但是从 zip 中间插入和删除大文件并没有给我们带来太大的性能提升。 (有一点,但还不够值得。)
我想知道是否有可能将文件预处理成缓存的原始“压缩状态”,使其与写入 zip 包的方式相匹配,但只是数据本身,而不是 zip header 信息等。
我的想法是,如果可能的话,在我们的构建步骤中,我们将首先寻找任何没有与之关联的压缩缓存的数据文件,如果没有,我们将压缩该文件并将结果写入缓存。
接下来,我们将简单地将所有缓存附加到一个文件流中,添加文件所需的任何适当的 zip header 。
这意味着我们仍在每次构建期间重新创建整个 zip,但我们只是重新压缩已更改的数据。其余的将按原样编写,这非常快,因为它是直接写入磁盘。如果数据文件发生更改,其缓存将被破坏,因此下一次构建过程将重新创建它。
但是,我不确定这样的事情是否可能。是吗?如果是的话,是否有任何文档可以说明人们将如何尝试这一点?
最佳答案
是的,这是可能的。最直接的方法是将每个文件单独压缩到其自己的关联 zip 存档中,并包含一个条目。当任何文件被修改时,您将替换其关联的 zip 文件以使所有这些文件保持最新。然后您可以编写一个简单的程序来获取一组这些单条目 zip 文件并将它们合并为一个 zip 文件。您需要引用 PKZip appnote 中的文档.看看那个。
现在您已经阅读了应用说明,您需要做的是使用每个单独的 zip 文件中的本地 header 、数据和中央 header ,按顺序将本地 header 和数据写入新的 zip 文件,然后将中央 header 和本地 header 的偏移量保存在新文件中。然后在新文件的末尾保存当前偏移量,使用您保存的中央标题写入一个新的中央目录,适本地更新偏移量,并以中央目录开始的偏移量为中央目录记录的新结尾.
更新:
我认为这是一个足够有用的东西来写。可以领取here .
关于c# - 您能否预压缩数据文件以便稍后插入到 zip 文件中以提高性能?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/19454303/
我有点想做 the reverse of this. 我不想解压缩并将收集文件添加到 S3 应用户要求: 生成一堆xml文件 使用一些图像(托管在 s3 上的预先存在的图像)压缩 xml 文件 下载
将此添加到域的虚拟主机后 AddOutputFilterByType DEFLATE application/javascript text/javascript text/css 响应头不包含任何内
在 Apache Im 中,通过将以下内容添加到我的 .htaccess 文件来启用输出压缩: # compress text, html, javascript, css, xml: AddOutp
是否可以以压缩格式将请求数据从浏览器发送到服务器? 如果是,我们该怎么做? 最佳答案 压缩从浏览器发送到服务器的数据是不受 native 支持 在浏览器中。 您必须找到一种解决方法,使用客户端语言(可
我正在寻找可以压缩JavaScript源代码的工具。我发现一些网络工具只能删除空格字符?但也许存在更好的工具,可以压缩用户的函数名称、字段名称、删除未使用的字段等。 最佳答案 经常用来压缩JS代码的工
使用赛马博彩场景,假设我有许多单独的投注来预测比赛的前 4 名选手 (superfecta)。 赌注如下... 1/2/3/4 1/2/3/5 1/2/4/3 1/2/4/5 1/2/5/3
我是一名实习生,被要求对 SQL 2008 数据压缩进行一些研究。我们想将 Outlook 电子邮件的几个部分存储在一个表中。问题是我们想将整个电子邮件正文存储在一个字段中,然后又想压缩它。使用 Ch
我目前有一个系统,用户可以在其中上传 MP4 文件,并且可以在移动设备上下载该文件。但有时,这些视频的大小超过 5MB,在我国,大多数人使用 2G。因此,下载大型视频通常需要 15-20 分钟。 有什
假设我有一个带有类型列的简单文档表: Documents Id Type 1 A 2 A 3 B 4 C 5 C 6 A 7 A 8 A 9 B 10 C 用户
我有一个较大字符串中的(子)字符串位置的 data.frame。数据包含(子)字符串的开头及其长度。可以很容易地计算出(子)字符串的结束位置。 data1 start length end #>
我想知道是否 文件加密算法可以设计成它也可以执行文件压缩的事件(任何活生生的例子?)。 我也可以将它集成到移动短信服务中,我的意思是短信吗? 另外我想知道二进制文件...如果纯文本文件以二进制编码
关闭。这个问题不满足Stack Overflow guidelines .它目前不接受答案。 想改善这个问题吗?更新问题,使其成为 on-topic对于堆栈溢出。 7年前关闭。 Improve thi
我们有几个具有大量 JavaScript 的 Java 项目,目前我们使用的是旧版本的 YUICompressor (2.4.2)。然而,我在这篇博文中发现 YUICompressor 正在 depr
从之前关于尝试提高网站性能的文章中,我一直在研究 HTTP 压缩。我读过有关在 IIS 中设置它的信息,但它似乎是所有 IIS 应用程序池的全局事物,我可能不允许这样做,因为还有另一个站点在其上运行。
我有一个 REST 服务,它返回一大块 XML,大约值(value) 150k。 例如http://xmlservice.com/services/RestService.svc/GetLargeXM
我正在尝试获取一个简单的 UglifyJS (v2.3.6) 示例来处理压缩。 具体来说,“未使用”选项,如果从未使用过,变量和函数将被删除。 这是我在命令行上的尝试: echo "function
我正在开发一个项目,如果我的磁盘出现问题,我将在使用 ZLIB 压缩内存块后将其发送到另一个磁盘。然后我计划下载该转储并用于进一步调试。这种压缩和上传将一次完成一个 block - 比如说 1024
LZW 压缩算法在压缩后增加了位大小: 这是压缩函数的代码: // compression void compress(FILE *inputFile, FILE *outputFile) {
我的问题与如何在 3D 地形上存储大量信息有关。这些信息应该是 secret 的,因为它们非常庞大,也应该被压缩。我选择了文件存储,现在我想知道将对象数据加密/压缩(或压缩/加密)到文件的最佳做法。
我使用以下代码来压缩我的文件并且效果很好,但我只想压缩子文件夹而不是在压缩文件中显示树的根。 public boolean zipFileAtPath(String sourcePath, Strin
我是一名优秀的程序员,十分优秀!